Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-008
easy en-frchat
The prompt
user
Translate the following text into French. Use the informal "tu" form. Reply with only the translation. Thanks for dinner last night, it was delicious! Next time it's my treat.
What we expected
{
"source_lang": "en",
"target_lang": "fr",
"register_note": "Use the informal \"tu\" form.",
"source": "Thanks for dinner last night, it was delicious! Next time it's my treat.",
"reference": "Merci pour le dîner d'hier soir, c'était délicieux ! La prochaine fois, c'est moi qui t'invite.",
"alt_references": [
"Merci pour le dîner d'hier soir, c'était délicieux ! La prochaine fois, c'est pour moi.",
"Merci pour le repas d'hier soir, c'était délicieux ! La prochaine fois, c'est moi qui régale."
],
"must_keep": [],
"register_check": {
"require": [],
"forbid": [
"vous",
"Vous",
"votre",
"Votre"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 0.93 s
Merci pour le dîner de la nuit dernière, c'était délicieux ! La prochaine fois, c'est moi qui paie.
Judge medians: Adequacy 9 · Fluency and register 7
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner de la nuit dernière, c'était délicieux ! La prochaine fois, c'est moi qui paie.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 76.23,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 0.80 s
Merci pour le dîner hier soir, c'était délicieux ! La prochaine fois, c'est moi qui invite.
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner hier soir, c'était délicieux ! La prochaine fois, c'est moi qui invite.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 89.2,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 1.02 s
Merci pour le dîner hier, c'était délicieux ! La prochaine fois, c'est mon tour.
Judge medians: Adequacy 9 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner hier, c'était délicieux ! La prochaine fois, c'est mon tour.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 77.98,
"best_ref": 1,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.61 s
Merci pour le dîner hier, c'était délicieux ! La prochaine fois, c'est moi qui paie.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner hier, c'était délicieux ! La prochaine fois, c'est moi qui paie.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 78.24,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 58 (scripted checks 75, judges 4.0/10 from 3) · 0.44 s
Merci du dîner hier soir, c'était délicieux ! Cette fois-ci, c'est à moi qui vous offre.
Judge medians: Adequacy 5 · Fluency and register 3
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci du dîner hier soir, c'était délicieux ! Cette fois-ci, c'est à moi qui vous offre.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 53.06,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "2/3",
"failed_checks": [
{
"type": "register_forbid",
"ok": false,
"found": [
"vous"
]
}
],
"chrf_scaled": 0.7014
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 83 (scripted checks 100, judges 6.5/10 from 3) · 0.34 s
Merci pour le dîner dernière nuit, c'était délicieux ! La prochaine fois, c'est à moi de payer.
Judge medians: Adequacy 8 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner dernière nuit, c'était délicieux ! La prochaine fois, c'est à moi de payer.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 74.67,
"best_ref": 1,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 70 (scripted checks 100, judges 4.0/10 from 3) · 0.42 s
Merci pour le dîner hier soir, c'était délicieux ! La prochaine fois, c'est ma chère.
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner hier soir, c'était délicieux ! La prochaine fois, c'est ma chère.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 83.36,
"best_ref": 1,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}K2-Horizon 0.9B
✗ fail · score 75 (scripted checks 100, judges 5.0/10 from 3) · 0.22 s
Merci pour le dîner de la nuit dernière, c'était délicieux ! À la prochaine fois, c'est mon plaisir.
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "Merci pour le dîner de la nuit dernière, c'était délicieux ! À la prochaine fois, c'est mon plaisir.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 68.95,
"best_ref": 1,
"pass_bar": 40,
"checks_passed": "3/3",
"failed_checks": [],
"chrf_scaled": 1
}