Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-010
medium en-fremail
The prompt
user
Translate the following text into French. Use the formal "vous" form. Reply with only the translation. Hi Claire, could you send me the updated budget before Friday's meeting? I'd also like to add an item to the agenda about the Valmont office move. No rush on the slides — Monday is fine. Thanks, Tom
What we expected
{
"source_lang": "en",
"target_lang": "fr",
"register_note": "Use the formal \"vous\" form.",
"source": "Hi Claire, could you send me the updated budget before Friday's meeting? I'd also like to add an item to the agenda about the Valmont office move. No rush on the slides — Monday is fine. Thanks, Tom",
"reference": "Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? J'aimerais aussi ajouter à l'ordre du jour un point sur le déménagement du bureau de Valmont. Rien ne presse pour les diapositives : lundi, ça ira. Merci, Tom",
"alt_references": [],
"must_keep": [
[
"Claire"
],
[
"vendredi"
],
[
"Valmont"
],
[
"lundi"
],
[
"Tom"
]
],
"register_check": {
"require": [
[
"vous",
"Vous",
"votre",
"Votre",
"vos",
"Vos"
]
],
"forbid": [
"tu",
"Tu",
"toi",
"Toi",
"ton",
"Ton",
"ta",
"Ta",
"tes",
"Tes",
"t'",
"T'"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.97 s
Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau Valmont. Pas de précipitation pour les diapositives — lundi suffira. Merci, Tom
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau Valmont. Pas de précipitation pour les diapositives — lundi suffira. Merci, Tom",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 75.89,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.73 s
Bonjour Claire, pourriez-vous me transmettre le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau de Valmont. Pas de précipitation pour les diapositives — lundi conviendrait parfaitement. Merci, Tom
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous me transmettre le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau de Valmont. Pas de précipitation pour les diapositives — lundi conviendrait parfaitement. Merci, Tom",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 70.98,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 97 (scripted checks 99, judges 9.5/10 from 3) · 2.20 s
Bonjour Claire, pourriez-vous me transmettre le budget actualisé avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement de l'agence Valmont. Pas de pression pour les diapositives — lundi conviendrait bien. Merci, Tom
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous me transmettre le budget actualisé avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement de l'agence Valmont. Pas de pression pour les diapositives — lundi conviendrait bien. Merci, Tom",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 64.28,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.9819
}Spark-X2.5 4B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 1.44 s
Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau Valmont. Aucune urgence pour les diapositives — lundi est parfait. Merci, Tom.
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau Valmont. Aucune urgence pour les diapositives — lundi est parfait. Merci, Tom.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 74.77,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 78 (scripted checks 100, judges 5.5/10 from 3) · 0.92 s
Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion du vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déplacement de l'agence de Valmont. Pas d'urgence pour les diapositives ; lundi est bien sûr. Merci, Tom
Judge medians: Adequacy 6 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion du vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déplacement de l'agence de Valmont. Pas d'urgence pour les diapositives ; lundi est bien sûr. Merci, Tom",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 68.47,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.68 s
Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau de Valmont. Pas de pression sur les diapositives — lundi convient. Merci, Tom
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous m'envoyer le budget mis à jour avant la réunion de vendredi ? Je souhaiterais également ajouter un point à l'ordre du jour concernant le déménagement du bureau de Valmont. Pas de pression sur les diapositives — lundi convient. Merci, Tom",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 77.39,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 74 (scripted checks 98, judges 5.0/10 from 3) · 0.82 s
Bonjour Claire, pourriez-vous me envoyer le budget mis à jour avant la réunion de vendredi ? Je voudrais également ajouter un élément à l'ordre du jour concernant le déplacement de l'office de Valmont. Pas de pression sur les diapodes — lundi convient. Merci, Tom.
Judge medians: Adequacy 6 · Fluency and register 4
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourriez-vous me envoyer le budget mis à jour avant la réunion de vendredi ? Je voudrais également ajouter un élément à l'ordre du jour concernant le déplacement de l'office de Valmont. Pas de pression sur les diapodes — lundi convient. Merci, Tom.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 63.48,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.9619
}K2-Horizon 0.9B
✗ fail · score 61 (scripted checks 86, judges 3.5/10 from 3) · 0.37 s
Bonjour Claire, pourrait-on vous envoyer le budget mis à jour avant la réunion du vendredi ? Je souhaiterais également ajouter un point au agenda concernant le déplacement de l'entrepôt de Valmont. Pas de panique sur les slides — le lundi est acceptable. Merci, Tom.
Judge medians: Adequacy 3 · Fluency and register 4
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Claire, pourrait-on vous envoyer le budget mis à jour avant la réunion du vendredi ? Je souhaiterais également ajouter un point au agenda concernant le déplacement de l'entrepôt de Valmont. Pas de panique sur les slides — le lundi est acceptable. Merci, Tom.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 53.81,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.7203
}