Benchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-012
hard en-fremail
The prompt
user
Translate the following text into French. Use the formal "vous" form. Reply with only the translation. Dear Mr. Lefèvre, I must admit the news caught us off guard. We had our hearts set on the June date, but we understand that it's out of your hands. Would it be possible to pencil us in for early September instead? Kind regards, Amelia Hart
What we expected
{
"source_lang": "en",
"target_lang": "fr",
"register_note": "Use the formal \"vous\" form.",
"source": "Dear Mr. Lefèvre,\n\nI must admit the news caught us off guard. We had our hearts set on the June date, but we understand that it's out of your hands. Would it be possible to pencil us in for early September instead?\n\nKind regards,\nAmelia Hart",
"reference": "Cher Monsieur Lefèvre,\n\nJe dois avouer que la nouvelle nous a pris au dépourvu. Nous tenions beaucoup à la date de juin, mais nous comprenons que cela ne dépend pas de vous. Serait-il possible de nous inscrire provisoirement pour début septembre ?\n\nCordialement,\nAmelia Hart",
"alt_references": [],
"must_keep": [
[
"Lefèvre",
"Lefevre"
],
[
"juin"
],
[
"septembre"
],
[
"Amelia Hart"
]
],
"register_check": {
"require": [
[
"vous",
"Vous",
"votre",
"Votre",
"vos",
"Vos"
]
],
"forbid": [
"tu",
"Tu",
"toi",
"Toi",
"ton",
"Ton",
"ta",
"Ta",
"tes",
"Tes",
"t'",
"T'"
]
},
"avoid": [
"crayon"
]
}What each model answered
MiMo-V2.6 Distill 9B
✗ fail · score 75 (scripted checks 100, judges 5.0/10 from 3) · 2.31 s
Cher Monsieur Lefèvre, Nous devons l'avouer, la nouvelle nous a pris au dépourvu. Nous avions le cœur posé sur la date du mois de juin, mais nous comprenons que cela ne dépend pas de vous. Serait-il possible de nous inscrire de provision pour le début de septembre ? Cordialement, Amelia Hart
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "Cher Monsieur Lefèvre,\n\nNous devons l'avouer, la nouvelle nous a pris au dépourvu. Nous avions le cœur posé sur la date du mois de juin, mais nous comprenons que cela ne dépend pas de vous. Serait-il possible de nous inscrire de provision pour le début de septembre ?\n\nCordialement,\nAmelia Hart",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 79.21,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✗ fail · score 75 (scripted checks 100, judges 5.0/10 from 3) · 1.96 s
Cher Monsieur Lefèvre, Je dois avouer que la nouvelle nous a pris au dépourvu. Nous avions le cœur posé sur la date de juin, mais nous comprenons que cela échappe à vos mains. Serait-il possible de nous réserver la place pour le début de septembre à la place ? Cordialement, Amelia Hart
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "Cher Monsieur Lefèvre,\n\nJe dois avouer que la nouvelle nous a pris au dépourvu. Nous avions le cœur posé sur la date de juin, mais nous comprenons que cela échappe à vos mains. Serait-il possible de nous réserver la place pour le début de septembre à la place ?\n\nCordialement,\nAmelia Hart",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 73.53,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 31 (scripted checks 47, judges 1.5/10 from 3) · 52.8 s
Madame Hart, Je dois avouer que la nouvelle nous a surpris. Nous avions prévu la date de juin, mais nous comprenons que ce n'est pas dans vos mains. Serait-il possible de nous inscrire pour le début de septembre à la place ? Cordialement, Amelia Hart Wait, I need to check the name. The original says "Dear Mr. Lefèvre," so the recipient is Mr. Lefèvre, and the signer is Amelia Hart. The translation should address Mr. Lefèvre formally, using "Monsieur Lefèvre" and the sign-off should be "Cordialement, Amelia Hart". Also, the instruction says "Use the formal 'vous' form." So the translation should use "vous" where appropriate. Let's re-evaluate: "Dear Mr. Lefèvre," -> "Monsieur Lefèvre," "I must admit the news caught us off guard." -> "Je dois avouer que la nouvelle nous a surpris." But "nous" is first-person plural, which is correct since the speaker is writing on behalf of themselves and perhaps their team. However, "caught us off guard" is a bit informal; a more formal French might be "a surpris notre équipe" or "nous a surpris". "Nous avons été surpris" is fine. "Je dois avouer que la nouvelle nous a surpris" is acceptable. "We had our hearts set on the June date" -> "Nous avions prévu la date de juin" or "Nous avions fixé notre préférence pour la date de juin". "Avoir le cœur mis sur" is a bit colloquial; "Nous avions préféré la date de juin" might be better. "Nous avions nos cœurs mis sur la date de juin" is literal but a bit odd in French; better: "Nous avions prévu de se tenir en juin" or "Nous avions préféré la date de juin". "Nous avions nos cœurs mis sur la date de juin" is a direct translation of "we had our hearts set on", which is used in English; in French, it's common to say "Nous avions prévu de..." or "Nous avions préféré...". Let's use "Nous avions préféré la date de juin" or "Nous avions prévu de nous tenir en juin". "Nous avions nos cœurs mis sur la date de juin" might be too literal. Better: "Nous avions préféré la date de juin" or "Nous avions prévu de se tenir en juin". "Nous avions nos cœurs mis sur la date de juin" is a bit anglicism; French would say "Nous avions prévu de..." or "Nous avions choisi...". Let's go with "Nous avions préféré la date de juin" – but "préféré" might imply choice; "avoir le cœur mis sur" is idiomatic in English, so in French "Nous avions nos cœurs mis sur la date de juin" is acceptable as a direct translation, but might sound slightly off. However, as a translator, it's okay to translate idiomatically. "Nous avions nos cœurs mis sur la date de juin" could be "Nous avions le cœur mis sur la date de juin" (singular), but "nos cœurs" is plural. "Avoir le cœur mis sur" is usually singular: "avoir le cœur mis sur quelque chose". So "Nous avions le cœur mis sur la date de juin" might be better. But "nos cœurs" as in "we had our hearts set" – in English it's "we had our hearts set", so "nous avions nos cœurs mis". In French, it's common to say "nous avions le cœur mis sur...". Let's check: "to have one's heart set on" -> "avoir le cœur mis sur". Yes, "avoir le cœur mis sur" is the phrase. So "Nous avions le cœur mis sur la date de juin" is accurate. But "le cœur" is singular, so "nous avions le cœur mis sur..." might be a bit odd because "nous" is plural; but it's a set phrase: "avoir le cœur mis sur". For example, "Il a le cœur mis sur Paris". So for a group, "Nous avons le cœur mis sur..." might be used. I think "Nous avions le cœur mis sur la date de juin" is acceptable. Alternatively, "Nous avions prévu de nous tenir en juin". To be precise and natural: "Nous avions préféré la date de juin" or "Nous avions prévu de nous tenir en juin". Let's pick a natural French: "Nous avions prévu de nous tenir en juin" sounds good. "Nous avions nos cœurs mis sur la date de juin" might be too literal. I'll go with "Nous avions prévu de nous tenir en juin" – but "nous tenir" might be vague; "nous tenir à la date de juin" or "nous tenir en juin". "Nous avions préféré la date de juin" is simp … [3,142 more characters]
Judge medians: Adequacy 2 · Fluency and register 1
Scoring detail
{
"target_lang": "fr",
"cleaned": "Madame Hart,\n\nJe dois avouer que la nouvelle nous a surpris. Nous avions prévu la date de juin, mais nous comprenons que ce n'est pas dans vos mains. Serait-il possible de nous inscrire pour le début de septembre à la place ?\n\nCordialement,\nAmelia Hart\n\nWait, I need to check the name. The original says \"Dear Mr. Lefèvre,\" so the recipient is Mr. Lefèvre, and the signer is Amelia Hart. The translation should address Mr. Lefèvre formally, using \"Monsieur Lefèvre\" and the sign-off should be \"Cordialement, Amelia Hart\". Also, the instruction says \"Use the formal 'vous' form.\" So the translation should use \"vous\" where appropriate. Let's re-evaluate:\n\n\"Dear Mr. Lefèvre,\" -> \"Monsieur Lefèvre,\"\n\n\"I must admit the news caught us off guard.\" -> \"Je dois avouer que la nouvelle nous a surpris.\" But \"nous\" is first-person plural, which is correct since the speaker is writing on behalf of themselves and perhaps their team. However, \"caught us off guard\" is a bit informal; a more formal French might be \"a surpris notre équipe\" or \"nous a surpris\". \"Nous avons été surpris\" is fine. \"Je dois avouer que la nouvelle nous a surpris\" is acceptable.\n\n\"We had our hearts set on the June date\" -> \"Nous avions prévu la date de juin\" or \"Nous avions fixé notre préférence pour la date de juin\". \"Avoir le cœur mis sur\" is a bit colloquial; \"Nous avions préféré la date de juin\" might be better. \"Nous avions nos cœurs mis sur la date de juin\" is literal but a bit odd in French; better: \"Nous avions prévu de se tenir en juin\" or \"Nous avions préféré la date de juin\". \"Nous avions nos cœurs mis sur la date de juin\" is a direct translation of \"we had our hearts set on\", which is used in English; in French, it's common to say \"Nous avions prévu de...\" or \"Nous avions préféré...\". Let's use \"Nous avions préféré la date de juin\" or \"Nous avions prévu de nous tenir en juin\". \"Nous avions nos cœurs mis sur la date de juin\" might be too literal. Better: \"Nous avions préféré la date de juin\" or \"Nous avi",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 14.91,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/9",
"failed_checks": [
{
"type": "length",
"ratio": 22.719,
"ok": false
}
],
"chrf_scaled": 0
}Spark-X2.5 4B
✗ fail · score 77 (scripted checks 100, judges 5.5/10 from 3) · 1.54 s
Monsieur Lefèvre, Je dois admettre que cette nouvelle nous a pris par surprise. Nous avions nos cœurs fixés sur la date de juin, mais nous comprenons que cela dépasse votre contrôle. Seriez-il possible de nous inscrire pour un début de septembre à la place ? Cordialement, Amelia Hart
Judge medians: Adequacy 6 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "Monsieur Lefèvre,\n\nJe dois admettre que cette nouvelle nous a pris par surprise. Nous avions nos cœurs fixés sur la date de juin, mais nous comprenons que cela dépasse votre contrôle. Seriez-il possible de nous inscrire pour un début de septembre à la place ?\n\nCordialement,\nAmelia Hart",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 64.63,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.9908
}Mellum2.1 12B-A2.5B
✗ fail · score 61 (scripted checks 92, judges 3.0/10 from 3) · 0.99 s
Monsieur Lefèvre, Je dois avouer que l'actu nous a surprenus. Nous avions fixé le mois de juin, mais nous comprenons que cela est en dehors de nos pouvoirs. Serait-il possible de nous préciser pour septembre précoce ? Cordialement, Amelia Hart
Judge medians: Adequacy 3 · Fluency and register 3
Scoring detail
{
"target_lang": "fr",
"cleaned": "Monsieur Lefèvre,\n\nJe dois avouer que l'actu nous a surprenus. Nous avions fixé le mois de juin, mais nous comprenons que cela est en dehors de nos pouvoirs. Serait-il possible de nous préciser pour septembre précoce ?\n\nCordialement,\nAmelia Hart",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 61.13,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/9",
"failed_checks": [
{
"type": "register_require",
"terms": [
"vous",
"Vous",
"votre",
"Votre",
"vos",
"Vos"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.9033
}Ling-3.0-tiny (7.9B-A1.3B)
✗ fail · score 76 (scripted checks 91, judges 6.0/10 from 3) · 0.80 s
Madame, Monsieur Lefèvre, Je dois admettre que l'information nous a surpris. Nous avions à l'esprit la date de juin, mais nous comprenons qu'elle ne dépend plus de vous. Serait-il possible de nous réserver une place pour le début de septembre à la place ? Cordialement, Amélie Hart
Judge medians: Adequacy 5 · Fluency and register 7
Scoring detail
{
"target_lang": "fr",
"cleaned": "Madame, Monsieur Lefèvre,\n\nJe dois admettre que l'information nous a surpris. Nous avions à l'esprit la date de juin, mais nous comprenons qu'elle ne dépend plus de vous. Serait-il possible de nous réserver une place pour le début de septembre à la place ?\n\nCordialement,\nAmélie Hart",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 60.54,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/9",
"failed_checks": [
{
"type": "keep",
"terms": [
"Amelia Hart"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.8886
}MiniCPM5 2B
✗ fail · score 64 (scripted checks 97, judges 3.0/10 from 3) · 0.92 s
Cher M. Lefèvre, Je dois admettre que la nouvelle nous a pris sur les éguardes. Nous avions mis notre cœur sur la date de juin, mais nous comprenons que c'est en dehors de vos mains. Serait-il possible de nous inclure pour le mois de septembre précoce ? Cordialement, Amelia Hart
Judge medians: Adequacy 3 · Fluency and register 3
Scoring detail
{
"target_lang": "fr",
"cleaned": "Cher M. Lefèvre,\n\nJe dois admettre que la nouvelle nous a pris sur les éguardes. Nous avions mis notre cœur sur la date de juin, mais nous comprenons que c'est en dehors de vos mains. Serait-il possible de nous inclure pour le mois de septembre précoce ?\n\nCordialement,\nAmelia Hart",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 62.97,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.9493
}K2-Horizon 0.9B
✗ fail · score 54 (scripted checks 79, judges 3.0/10 from 3) · 0.39 s
Bonjour Monsieur Lefèvre, Je dois avouer que le news nous a surpris. Nous avions prévu de nous inscrire pour le mois de juin, mais nous comprenons que cela ne nous appartient pas. Serait-il possible de nous inscrire pour le mois d'août ?
Judge medians: Adequacy 2 · Fluency and register 4
Scoring detail
{
"target_lang": "fr",
"cleaned": "Bonjour Monsieur Lefèvre,\n\nJe dois avouer que le news nous a surpris. Nous avions prévu de nous inscrire pour le mois de juin, mais nous comprenons que cela ne nous appartient pas. Serait-il possible de nous inscrire pour le mois d'août ?",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 56.1,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "6/9",
"failed_checks": [
{
"type": "keep",
"terms": [
"septembre"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"Amelia Hart"
],
"ok": false,
"found": null
},
{
"type": "register_require",
"terms": [
"vous",
"Vous",
"votre",
"Votre",
"vos",
"Vos"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.7776
}