Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-009
medium en-frtravel
The prompt
user
Translate the following text into French. Address the guest formally ("vous"). Reply with only the translation.
Check-in is from 3 p.m. and check-out is by 11 a.m. Breakfast is served in the lobby café from 6:30 to 10:00. If you arrive after midnight, please use the keypad at the side door; your code is 4826.What we expected
{
"source_lang": "en",
"target_lang": "fr",
"register_note": "Address the guest formally (\"vous\").",
"source": "Check-in is from 3 p.m. and check-out is by 11 a.m. Breakfast is served in the lobby café from 6:30 to 10:00. If you arrive after midnight, please use the keypad at the side door; your code is 4826.",
"reference": "L'arrivée se fait à partir de 15 h et le départ doit avoir lieu au plus tard à 11 h. Le petit-déjeuner est servi au café du hall de 6 h 30 à 10 h. Si vous arrivez après minuit, veuillez utiliser le clavier de la porte latérale ; votre code est le 4826.",
"alt_references": [],
"must_keep": [
[
"15 h",
"15:00",
"15 heures",
"3 h de l'après-midi",
"15.00"
],
[
"11 h",
"11:00",
"11 heures",
"11.00"
],
[
"6 h 30",
"6:30",
"6.30",
"6 heures 30"
],
[
"10 h",
"10:00",
"10 heures",
"10.00"
],
[
"minuit",
"0 h",
"00 h",
"0h00",
"00:00"
],
[
"4826"
]
],
"register_check": {
"require": [
[
"vous",
"Vous",
"votre",
"Votre",
"vos",
"Vos"
]
],
"forbid": [
"tu",
"Tu",
"toi",
"Toi",
"ton",
"Ton",
"ta",
"Ta",
"tes",
"Tes",
"t'",
"T'"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✗ fail · score 88 (scripted checks 100, judges 7.5/10 from 3) · 2.41 s
L'arrivée est possible à partir de 15 h et le départ est à effectuer avant 11 h. Le petit-déjeuner est servi au café de l'accueil de 6 h 30 à 10 h. En cas d'arrivée après minuit, veuillez utiliser le combiné de la porte latérale ; votre code est 4826.
Judge medians: Adequacy 6 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "L'arrivée est possible à partir de 15 h et le départ est à effectuer avant 11 h. Le petit-déjeuner est servi au café de l'accueil de 6 h 30 à 10 h. En cas d'arrivée après minuit, veuillez utiliser le combiné de la porte latérale ; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 68.49,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 2.12 s
L'arrivée est possible à partir de 15 h et le départ doit avoir lieu avant 11 h. Le petit-déjeuner est servi dans le café de l'entrée de 6 h 30 à 10 h. Si vous arrivez après minuit, veuillez utiliser le clavier situé à la porte latérale ; votre code est 4826.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "fr",
"cleaned": "L'arrivée est possible à partir de 15 h et le départ doit avoir lieu avant 11 h. Le petit-déjeuner est servi dans le café de l'entrée de 6 h 30 à 10 h. Si vous arrivez après minuit, veuillez utiliser le clavier situé à la porte latérale ; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 79.94,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 73 (scripted checks 100, judges 4.5/10 from 3) · 2.44 s
L'enregistrement se fait de 15h00 à 11h00 le jour de l'arrivée. Le petit-déjeuner est servi au café du hall de réception de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser la carte-mémoire de la porte latérale ; votre code est 4826.
Judge medians: Adequacy 3 · Fluency and register 6
Scoring detail
{
"target_lang": "fr",
"cleaned": "L'enregistrement se fait de 15h00 à 11h00 le jour de l'arrivée. Le petit-déjeuner est servi au café du hall de réception de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser la carte-mémoire de la porte latérale ; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 68.51,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 1.55 s
L'enregistrement est à partir de 15h et le départ est avant 11h. Le petit-déjeuner est servi dans le café du lobby de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser le clavier de sécurité de la porte latérale ; votre code est 4826.
Judge medians: Adequacy 10 · Fluency and register 8
Scoring detail
{
"target_lang": "fr",
"cleaned": "L'enregistrement est à partir de 15h et le départ est avant 11h. Le petit-déjeuner est servi dans le café du lobby de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser le clavier de sécurité de la porte latérale ; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 72.47,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✓ pass · score 85 (scripted checks 100, judges 7.0/10 from 3) · 1.02 s
L'enregistrement est à partir de 15h et la départ doit être avant 11h. Le petit-déjeuner est servi dans le café de l'entrée de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser le code tactile de la porte latérale ; votre code est 4826.
Judge medians: Adequacy 8 · Fluency and register 6
Scoring detail
{
"target_lang": "fr",
"cleaned": "L'enregistrement est à partir de 15h et la départ doit être avant 11h. Le petit-déjeuner est servi dans le café de l'entrée de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser le code tactile de la porte latérale ; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 68.6,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 80 (scripted checks 100, judges 6.0/10 from 3) · 0.76 s
La check-in est de 15 heures et la check-out est à 11 heures. Le petit-déjeuner est servi dans le café du hall de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser le clavier à la porte latérale ; votre code est 4826.
Judge medians: Adequacy 7 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "La check-in est de 15 heures et la check-out est à 11 heures. Le petit-déjeuner est servi dans le café du hall de 6h30 à 10h00. Si vous arrivez après minuit, veuillez utiliser le clavier à la porte latérale ; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 65.93,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✓ pass · score 80 (scripted checks 95, judges 6.5/10 from 3) · 0.92 s
L'enregistrement est à partir de 15 heures et le check-out est avant 11 heures. Le petit-déjeuner est servi dans le café du salon de la 6h30 à 10h. Si vous arrivez après minuit, veuillez utiliser le clavier à l'entrée du côté; votre code est 4826.
Judge medians: Adequacy 8 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "L'enregistrement est à partir de 15 heures et le check-out est avant 11 heures. Le petit-déjeuner est servi dans le café du salon de la 6h30 à 10h. Si vous arrivez après minuit, veuillez utiliser le clavier à l'entrée du côté; votre code est 4826.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 61.3,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.9075
}K2-Horizon 0.9B
✗ fail · score 60 (scripted checks 76, judges 4.5/10 from 3) · 0.34 s
La check-in commence à 15h et la check-out se fait à 11h. Le café est servi dans le lobby de 6h30 à 10h. Si vous arrivez après minuit, veuillez utiliser le code 4826 au côté de la porte.
Judge medians: Adequacy 4 · Fluency and register 5
Scoring detail
{
"target_lang": "fr",
"cleaned": "La check-in commence à 15h et la check-out se fait à 11h. Le café est servi dans le lobby de 6h30 à 10h. Si vous arrivez après minuit, veuillez utiliser le code 4826 au côté de la porte.",
"detected_lang": "fr",
"lang_ok": true,
"chrf": 47.88,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/10",
"failed_checks": [
{
"type": "no_untranslated_leftovers",
"ok": false,
"found": [
"check",
"lobby",
"out"
],
"cjk_chars": 0
}
],
"chrf_scaled": 0.5721
}