Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-016
medium en-derecipe
The prompt
user
Translate the following text into German. Use the informal "du" form. Reply with only the translation. Cut the potatoes into 2 cm cubes and boil them in salted water for 12 minutes. Drain, let them steam dry, then toss with 2 tablespoons of melted butter and a handful of chopped parsley.
What we expected
{
"source_lang": "en",
"target_lang": "de",
"register_note": "Use the informal \"du\" form.",
"source": "Cut the potatoes into 2 cm cubes and boil them in salted water for 12 minutes. Drain, let them steam dry, then toss with 2 tablespoons of melted butter and a handful of chopped parsley.",
"reference": "Schneide die Kartoffeln in 2 cm große Würfel und koche sie 12 Minuten in Salzwasser. Gieße sie ab, lass sie ausdampfen und schwenke sie dann mit 2 Esslöffeln geschmolzener Butter und einer Handvoll gehackter Petersilie.",
"alt_references": [],
"must_keep": [
[
"2 cm",
"2-cm",
"2-Zentimeter",
"2 Zentimeter",
"zwei Zentimeter"
],
[
"12"
],
[
"2 Esslöffel",
"2 EL",
"zwei Esslöffel",
"zwei EL"
],
[
"Petersilie"
]
],
"register_check": {
"require": [
[
"Schneide",
"schneide",
"Schneid",
"koche",
"Koche",
"lass",
"Lass",
"schwenke",
"Schwenke",
"Gieße",
"gieße",
"Gieß",
"gieß",
"du",
"Du"
]
],
"forbid": [
"Ihnen",
"Schneiden Sie",
"Kochen Sie",
"Lassen Sie",
"Gießen Sie",
"Schwenken Sie",
"Geben Sie"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✗ fail · score 81 (scripted checks 96, judges 6.5/10 from 3) · 1.92 s
Würfle die Kartoffeln in 2 cm große Stücke und koch sie 12 Minuten in Salzwasser. Abgießen, abtropfen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll gehackter Petersilie mischen.
Judge medians: Adequacy 8 · Fluency and register 5
Scoring detail
{
"target_lang": "de",
"cleaned": "Würfle die Kartoffeln in 2 cm große Stücke und koch sie 12 Minuten in Salzwasser. Abgießen, abtropfen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll gehackter Petersilie mischen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 69.85,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "register_require",
"terms": [
"Schneide",
"schneide",
"Schneid",
"koche",
"Koche",
"lass",
"Lass",
"schwenke",
"Schwenke",
"Gieße",
"gieße",
"Gieß",
"gieß",
"du",
"Du"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Ornith-1.5 9B
✗ fail · score 78 (scripted checks 96, judges 6.0/10 from 3) · 1.61 s
Kartoffeln in 2 cm Würfel schneiden und 12 Minuten in Salzwasser kochen. Abgießen, abtropfen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll gehackter Petersilie vermengen.
Judge medians: Adequacy 8 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Kartoffeln in 2 cm Würfel schneiden und 12 Minuten in Salzwasser kochen. Abgießen, abtropfen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll gehackter Petersilie vermengen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 65.96,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "register_require",
"terms": [
"Schneide",
"schneide",
"Schneid",
"koche",
"Koche",
"lass",
"Lass",
"schwenke",
"Schwenke",
"Gieße",
"gieße",
"Gieß",
"gieß",
"du",
"Du"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 65 (scripted checks 90, judges 4.0/10 from 3) · 2.14 s
Schneide die Kartoffeln in 2 cm‑Würfel und koche sie in salzgegossenem Wasser 12 Minuten. Abgieß sie, lass sie abtropfen, dann mische sie mit 2 EL geschmolzenem Butter und einer Handvoll gehacktem Schnittlauch.
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Schneide die Kartoffeln in 2 cm‑Würfel und koche sie in salzgegossenem Wasser 12 Minuten. Abgieß sie, lass sie abtropfen, dann mische sie mit 2 EL geschmolzenem Butter und einer Handvoll gehacktem Schnittlauch.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 59.98,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"Petersilie"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.8744
}Spark-X2.5 4B
✗ fail · score 68 (scripted checks 96, judges 4.0/10 from 3) · 1.27 s
Schneide die Kartoffeln in 2 cm Würfel und koche sie 12 Minuten in salziger Wasser. Entleere sie, lass sie trocknen, dann mische mit 2 Tassen geschmolzenem Butter und einer Handvoll gehackten Petersilie.
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Schneide die Kartoffeln in 2 cm Würfel und koche sie 12 Minuten in salziger Wasser. Entleere sie, lass sie trocknen, dann mische mit 2 Tassen geschmolzenem Butter und einer Handvoll gehackten Petersilie.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 65.37,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"2 Esslöffel",
"2 EL",
"zwei Esslöffel",
"zwei EL"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✓ pass · score 85 (scripted checks 100, judges 7.0/10 from 3) · 0.82 s
Schneide die Kartoffeln in 2 cm Würfel und koche sie in gesalzenem Wasser für 12 Minuten. Gieße sie ab, lass sie trocknen, dann würze sie mit 2 EL geschmolzenem Butter und einer Handvoll gehacktem Petersilie.
Judge medians: Adequacy 8 · Fluency and register 6
Scoring detail
{
"target_lang": "de",
"cleaned": "Schneide die Kartoffeln in 2 cm Würfel und koche sie in gesalzenem Wasser für 12 Minuten. Gieße sie ab, lass sie trocknen, dann würze sie mit 2 EL geschmolzenem Butter und einer Handvoll gehacktem Petersilie.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 66.62,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✗ fail · score 73 (scripted checks 100, judges 4.5/10 from 3) · 0.66 s
Schneide die Kartoffeln in 2 cm große Würfel und brate sie in salzigem Wasser 12 Minuten. Abgießen, trocknen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll gehacktem Petersilie vermengen.
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Schneide die Kartoffeln in 2 cm große Würfel und brate sie in salzigem Wasser 12 Minuten. Abgießen, trocknen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll gehacktem Petersilie vermengen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 65.91,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 78 (scripted checks 100, judges 5.5/10 from 3) · 0.81 s
Schneide die Kartoffeln in 2 cm große Würfel und koche sie in salzigem Wasser 12 Minuten. Abtropfen lassen, sie trockengehen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll feinem Petersilie vermischen.
Judge medians: Adequacy 7 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Schneide die Kartoffeln in 2 cm große Würfel und koche sie in salzigem Wasser 12 Minuten. Abtropfen lassen, sie trockengehen lassen, dann mit 2 Esslöffeln geschmolzenem Butter und einer Handvoll feinem Petersilie vermischen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 66.22,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}K2-Horizon 0.9B
✗ fail · score 34 (scripted checks 54, judges 1.5/10 from 3) · 0.39 s
Kleine Knoblauchknödel in 2 cm Stückchen schneiden, in salziges Wasser kochen lassen und 12 Minuten kochen. Abkühlen lassen, dann mit 2 Tassen Marmelade und einer Handvoll gehacktem Parsley fein zufügen.
Judge medians: Adequacy 1 · Fluency and register 2
Scoring detail
{
"target_lang": "de",
"cleaned": "Kleine Knoblauchknödel in 2 cm Stückchen schneiden, in salziges Wasser kochen lassen und 12 Minuten kochen. Abkühlen lassen, dann mit 2 Tassen Marmelade und einer Handvoll gehacktem Parsley fein zufügen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 36.88,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"2 Esslöffel",
"2 EL",
"zwei Esslöffel",
"zwei EL"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"Petersilie"
],
"ok": false,
"found": null
},
{
"type": "register_require",
"terms": [
"Schneide",
"schneide",
"Schneid",
"koche",
"Koche",
"lass",
"Lass",
"schwenke",
"Schwenke",
"Gieße",
"gieße",
"Gieß",
"gieß",
"du",
"Du"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.2969
}