Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-013
easy en-design
The prompt
user
Translate the following text into German. Reply with only the translation. No parking. Vehicles will be towed at the owner's expense.
What we expected
{
"source_lang": "en",
"target_lang": "de",
"register_note": null,
"source": "No parking. Vehicles will be towed at the owner's expense.",
"reference": "Parken verboten. Fahrzeuge werden auf Kosten des Halters abgeschleppt.",
"alt_references": [
"Parken verboten. Widerrechtlich abgestellte Fahrzeuge werden kostenpflichtig abgeschleppt.",
"Parkverbot. Fahrzeuge werden auf Kosten des Eigentümers abgeschleppt."
],
"must_keep": [],
"register_check": null,
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 88 (scripted checks 100, judges 7.5/10 from 3) · 0.72 s
Keine Parkmöglichkeit. Fahrzeuge werden auf Kosten des Eigentümers abgeschleppt.
Judge medians: Adequacy 7 · Fluency and register 8
Scoring detail
{
"target_lang": "de",
"cleaned": "Keine Parkmöglichkeit. Fahrzeuge werden auf Kosten des Eigentümers abgeschleppt.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 85.01,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 0.64 s
Kein Parken. Fahrzeuge werden auf Kosten des Eigentümers abgeschleppt.
Judge medians: Adequacy 10 · Fluency and register 8
Scoring detail
{
"target_lang": "de",
"cleaned": "Kein Parken. Fahrzeuge werden auf Kosten des Eigentümers abgeschleppt.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 86.18,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 73 (scripted checks 100, judges 4.5/10 from 3) · 0.71 s
Parken nicht erlaubt. Fahrzeuge werden auf Kosten des Eigentümers abgerammlt.
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Parken nicht erlaubt. Fahrzeuge werden auf Kosten des Eigentümers abgerammlt.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 74.2,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✗ fail · score 44 (scripted checks 63, judges 2.5/10 from 3) · 0.44 s
Keine Parkplätze. Fahrzeuge werden vom Besitzer bezahlt.
Judge medians: Adequacy 1 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Keine Parkplätze. Fahrzeuge werden vom Besitzer bezahlt.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 35.14,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 0.2535
}Mellum2.1 12B-A2.5B
✗ fail · score 69 (scripted checks 98, judges 4.0/10 from 3) · 0.34 s
Kein Parken. Fahrzeuge werden zum Kosten des Eigentümers abgetragen.
Judge medians: Adequacy 5 · Fluency and register 3
Scoring detail
{
"target_lang": "de",
"cleaned": "Kein Parken. Fahrzeuge werden zum Kosten des Eigentümers abgetragen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 63.75,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 0.9687
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 75 (scripted checks 86, judges 6.5/10 from 3) · 0.22 s
Kein Parken. Fahrzeuge werden gegen Gebühr abgeschleppt.
Judge medians: Adequacy 7 · Fluency and register 6
Scoring detail
{
"target_lang": "de",
"cleaned": "Kein Parken. Fahrzeuge werden gegen Gebühr abgeschleppt.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 53.4,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 0.71
}MiniCPM5 2B
✗ fail · score 51 (scripted checks 76, judges 2.5/10 from 3) · 0.34 s
Kein Parken. Fahrzeuge werden vom Eigentümer bezahlt, geliftet.
Judge medians: Adequacy 3 · Fluency and register 2
Scoring detail
{
"target_lang": "de",
"cleaned": "Kein Parken. Fahrzeuge werden vom Eigentümer bezahlt, geliftet.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 45.83,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 0.5208
}K2-Horizon 0.9B
✗ fail · score 46 (scripted checks 77, judges 1.5/10 from 3) · 0.18 s
Keine Parkplätze. Fahrzeuge werden an den Eigentümer zu Eigen gebracht.
Judge medians: Adequacy 1 · Fluency and register 2
Scoring detail
{
"target_lang": "de",
"cleaned": "Keine Parkplätze. Fahrzeuge werden an den Eigentümer zu Eigen gebracht.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 46.87,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "2/2",
"failed_checks": [],
"chrf_scaled": 0.5467
}