Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-014
easy en-dechat
The prompt
user
Translate the following text into German. Use the informal "du" form. Reply with only the translation. Are you coming to Lena's birthday party on Saturday? Bring your guitar if you can!
What we expected
{
"source_lang": "en",
"target_lang": "de",
"register_note": "Use the informal \"du\" form.",
"source": "Are you coming to Lena's birthday party on Saturday? Bring your guitar if you can!",
"reference": "Kommst du am Samstag zu Lenas Geburtstagsparty? Bring deine Gitarre mit, wenn du kannst!",
"alt_references": [
"Kommst du am Samstag zu Lenas Geburtstagsfeier? Bring deine Gitarre mit, falls du kannst!",
"Kommst du Samstag zu Lenas Geburtstag? Wenn du kannst, bring deine Gitarre mit!"
],
"must_keep": [
[
"Lena"
],
[
"Samstag"
],
[
"Gitarre"
]
],
"register_check": {
"require": [
[
"du",
"Du",
"dir",
"Dir",
"dich",
"Dich",
"dein",
"Dein",
"deine",
"Deine",
"deinen"
]
],
"forbid": [
"Ihnen",
"Ihre",
"Ihren",
"Ihrem",
"Kommen Sie",
"Bringen Sie"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 0.87 s
Kommst du am Samstag zu Lenas Geburtstagsparty? Bring deine Gitarre mit, wenn du kannst!
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "de",
"cleaned": "Kommst du am Samstag zu Lenas Geburtstagsparty? Bring deine Gitarre mit, wenn du kannst!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 100,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.85 s
Kommst du zum Geburtstagsfest von Lena am Samstag? Bring doch mal deine Gitarre mit, wenn du kannst!
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "de",
"cleaned": "Kommst du zum Geburtstagsfest von Lena am Samstag? Bring doch mal deine Gitarre mit, wenn du kannst!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 72.37,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.86 s
Kommst du zum Geburtstagsfest von Lena am Samstag? Bringe deine Gitarre mit, wenn du kannst!
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "de",
"cleaned": "Kommst du zum Geburtstagsfest von Lena am Samstag? Bringe deine Gitarre mit, wenn du kannst!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 72.19,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 0.61 s
Kommst du zum Geburtstagsfest von Lena am Samstag? Bringe deine Gitarre, wenn du kannst!
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Kommst du zum Geburtstagsfest von Lena am Samstag? Bringe deine Gitarre, wenn du kannst!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 65.36,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 80 (scripted checks 100, judges 6.0/10 from 3) · 0.41 s
Bist du am Samstag zu Lenas Geburtstagsfeier kommen? Nimm dein Gitarre mit, wenn du kannst!
Judge medians: Adequacy 8 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Bist du am Samstag zu Lenas Geburtstagsfeier kommen? Nimm dein Gitarre mit, wenn du kannst!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 73.42,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 92 (scripted checks 99, judges 8.5/10 from 3) · 0.32 s
Kommst du zur Geburtstagsfeier von Lena am Samstag? Bring dein Gitarre, wenn du kannst!
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Kommst du zur Geburtstagsfeier von Lena am Samstag? Bring dein Gitarre, wenn du kannst!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 64.16,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 0.9789
}MiniCPM5 2B
✗ fail · score 57 (scripted checks 78, judges 3.5/10 from 3) · 0.43 s
Komm zu Lena's Geburtstagsfeier am Samstag? Bringt ihr eure Gitarre, wenn ihr könnt!
Judge medians: Adequacy 4 · Fluency and register 3
Scoring detail
{
"target_lang": "de",
"cleaned": "Komm zu Lena's Geburtstagsfeier am Samstag? Bringt ihr eure Gitarre, wenn ihr könnt!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 51.18,
"best_ref": 1,
"pass_bar": 40,
"checks_passed": "6/7",
"failed_checks": [
{
"type": "register_require",
"terms": [
"du",
"Du",
"dir",
"Dir",
"dich",
"Dich",
"dein",
"Dein",
"deine",
"Deine",
"deinen"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.6546
}K2-Horizon 0.9B
✗ fail · score 72 (scripted checks 93, judges 5.0/10 from 3) · 0.16 s
Kommst du zu Lenas Geburtstagparty am Samstag? Bring dein Gitarre!
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "de",
"cleaned": "Kommst du zu Lenas Geburtstagparty am Samstag? Bring dein Gitarre!",
"detected_lang": "de",
"lang_ok": true,
"chrf": 59.41,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 0.8602
}