Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-015
medium en-dereminder
The prompt
user
Translate the following text into German. Use the formal "Sie" form. Reply with only the translation. Your package from Nordhaven Outdoor will be delivered tomorrow between 9:00 and 13:00. If you're not home, the driver will leave it with a neighbor or at the Birchwood Lane pickup point. Tracking number: NH-4471-2093.
What we expected
{
"source_lang": "en",
"target_lang": "de",
"register_note": "Use the formal \"Sie\" form.",
"source": "Your package from Nordhaven Outdoor will be delivered tomorrow between 9:00 and 13:00. If you're not home, the driver will leave it with a neighbor or at the Birchwood Lane pickup point. Tracking number: NH-4471-2093.",
"reference": "Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr zugestellt. Falls Sie nicht zu Hause sind, gibt der Fahrer es bei einem Nachbarn ab oder hinterlegt es an der Abholstelle Birchwood Lane. Sendungsnummer: NH-4471-2093.",
"alt_references": [],
"must_keep": [
[
"Nordhaven Outdoor"
],
[
"morgen"
],
[
"9:00",
"9 Uhr",
"9.00",
"zwischen 9 und",
"von 9 bis",
"9 bis 13",
"9–13",
"9-13"
],
[
"13:00",
"13 Uhr",
"13.00"
],
[
"Birchwood Lane"
],
[
"NH-4471-2093"
]
],
"register_check": {
"require": [
[
"Sie",
"Ihnen",
"Ihr",
"Ihre",
"Ihren",
"Ihrem",
"Ihrer"
]
],
"forbid": [
"du",
"Du",
"dir",
"Dir",
"dich",
"Dich",
"dein",
"Dein",
"deine",
"Deine",
"deinen",
"deinem"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 2.14 s
Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 zugestellt. Wenn Sie nicht zu Hause sind, wird der Zusteller es einem Nachbarn oder am Abholpunkt in der Birchwood Lane übergeben. Trackingnummer: NH-4471-2093.
Judge medians: Adequacy 10 · Fluency and register 8
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 zugestellt. Wenn Sie nicht zu Hause sind, wird der Zusteller es einem Nachbarn oder am Abholpunkt in der Birchwood Lane übergeben. Trackingnummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 68.1,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 1.91 s
Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr zugestellt. Wenn Sie nicht zu Hause sind, wird der Zusteller es einem Nachbarn oder am Abholpunkt Birchwood Lane hinterlassen. Sendungsnummer: NH-4471-2093.
Judge medians: Adequacy 10 · Fluency and register 8
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr zugestellt. Wenn Sie nicht zu Hause sind, wird der Zusteller es einem Nachbarn oder am Abholpunkt Birchwood Lane hinterlassen. Sendungsnummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 75.26,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 2.11 s
Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr geliefert. Wenn Sie nicht zu Hause sind, wird der Lieferfahrer es bei einem Nachbarn abgeben oder am Birchwood Lane Abholort hinterlassen. Verfolgungsnummer: NH-4471-2093.
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr geliefert. Wenn Sie nicht zu Hause sind, wird der Lieferfahrer es bei einem Nachbarn abgeben oder am Birchwood Lane Abholort hinterlassen. Verfolgungsnummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 71.55,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✗ fail · score 77 (scripted checks 99, judges 5.5/10 from 3) · 1.51 s
Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr geliefert. Wenn Sie nicht zu Hause sind, wird der Fahrer es an einen Nachbarn oder am Pick-up-Punkt an Birchwood Lane abgeben. Rufnummer: NH-4471-2093.
Judge medians: Adequacy 5 · Fluency and register 6
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr geliefert. Wenn Sie nicht zu Hause sind, wird der Fahrer es an einen Nachbarn oder am Pick-up-Punkt an Birchwood Lane abgeben. Rufnummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 64.57,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.9892
}Mellum2.1 12B-A2.5B
✓ pass · score 97 (scripted checks 98, judges 9.5/10 from 3) · 0.93 s
Ihre Sendung von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr geliefert. Wenn Sie nicht zu Hause sind, wird der Fahrer die Sendung an einen Nachbarn abgeben oder am Abholpunkt Birchwood Lane ablegen. Trackingnummer: NH-4471-2093.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihre Sendung von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 Uhr geliefert. Wenn Sie nicht zu Hause sind, wird der Fahrer die Sendung an einen Nachbarn abgeben oder am Abholpunkt Birchwood Lane ablegen. Trackingnummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 63.72,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.968
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 0.73 s
Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 zugestellt. Wenn Sie nicht zu Hause sind, wird der Fahrer es bei einem Nachbarn oder am Abholpunkt Birchwood Lane hinterlassen. Sendenummer: NH-4471-2093.
Judge medians: Adequacy 9 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird morgen zwischen 9:00 und 13:00 zugestellt. Wenn Sie nicht zu Hause sind, wird der Fahrer es bei einem Nachbarn oder am Abholpunkt Birchwood Lane hinterlassen. Sendenummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 74.2,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 78 (scripted checks 96, judges 6.0/10 from 3) · 0.85 s
Ihr Paket von Nordhaven Outdoor wird am nächsten Tag zwischen 9:00 und 13:00 versendet. Wenn Sie nicht zu Hause sind, wird der Fahrer es an einen Nachbarn abgeben oder an der Abholstation Birchwood Lane. Tracking-Nummer: NH-4471-2093.
Judge medians: Adequacy 5 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird am nächsten Tag zwischen 9:00 und 13:00 versendet. Wenn Sie nicht zu Hause sind, wird der Fahrer es an einen Nachbarn abgeben oder an der Abholstation Birchwood Lane. Tracking-Nummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 64.32,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/10",
"failed_checks": [
{
"type": "keep",
"terms": [
"morgen"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.983
}K2-Horizon 0.9B
✗ fail · score 64 (scripted checks 87, judges 4.0/10 from 3) · 0.42 s
Ihr Paket von Nordhaven Outdoor wird am nächsten Tag zwischen 9:00 und 13:00 versandt. Wenn Sie nicht im Haus sind, wird der Fahrer es mit einem Nachbarn oder am Pickuppunkt Birchwood Lane abholen. Tracking-Nummer: NH-4471-2093.
Judge medians: Adequacy 3 · Fluency and register 5
Scoring detail
{
"target_lang": "de",
"cleaned": "Ihr Paket von Nordhaven Outdoor wird am nächsten Tag zwischen 9:00 und 13:00 versandt. Wenn Sie nicht im Haus sind, wird der Fahrer es mit einem Nachbarn oder am Pickuppunkt Birchwood Lane abholen. Tracking-Nummer: NH-4471-2093.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 57.25,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/10",
"failed_checks": [
{
"type": "keep",
"terms": [
"morgen"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.8063
}