Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-017
hard en-deproduct
The prompt
user
Translate the following text into German. Reply with only the translation. The Aurora S7 robot vacuum has 4,000 Pa of suction, a 5,200 mAh battery (up to 180 min runtime) and a 0.45 L dustbin. It climbs thresholds up to 2 cm and is only 9.5 cm tall, so it fits under most sofas. Noise level: 58 dB in quiet mode.
What we expected
{
"source_lang": "en",
"target_lang": "de",
"register_note": null,
"source": "The Aurora S7 robot vacuum has 4,000 Pa of suction, a 5,200 mAh battery (up to 180 min runtime) and a 0.45 L dustbin. It climbs thresholds up to 2 cm and is only 9.5 cm tall, so it fits under most sofas. Noise level: 58 dB in quiet mode.",
"reference": "Der Saugroboter Aurora S7 bietet 4.000 Pa Saugleistung, einen Akku mit 5.200 mAh (bis zu 180 Minuten Laufzeit) und einen Staubbehälter mit 0,45 L. Er überwindet Schwellen bis 2 cm und ist nur 9,5 cm hoch, sodass er unter die meisten Sofas passt. Geräuschpegel: 58 dB im Leisemodus.",
"alt_references": [],
"must_keep": [
[
"Aurora S7"
],
[
"4.000 Pa",
"4000 Pa",
"4 000 Pa",
"4,000 Pa"
],
[
"5.200 mAh",
"5200 mAh",
"5 200 mAh",
"5,200 mAh"
],
[
"180"
],
[
"0,45 L",
"0.45 L",
"0,45 Liter",
"0,45 l"
],
[
"2 cm",
"2 Zentimeter"
],
[
"9,5 cm",
"9.5 cm"
],
[
"58 dB"
]
],
"register_check": null,
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✗ fail · score 78 (scripted checks 100, judges 5.5/10 from 3) · 3.27 s
Der Roborock-Aurora S7-Roborock-Saugroboter verfügt über 4.000 Pa Saugkraft, einen 5.200 mAh-Akku (bis zu 180 Minuten Laufzeit) und einen 0,45-Liter-Staubbehälter. Er überwindet Schwelle bis 2 cm und ist nur 9,5 cm hoch, passt also unter die meisten Sofas. Lautstärke: 58 dB im leisen Modus.
Judge medians: Adequacy 5 · Fluency and register 6
Scoring detail
{
"target_lang": "de",
"cleaned": "Der Roborock-Aurora S7-Roborock-Saugroboter verfügt über 4.000 Pa Saugkraft, einen 5.200 mAh-Akku (bis zu 180 Minuten Laufzeit) und einen 0,45-Liter-Staubbehälter. Er überwindet Schwelle bis 2 cm und ist nur 9,5 cm hoch, passt also unter die meisten Sofas. Lautstärke: 58 dB im leisen Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 65,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.9999
}Ornith-1.5 9B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 2.61 s
Der Roboterstaubsauger Aurora S7 verfügt über 4.000 Pa Saugleistung, einen 5.200 mAh Akku (bis zu 180 Minuten Laufzeit) und einen 0,45-Liter-Staubbehälter. Er steigt über Schwelle bis zu 2 cm und ist nur 9,5 cm hoch, so dass er unter den meisten Sofas passt. Lautstärke: 58 dB im leisen Modus.
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Der Roboterstaubsauger Aurora S7 verfügt über 4.000 Pa Saugleistung, einen 5.200 mAh Akku (bis zu 180 Minuten Laufzeit) und einen 0,45-Liter-Staubbehälter. Er steigt über Schwelle bis zu 2 cm und ist nur 9,5 cm hoch, so dass er unter den meisten Sofas passt. Lautstärke: 58 dB im leisen Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 67.21,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 3.35 s
Der Aurora S7 Roboter-Staubsauger hat eine Saugkraft von 4.000 Pa, eine Batterie mit 5.200 mAh (bis zu 180 Minuten Laufzeit) und eine 0,45 L-Sammelbehälter. Er kann Schwellen bis zu 2 cm überwinden und ist nur 9,5 cm hoch, sodass er unter den meisten Sofas Platz findet. Geräuschpegel: 58 dB im leisen Modus.
Judge medians: Adequacy 9 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Der Aurora S7 Roboter-Staubsauger hat eine Saugkraft von 4.000 Pa, eine Batterie mit 5.200 mAh (bis zu 180 Minuten Laufzeit) und eine 0,45 L-Sammelbehälter. Er kann Schwellen bis zu 2 cm überwinden und ist nur 9,5 cm hoch, sodass er unter den meisten Sofas Platz findet. Geräuschpegel: 58 dB im leisen Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 67.94,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✗ fail · score 68 (scripted checks 95, judges 4.0/10 from 3) · 2.14 s
Der Aurora S7-Robovacuum hat eine Luftabschlusskraft von 4.000 Pa, eine 5.200 mAh-Batterie (bis zu 180 Minuten Betriebszeit) und einen 0,45 L-Grundablass. Er überwindet Höhenunterschiede bis zu 2 cm und ist nur 9,5 cm hoch, sodass er unter den meisten Sofas passt. Geräuschpegel: 58 dB im leisen Modus.
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Der Aurora S7-Robovacuum hat eine Luftabschlusskraft von 4.000 Pa, eine 5.200 mAh-Batterie (bis zu 180 Minuten Betriebszeit) und einen 0,45 L-Grundablass. Er überwindet Höhenunterschiede bis zu 2 cm und ist nur 9,5 cm hoch, sodass er unter den meisten Sofas passt. Geräuschpegel: 58 dB im leisen Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 61.14,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.9036
}Mellum2.1 12B-A2.5B
✗ fail · score 70 (scripted checks 94, judges 4.5/10 from 3) · 1.31 s
Die Aurora S7-Roboterstaubsauger hat 4.000 Pa Saugkraft, eine 5.200 mAh-Akku (bis zu 180 Minuten Laufzeit) und einen 0,45-Liter-Auffangbehälter. Er kann Schotels bis zu 2 cm hoch hüpfen und ist nur 9,5 cm hoch, sodass er unter den meisten Sofas passt. Lärmpegel: 58 dB im leisen Modus.
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Die Aurora S7-Roboterstaubsauger hat 4.000 Pa Saugkraft, eine 5.200 mAh-Akku (bis zu 180 Minuten Laufzeit) und einen 0,45-Liter-Auffangbehälter. Er kann Schotels bis zu 2 cm hoch hüpfen und ist nur 9,5 cm hoch, sodass er unter den meisten Sofas passt. Lärmpegel: 58 dB im leisen Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 60.33,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.8831
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 77 (scripted checks 88, judges 6.5/10 from 3) · 1.03 s
Der Aurora S7 Roboterstaubsauger hat 4.000 Pa Saugkraft, eine 5.200 mAh-Akkukapazität (bis zu 180 Minuten Laufzeit) und einen 0,45 L Sack. Er klettert Höhen von bis zu 2 cm und ist nur 9,5 cm hoch, weshalb er unter den meisten Sofas passt. Lautstärke: 58 dB im leisen Modus.
Judge medians: Adequacy 7 · Fluency and register 6
Scoring detail
{
"target_lang": "de",
"cleaned": "Der Aurora S7 Roboterstaubsauger hat 4.000 Pa Saugkraft, eine 5.200 mAh-Akkukapazität (bis zu 180 Minuten Laufzeit) und einen 0,45 L Sack. Er klettert Höhen von bis zu 2 cm und ist nur 9,5 cm hoch, weshalb er unter den meisten Sofas passt. Lautstärke: 58 dB im leisen Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 55.71,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.7678
}MiniCPM5 2B
✗ fail · score 67 (scripted checks 84, judges 5.0/10 from 3) · 1.26 s
Die Aurora S7-Roboterstaubsauger hat eine Saugkraft von 4.000 Pa, eine 5.200 mAh-Batterie (bis 180 Min. Laufzeit) und einen 0,45 L-Trockenbeutel. Er klettert auf Grenzflächen bis zu 2 cm und ist nur 9,5 cm groß, sodass er unter den meisten Sofas passt. Lärmpegel: 58 dB bei Stillmodus.
Judge medians: Adequacy 6 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Die Aurora S7-Roboterstaubsauger hat eine Saugkraft von 4.000 Pa, eine 5.200 mAh-Batterie (bis 180 Min. Laufzeit) und einen 0,45 L-Trockenbeutel. Er klettert auf Grenzflächen bis zu 2 cm und ist nur 9,5 cm groß, sodass er unter den meisten Sofas passt. Lärmpegel: 58 dB bei Stillmodus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 52.2,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.68
}K2-Horizon 0.9B
✗ fail · score 54 (scripted checks 78, judges 3.0/10 from 3) · 0.56 s
Der Aurora S7 Roboterbäder hat 4.000 Pa von Abfluss, eine 5.200 mAh-Batterie (bis zu 180 Min. Lebensdauer) und eine 0,45 L Staubkammer. Er steigt bis zu 2 cm über Schranken und ist nur 9,5 cm hoch, sodass er unter meisten Bädern passt. Lärmstärke: 58 dB in stillem Modus.
Judge medians: Adequacy 3 · Fluency and register 3
Scoring detail
{
"target_lang": "de",
"cleaned": "Der Aurora S7 Roboterbäder hat 4.000 Pa von Abfluss, eine 5.200 mAh-Batterie (bis zu 180 Min. Lebensdauer) und eine 0,45 L Staubkammer. Er steigt bis zu 2 cm über Schranken und ist nur 9,5 cm hoch, sodass er unter meisten Bädern passt. Lärmstärke: 58 dB in stillem Modus.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 47.48,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 0.5621
}