Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-004
medium en-esrecipe
The prompt
user
Translate the following text into Spanish. Use the informal "tú" form. Reply with only the translation. Preheat the oven to 375°F (190°C). Whisk the eggs with the sugar until pale, then fold in the flour gently. Pour into a greased 9-inch pan and bake for 25–30 minutes, until a toothpick comes out clean.
What we expected
{
"source_lang": "en",
"target_lang": "es",
"register_note": "Use the informal \"tú\" form.",
"source": "Preheat the oven to 375°F (190°C). Whisk the eggs with the sugar until pale, then fold in the flour gently. Pour into a greased 9-inch pan and bake for 25–30 minutes, until a toothpick comes out clean.",
"reference": "Precalienta el horno a 375 °F (190 °C). Bate los huevos con el azúcar hasta que blanqueen y luego incorpora la harina con suavidad, con movimientos envolventes. Vierte la mezcla en un molde de 9 pulgadas engrasado y hornea de 25 a 30 minutos, hasta que, al insertar un palillo, este salga limpio.",
"alt_references": [],
"must_keep": [
[
"375"
],
[
"190"
],
[
"9 pulgadas",
"23 cm",
"9\""
],
[
"25"
],
[
"30"
]
],
"register_check": {
"require": [
[
"Precalienta",
"precalienta",
"Bate",
"bate",
"vierte",
"Vierte",
"hornea",
"Hornea",
"incorpora",
"Incorpora",
"tú",
"Tú"
]
],
"forbid": [
"usted",
"Usted",
"Precaliente",
"precaliente",
"Vierta",
"vierta",
"Hornee",
"hornee",
"Bata",
"bata",
"Incorpore",
"incorpore",
"Engrase",
"engrase"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✗ fail · score 80 (scripted checks 96, judges 6.5/10 from 3) · 2.50 s
Precalienta el horno a 375°F (190°C). Baté los huevos con el azúcar hasta que queden pálidos, luego incorpore la harina con cuidado. Viértela en un molde engrasado de 9 pulgadas y hornee de 25 a 30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 9 · Fluency and register 4
Scoring detail
{
"target_lang": "es",
"cleaned": "Precalienta el horno a 375°F (190°C). Baté los huevos con el azúcar hasta que queden pálidos, luego incorpore la harina con cuidado. Viértela en un molde engrasado de 9 pulgadas y hornee de 25 a 30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 64.22,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/9",
"failed_checks": [
{
"type": "register_forbid",
"ok": false,
"found": [
"hornee",
"incorpore"
]
}
],
"chrf_scaled": 0.9805
}Ornith-1.5 9B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 1.98 s
Precalienta el horno a 375°F (190°C). Bate los huevos con el azúcar hasta que queden pálidos, luego incorpora la harina suavemente. Viértelo en un molde engrasado de 9 pulgadas y hornea durante 25-30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 9 · Fluency and register 8
Scoring detail
{
"target_lang": "es",
"cleaned": "Precalienta el horno a 375°F (190°C). Bate los huevos con el azúcar hasta que queden pálidos, luego incorpora la harina suavemente. Viértelo en un molde engrasado de 9 pulgadas y hornea durante 25-30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 65.22,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 85 (scripted checks 100, judges 7.0/10 from 3) · 2.29 s
Calienta el horno a 375 °F (190 °C). Bate los huevos con la azúcar hasta que estén pálidos, luego incorpora la harina con suavidad. Vierte en un plato de 9 pulgadas engrasado y hornea durante 25–30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 7 · Fluency and register 7
Scoring detail
{
"target_lang": "es",
"cleaned": "Calienta el horno a 375 °F (190 °C). Bate los huevos con la azúcar hasta que estén pálidos, luego incorpora la harina con suavidad. Vierte en un plato de 9 pulgadas engrasado y hornea durante 25–30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 66.1,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 82 (scripted checks 94, judges 7.0/10 from 3) · 1.60 s
Prepara el horno a 375°F (190°C). Mezcla los huevos con el azúcar hasta que estén claros, y luego incorpora la harina suavemente. Vierte en una sartén engrasada de 9 pulgadas y hornea durante 25 a 30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 7 · Fluency and register 7
Scoring detail
{
"target_lang": "es",
"cleaned": "Prepara el horno a 375°F (190°C). Mezcla los huevos con el azúcar hasta que estén claros, y luego incorpora la harina suavemente. Vierte en una sartén engrasada de 9 pulgadas y hornea durante 25 a 30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 60.51,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.8878
}Mellum2.1 12B-A2.5B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.04 s
Precalienta el horno a 375 °F (190 °C). Bate los huevos con el azúcar hasta que estén pálidos, luego incorpora la harina suavemente. Vierte en un molde de 9 pulgadas engrasado y hornea 25–30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "es",
"cleaned": "Precalienta el horno a 375 °F (190 °C). Bate los huevos con el azúcar hasta que estén pálidos, luego incorpora la harina suavemente. Vierte en un molde de 9 pulgadas engrasado y hornea 25–30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 68.34,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 0.83 s
Precalienta el horno a 375°F (190°C). Bate los huevos con el azúcar hasta que estén pálidos, luego incorpora la harina con cuidado. Vierte en un molde engrasado de 9 pulgadas y hornea durante 25–30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 9 · Fluency and register 8
Scoring detail
{
"target_lang": "es",
"cleaned": "Precalienta el horno a 375°F (190°C). Bate los huevos con el azúcar hasta que estén pálidos, luego incorpora la harina con cuidado. Vierte en un molde engrasado de 9 pulgadas y hornea durante 25–30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 66.33,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 69 (scripted checks 89, judges 5.0/10 from 3) · 0.98 s
Precalienta el horno a 375°F (190°C). Mezcla los huevos con la azúcar hasta que estén claros, luego incorpora la harina suavemente. Vierte en una bandeja de 9 pulgadas ligeramente engrasada y hortea durante 25–30 minutos, hasta que una tijera se extraiga limpia.
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "es",
"cleaned": "Precalienta el horno a 375°F (190°C). Mezcla los huevos con la azúcar hasta que estén claros, luego incorpora la harina suavemente. Vierte en una bandeja de 9 pulgadas ligeramente engrasada y hortea durante 25–30 minutos, hasta que una tijera se extraiga limpia.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 56.09,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.7773
}K2-Horizon 0.9B
✗ fail · score 68 (scripted checks 91, judges 4.5/10 from 3) · 0.41 s
Precalienta el horno a 375°F (190°C). Mezcla los huevos con la azúcar hasta que sean pálidos, luego incorpora la harina con cuidado. Coloca en un pan greado de 9 pulgadas y hornea durante 25-30 minutos, hasta que un palillo salga limpio.
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "es",
"cleaned": "Precalienta el horno a 375°F (190°C). Mezcla los huevos con la azúcar hasta que sean pálidos, luego incorpora la harina con cuidado. Coloca en un pan greado de 9 pulgadas y hornea durante 25-30 minutos, hasta que un palillo salga limpio.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 57.85,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/9",
"failed_checks": [],
"chrf_scaled": 0.8213
}