Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-002
easy en-eschat
The prompt
user
Translate the following text into Spanish. Use the informal "tú" form. Reply with only the translation. Hey Marta! Running about 10 minutes late, the bus broke down. Save me a seat?
What we expected
{
"source_lang": "en",
"target_lang": "es",
"register_note": "Use the informal \"tú\" form.",
"source": "Hey Marta! Running about 10 minutes late, the bus broke down. Save me a seat?",
"reference": "¡Hola, Marta! Llego unos 10 minutos tarde, se descompuso el autobús. ¿Me guardas un asiento?",
"alt_references": [
"¡Hola, Marta! Voy a llegar como 10 minutos tarde porque se averió el autobús. ¿Me guardas un sitio?",
"¡Oye, Marta! Llego unos 10 minutos tarde, se ha estropeado el bus. ¿Me guardas un asiento?"
],
"must_keep": [
[
"Marta"
],
[
"10",
"diez"
]
],
"register_check": {
"require": [],
"forbid": [
"usted",
"Usted",
"puede",
"Puede",
"podría",
"Podría",
"guárdeme",
"Guárdeme",
"guarde",
"Guarde"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✗ fail · score 79 (scripted checks 93, judges 6.5/10 from 3) · 0.94 s
¡Hola Marta! Llego unos diez minutos tarde, el autobús se ha quedado sin gasolina. ¿Me dejas un asiento?
Judge medians: Adequacy 5 · Fluency and register 8
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Hola Marta! Llego unos diez minutos tarde, el autobús se ha quedado sin gasolina. ¿Me dejas un asiento?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 59.36,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.8591
}Ornith-1.5 9B
✓ pass · score 94 (scripted checks 94, judges 9.5/10 from 3) · 0.89 s
¡Hola Marta! Llego con unos 10 minutos de retraso, se ha averiado el autobús. ¿Me reservas un asiento?
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Hola Marta! Llego con unos 10 minutos de retraso, se ha averiado el autobús. ¿Me reservas un asiento?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 59.9,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.8724
}Granite 4.2 8B
✗ fail · score 65 (scripted checks 84, judges 4.5/10 from 3) · 1.04 s
¡Hey Marta! Me voy demaciado de 10 minutos, el autobús se estropeó. ¿Me guardas un asiento?
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Hey Marta! Me voy demaciado de 10 minutos, el autobús se estropeó. ¿Me guardas un asiento?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 52.24,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.6809
}Spark-X2.5 4B
✓ pass · score 70 (scripted checks 75, judges 6.5/10 from 3) · 0.66 s
¡Oye Marta! El autobús se rompió y me quedé unos 10 minutos atrasado. ¿Me deja un asiento?
Judge medians: Adequacy 8 · Fluency and register 5
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Oye Marta! El autobús se rompió y me quedé unos 10 minutos atrasado. ¿Me deja un asiento?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 44.86,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.4966
}Mellum2.1 12B-A2.5B
✓ pass · score 80 (scripted checks 99, judges 6.0/10 from 3) · 0.48 s
¡Hola Marta! Llego unos 10 minutos tarde, el autobús se detuvo. ¿Guarda un asiento para mí?
Judge medians: Adequacy 7 · Fluency and register 5
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Hola Marta! Llego unos 10 minutos tarde, el autobús se detuvo. ¿Guarda un asiento para mí?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 64.26,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.9814
}Ling-3.0-tiny (7.9B-A1.3B)
✗ fail · score 60 (scripted checks 60, judges 6.0/10 from 3) · 0.34 s
¡Hola Marta! Llegué un poco tarde, el autobús se averió. ¿Me dejas un lugar?
Judge medians: Adequacy 4 · Fluency and register 8
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Hola Marta! Llegué un poco tarde, el autobús se averió. ¿Me dejas un lugar?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 38.14,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "4/5",
"failed_checks": [
{
"type": "keep",
"terms": [
"10",
"diez"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.3285
}MiniCPM5 2B
✗ fail · score 61 (scripted checks 82, judges 4.0/10 from 3) · 0.41 s
Hola Marta! Estoy llegando a las 10 minutos más tarde, el autobús se estrobo. ¿Me dejas un asiento?
Judge medians: Adequacy 5 · Fluency and register 3
Scoring detail
{
"target_lang": "es",
"cleaned": "Hola Marta! Estoy llegando a las 10 minutos más tarde, el autobús se estrobo. ¿Me dejas un asiento?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 50.65,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.6414
}K2-Horizon 0.9B
✗ fail · score 39 (scripted checks 58, judges 2.0/10 from 3) · 0.17 s
¡Hey Marta! Estoy un poco tarde, el autobús se ha caído. ¿Te quiero un asiento?
Judge medians: Adequacy 2 · Fluency and register 2
Scoring detail
{
"target_lang": "es",
"cleaned": "¡Hey Marta! Estoy un poco tarde, el autobús se ha caído. ¿Te quiero un asiento?",
"detected_lang": "es",
"lang_ok": true,
"chrf": 36.37,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "4/5",
"failed_checks": [
{
"type": "keep",
"terms": [
"10",
"diez"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.2842
}