Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-003
medium en-esreminder
The prompt
user
Translate the following text into Spanish. Use the formal "usted" form. Reply with only the translation. Reminder: Your dental cleaning with Dr. Patel is on Thursday, March 12 at 3:30 PM. Please arrive 15 minutes early and bring your insurance card. To reschedule, call 555-0148 at least 24 hours in advance.
What we expected
{
"source_lang": "en",
"target_lang": "es",
"register_note": "Use the formal \"usted\" form.",
"source": "Reminder: Your dental cleaning with Dr. Patel is on Thursday, March 12 at 3:30 PM. Please arrive 15 minutes early and bring your insurance card. To reschedule, call 555-0148 at least 24 hours in advance.",
"reference": "Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 p. m. Por favor, llegue 15 minutos antes y traiga su tarjeta del seguro. Para cambiar la cita, llame al 555-0148 con al menos 24 horas de antelación.",
"alt_references": [],
"must_keep": [
[
"Patel"
],
[
"jueves"
],
[
"12 de marzo"
],
[
"3:30",
"15:30",
"15.30",
"3.30"
],
[
"15 minutos",
"quince minutos"
],
[
"555-0148"
],
[
"24 horas",
"veinticuatro horas"
]
],
"register_check": {
"require": [
[
"usted",
"Usted",
"su",
"Su",
"sus",
"le",
"Le",
"la mantendré",
"La mantendré"
]
],
"forbid": [
"tú",
"Tú",
"te",
"Te",
"tu",
"Tu",
"tus",
"Tus",
"contigo"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 2.37 s
Recordatorio: su limpieza dental con la Dra. Patel es el jueves 12 de marzo a las 3:30 p. m. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: su limpieza dental con la Dra. Patel es el jueves 12 de marzo a las 3:30 p. m. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 83.76,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.98 s
Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 85.81,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 2.09 s
Recordatorio: Su limpieza dental con el Dr. Patel está programada para el jueves 12 de marzo a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 al menos 24 horas de anticipación.
Judge medians: Adequacy 10 · Fluency and register 8
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: Su limpieza dental con el Dr. Patel está programada para el jueves 12 de marzo a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 al menos 24 horas de anticipación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 80.95,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 1.71 s
Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 p. m. Por favor, llegue con 15 minutos de antelación y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de antelación.
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 p. m. Por favor, llegue con 15 minutos de antelación y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de antelación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 86.48,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 80 (scripted checks 100, judges 6.0/10 from 3) · 0.94 s
Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 p.m. Por favor llegue 15 minutos antes y traga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.
Judge medians: Adequacy 6 · Fluency and register 6
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: Su limpieza dental con el Dr. Patel es el jueves 12 de marzo a las 3:30 p.m. Por favor llegue 15 minutos antes y traga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 85.36,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.79 s
Recordatorio: su limpieza dental con el Dr. Patel está programada para el jueves 12 de marzo a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: su limpieza dental con el Dr. Patel está programada para el jueves 12 de marzo a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 con al menos 24 horas de anticipación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 81.66,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.79 s
Recordatorio: Su limpieza dental con el Dr. Patel es el jueves, 12 de marzo, a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 al menos 24 horas antes.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: Su limpieza dental con el Dr. Patel es el jueves, 12 de marzo, a las 3:30 PM. Por favor, llegue 15 minutos antes y traiga su tarjeta de seguro. Para reprogramar, llame al 555-0148 al menos 24 horas antes.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 77.22,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "11/11",
"failed_checks": [],
"chrf_scaled": 1
}K2-Horizon 0.9B
✗ fail · score 69 (scripted checks 97, judges 4.0/10 from 3) · 0.40 s
Recordatorio: Su limpieza dental con Dr. Patel se realizará el jueves, marzo de 12 a las 3:30 p.m. Por favor, llegue 15 minutos antes y trae su tarjeta de seguro. Para reschequear, llame a 555-0148 al menos 24 horas en anticipación.
Judge medians: Adequacy 5 · Fluency and register 3
Scoring detail
{
"target_lang": "es",
"cleaned": "Recordatorio: Su limpieza dental con Dr. Patel se realizará el jueves, marzo de 12 a las 3:30 p.m. Por favor, llegue 15 minutos antes y trae su tarjeta de seguro. Para reschequear, llame a 555-0148 al menos 24 horas en anticipación.",
"detected_lang": "es",
"lang_ok": true,
"chrf": 71.07,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/11",
"failed_checks": [
{
"type": "keep",
"terms": [
"12 de marzo"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}