Benchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate

translate-006

hard en-esemail

The prompt

user

Translate the following text into Spanish. Use the formal "usted" form. Reply with only the translation.

Dear Ms. Ortega,

Thank you for getting back to me so quickly. I'm afraid we're not out of the woods yet: the shipment is still held up at customs, so we'll have to push the launch back a week. I'll keep you in the loop and let you know as soon as I hear anything.

Best regards,
Daniel Brooks

What we expected

{
  "source_lang": "en",
  "target_lang": "es",
  "register_note": "Use the formal \"usted\" form.",
  "source": "Dear Ms. Ortega,\n\nThank you for getting back to me so quickly. I'm afraid we're not out of the woods yet: the shipment is still held up at customs, so we'll have to push the launch back a week. I'll keep you in the loop and let you know as soon as I hear anything.\n\nBest regards,\nDaniel Brooks",
  "reference": "Estimada Sra. Ortega:\n\nGracias por responderme tan rápido. Me temo que aún no hemos salido del apuro: el envío sigue retenido en la aduana, así que tendremos que retrasar el lanzamiento una semana. La mantendré al tanto y le avisaré en cuanto sepa algo.\n\nSaludos cordiales,\nDaniel Brooks",
  "alt_references": [],
  "must_keep": [
    [
      "Ortega"
    ],
    [
      "Daniel Brooks"
    ],
    [
      "semana"
    ],
    [
      "aduana"
    ]
  ],
  "register_check": {
    "require": [
      [
        "usted",
        "Usted",
        "su",
        "Su",
        "sus",
        "le",
        "Le",
        "la mantendré",
        "La mantendré"
      ]
    ],
    "forbid": [
      "tú",
      "Tú",
      "te",
      "Te",
      "tu",
      "Tu",
      "tus",
      "Tus",
      "contigo"
    ]
  },
  "avoid": [
    "bosque"
  ]
}

What each model answered

MiMo-V2.6 Distill 9B

✓ pass · score 89 (scripted checks 94, judges 8.5/10 from 3) · 2.55 s

Estimada Sra. Ortega:

Le agradezco de antemano su pronta respuesta. Lamentablemente aún no hemos superado la situación: la mercancía sigue detenida en aduanas, por lo que tendremos que posponer el lanzamiento una semana. Le mantendré informada y le avisaré en cuanto tenga alguna novedad.

Saludos cordiales,
Daniel Brooks

Judge medians: Adequacy 7 · Fluency and register 10

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sra. Ortega:\n\nLe agradezco de antemano su pronta respuesta. Lamentablemente aún no hemos superado la situación: la mercancía sigue detenida en aduanas, por lo que tendremos que posponer el lanzamiento una semana. Le mantendré informada y le avisaré en cuanto tenga alguna novedad.\n\nSaludos cordiales,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 60.1,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 0.8774
}

Ornith-1.5 9B

✓ pass · score 95 (scripted checks 99, judges 9.0/10 from 3) · 2.26 s

Estimada Sra. Ortega,

Le agradezco que me haya respondido tan rápidamente. Lamento informarle que aún no hemos salido del paso: el envío sigue retenido en aduanas, por lo que tendremos que posponer el lanzamiento una semana. Le mantendré informada y le avisaré en cuanto reciba alguna novedad.

Atentamente,
Daniel Brooks

Judge medians: Adequacy 9 · Fluency and register 9

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sra. Ortega,\n\nLe agradezco que me haya respondido tan rápidamente. Lamento informarle que aún no hemos salido del paso: el envío sigue retenido en aduanas, por lo que tendremos que posponer el lanzamiento una semana. Le mantendré informada y le avisaré en cuanto reciba alguna novedad.\n\nAtentamente,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 64.32,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 0.9831
}

Granite 4.2 8B

✓ pass · score 85 (scripted checks 100, judges 7.0/10 from 3) · 2.32 s

Estimada Sra. Ortega,

Gracias por responder tan pronto. Lamentablemente, aún no estamos fuera del problema: el envío sigue retenido en aduanas, por lo que tendremos que retrasar el lanzamiento una semana. Le mantendré informado y le comunicaré tan pronto como tenga noticias.

Saludos cordiales,
Daniel Brooks

Judge medians: Adequacy 8 · Fluency and register 6

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sra. Ortega,\n\nGracias por responder tan pronto. Lamentablemente, aún no estamos fuera del problema: el envío sigue retenido en aduanas, por lo que tendremos que retrasar el lanzamiento una semana. Le mantendré informado y le comunicaré tan pronto como tenga noticias.\n\nSaludos cordiales,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 65.11,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

Spark-X2.5 4B

✓ pass · score 85 (scripted checks 96, judges 7.5/10 from 3) · 1.93 s

Estimada Sra. Ortega,

Gracias a usted por responder a mi mensaje con tanta prontitud. Me temo que todavía no estamos fuera de la incertidumbre: el envío sigue retrasado en la aduana, por lo que tendremos que retrasar el lanzamiento una semana. Le mantendré informada y le notificaré en cuanto reciba alguna noticia.

Atentamente,
Daniel Brooks

Judge medians: Adequacy 8 · Fluency and register 7

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sra. Ortega,\n\nGracias a usted por responder a mi mensaje con tanta prontitud. Me temo que todavía no estamos fuera de la incertidumbre: el envío sigue retrasado en la aduana, por lo que tendremos que retrasar el lanzamiento una semana. Le mantendré informada y le notificaré en cuanto reciba alguna noticia.\n\nAtentamente,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 61.4,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 0.9099
}

Mellum2.1 12B-A2.5B

✗ fail · score 67 (scripted checks 93, judges 4.0/10 from 3) · 1.15 s

Estimada Sra. Ortega,

Gracias por responder tan rápidamente. Me preocupa que aún no hayan salido de la vegetación: el envío sigue atrapado en aduanas, por lo que tendremos que retrasar el lanzamiento una semana. Te mantendré informada y te avisaré tan pronto como tenga novedades.

Saludos cordiales,
Daniel Brooks

Judge medians: Adequacy 5 · Fluency and register 3

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sra. Ortega,\n\nGracias por responder tan rápidamente. Me preocupa que aún no hayan salido de la vegetación: el envío sigue atrapado en aduanas, por lo que tendremos que retrasar el lanzamiento una semana. Te mantendré informada y te avisaré tan pronto como tenga novedades.\n\nSaludos cordiales,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 68.04,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "7/9",
  "failed_checks": [
    {
      "type": "register_require",
      "terms": [
        "usted",
        "Usted",
        "su",
        "Su",
        "sus",
        "le",
        "Le",
        "la mantendré",
        "La mantendré"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "register_forbid",
      "ok": false,
      "found": [
        "te",
        "Te"
      ]
    }
  ],
  "chrf_scaled": 1
}

Ling-3.0-tiny (7.9B-A1.3B)

✓ pass · score 85 (scripted checks 100, judges 7.0/10 from 3) · 0.93 s

Estimada Sra. Ortega,

Gracias por responderme tan rápido. Lamento informarle que aún no hemos salido de la duda: el envío sigue retenido en aduanas, por lo que tendremos que retrasar el lanzamiento una semana. Mantendré el contacto con usted y le informaré tan pronto como escuche algo.

Atentamente,
Daniel Brooks

Judge medians: Adequacy 7 · Fluency and register 7

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sra. Ortega,\n\nGracias por responderme tan rápido. Lamento informarle que aún no hemos salido de la duda: el envío sigue retenido en aduanas, por lo que tendremos que retrasar el lanzamiento una semana. Mantendré el contacto con usted y le informaré tan pronto como escuche algo.\n\nAtentamente,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 69.22,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

MiniCPM5 2B

✗ fail · score 56 (scripted checks 82, judges 3.0/10 from 3) · 1.12 s

Estimada Sr. Ortega,

Gracias por devolverme tan rápidamente. Tengo la preocupación de que aún no estamos en la zona de seguridad: el envío sigue estancado en los aduaneras, por lo que tendremos que posponer el lanzamiento una semana. Mantendréos informados y os aviseremos lo antes posible cuando tenga algo que decir.

Saludos,
Daniel Brooks

Judge medians: Adequacy 4 · Fluency and register 2

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimada Sr. Ortega,\n\nGracias por devolverme tan rápidamente. Tengo la preocupación de que aún no estamos en la zona de seguridad: el envío sigue estancado en los aduaneras, por lo que tendremos que posponer el lanzamiento una semana. Mantendréos informados y os aviseremos lo antes posible cuando tenga algo que decir.\n\nSaludos,\nDaniel Brooks",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 55.79,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "7/9",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "aduana"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "register_require",
      "terms": [
        "usted",
        "Usted",
        "su",
        "Su",
        "sus",
        "le",
        "Le",
        "la mantendré",
        "La mantendré"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.7698
}

K2-Horizon 0.9B

✗ fail · score 36 (scripted checks 57, judges 1.5/10 from 3) · 0.50 s

Estimado Sr. Ortega,

Gracias por responder tan rápidamente. No estamos fuera de las ruinas todavía: la empaque sigue atrasada en las fronteras, por lo que tendremos que retrasar la lanzada un día. Te mantendré en el correo y te informaré lo antes posible cuando escuches algo.

Judge medians: Adequacy 2 · Fluency and register 1

Scoring detail

{
  "target_lang": "es",
  "cleaned": "Estimado Sr. Ortega,\n\nGracias por responder tan rápidamente. No estamos fuera de las ruinas todavía: la empaque sigue atrasada en las fronteras, por lo que tendremos que retrasar la lanzada un día. Te mantendré en el correo y te informaré lo antes posible cuando escuches algo.",
  "detected_lang": "es",
  "lang_ok": true,
  "chrf": 43.75,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "4/9",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "Daniel Brooks"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "semana"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "aduana"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "register_require",
      "terms": [
        "usted",
        "Usted",
        "su",
        "Su",
        "sus",
        "le",
        "Le",
        "la mantendré",
        "La mantendré"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "register_forbid",
      "ok": false,
      "found": [
        "te",
        "Te"
      ]
    }
  ],
  "chrf_scaled": 0.4688
}

← translate-005All Translate itemstranslate-007 →