Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-032
easy en-pt-brchat
The prompt
user
Translate the following text into Brazilian Portuguese. Reply with only the translation. Can you pick up some bread and milk on your way home? Thanks!
What we expected
{
"source_lang": "en",
"target_lang": "pt",
"register_note": null,
"source": "Can you pick up some bread and milk on your way home? Thanks!",
"reference": "Você pode comprar pão e leite no caminho para casa? Obrigado!",
"alt_references": [
"Você pode passar e comprar pão e leite na volta para casa? Valeu!",
"Dá para você comprar pão e leite no caminho de casa? Obrigada!"
],
"must_keep": [
[
"pão"
],
[
"leite"
]
],
"register_check": null,
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 0.61 s
Você pode pegar pão e leite no caminho de casa? Obrigado!
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "pt",
"cleaned": "Você pode pegar pão e leite no caminho de casa? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 73.4,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 0.61 s
Você pode pegar um pouco de pão e leite no caminho de casa? Obrigado!
Judge medians: Adequacy 9 · Fluency and register 8
Scoring detail
{
"target_lang": "pt",
"cleaned": "Você pode pegar um pouco de pão e leite no caminho de casa? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 69.6,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 0.63 s
Você consegue pegar algum pão e leite no caminho de casa? Obrigado!
Judge medians: Adequacy 9 · Fluency and register 7
Scoring detail
{
"target_lang": "pt",
"cleaned": "Você consegue pegar algum pão e leite no caminho de casa? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 67.72,
"best_ref": 2,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 0.53 s
Você pode pegar algum pão e leite no caminho para casa? Obrigado!
Judge medians: Adequacy 9 · Fluency and register 7
Scoring detail
{
"target_lang": "pt",
"cleaned": "Você pode pegar algum pão e leite no caminho para casa? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 81.56,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 0.34 s
Você pode pegar pão e leite em seu caminho para casa? Obrigado!
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "pt",
"cleaned": "Você pode pegar pão e leite em seu caminho para casa? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 75.32,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.24 s
Pode pegar um pão e leite no caminho para casa? Obrigado!
Judge medians: Adequacy 9 · Fluency and register 10
Scoring detail
{
"target_lang": "pt",
"cleaned": "Pode pegar um pão e leite no caminho para casa? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 74.22,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✓ pass · score 74 (scripted checks 87, judges 6.0/10 from 3) · 0.34 s
Você pode pegar um pouco de pão e leite na sua caminhada de volta? Obrigado!
Judge medians: Adequacy 7 · Fluency and register 5
Scoring detail
{
"target_lang": "pt",
"cleaned": "Você pode pegar um pouco de pão e leite na sua caminhada de volta? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 54.91,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "5/5",
"failed_checks": [],
"chrf_scaled": 0.7476
}K2-Horizon 0.9B
✗ fail · score 44 (scripted checks 63, judges 2.5/10 from 3) · 0.14 s
Posso pegar someiro e leite na minha rota? Obrigado!
Judge medians: Adequacy 2 · Fluency and register 3
Scoring detail
{
"target_lang": "pt",
"cleaned": "Posso pegar someiro e leite na minha rota? Obrigado!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 40.42,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "4/5",
"failed_checks": [
{
"type": "keep",
"terms": [
"pão"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.3856
}