Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-036
hard en-pt-brchat
The prompt
user
Translate the following text into Brazilian Portuguese. Reply with only the translation. Hey Bruno, I'm swamped this week, so I'll have to take a rain check on Friday's game. Break a leg at your presentation tomorrow — you've got this!
What we expected
{
"source_lang": "en",
"target_lang": "pt",
"register_note": null,
"source": "Hey Bruno, I'm swamped this week, so I'll have to take a rain check on Friday's game. Break a leg at your presentation tomorrow — you've got this!",
"reference": "E aí, Bruno! Estou atolado de trabalho esta semana, então vou ter que deixar o jogo de sexta para outra vez. Boa sorte na sua apresentação amanhã, você vai arrasar!",
"alt_references": [],
"must_keep": [
[
"Bruno"
],
[
"sexta"
],
[
"amanhã"
]
],
"register_check": null,
"avoid": [
"perna",
"chuva"
]
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 90 (scripted checks 81, judges 10.0/10 from 3) · 1.19 s
Oi, Bruno, estou com a semana muito corrida, então vou ter que remarcar a partida de sexta-feira. Boa sorte na sua apresentação de amanhã — você consegue!
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "pt",
"cleaned": "Oi, Bruno, estou com a semana muito corrida, então vou ter que remarcar a partida de sexta-feira. Boa sorte na sua apresentação de amanhã — você consegue!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 49.61,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.6152
}Ornith-1.5 9B
✓ pass · score 85 (scripted checks 84, judges 8.5/10 from 3) · 1.00 s
Ei Bruno, estou super ocupado essa semana, então vou ter que adiar a partida de sexta-feira. Boa sorte na sua apresentação amanhã — você consegue!
Judge medians: Adequacy 8 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "Ei Bruno, estou super ocupado essa semana, então vou ter que adiar a partida de sexta-feira. Boa sorte na sua apresentação amanhã — você consegue!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 52.41,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.6853
}Granite 4.2 8B
✗ fail · score 66 (scripted checks 81, judges 5.0/10 from 3) · 1.21 s
Oi, Bruno, estou super ocupado esta semana, então vou ter que adiar o jogo de sexta-feira. Quebrar a perna na sua apresentação amanhã — você consegue!
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "pt",
"cleaned": "Oi, Bruno, estou super ocupado esta semana, então vou ter que adiar o jogo de sexta-feira. Quebrar a perna na sua apresentação amanhã — você consegue!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 52.95,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "avoid",
"term": "perna",
"ok": false
}
],
"chrf_scaled": 0.6988
}Spark-X2.5 4B
✗ fail · score 68 (scripted checks 86, judges 5.0/10 from 3) · 0.90 s
Oi Bruno, estou super lotado esta semana, então vou ter que adiar o jogo de sexta-feira. Divirta-se com a sua apresentação amanhã — você vai dar certo!
Judge medians: Adequacy 5 · Fluency and register 5
Scoring detail
{
"target_lang": "pt",
"cleaned": "Oi Bruno, estou super lotado esta semana, então vou ter que adiar o jogo de sexta-feira. Divirta-se com a sua apresentação amanhã — você vai dar certo!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 53.84,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.7209
}Mellum2.1 12B-A2.5B
✗ fail · score 58 (scripted checks 77, judges 4.0/10 from 3) · 0.63 s
Ei Bruno, estou lotado esta semana, então terei que marcar um "rain check" para o jogo de quinta-feira. Boa sorte na sua apresentação amanhã — você consegue!
Judge medians: Adequacy 3 · Fluency and register 5
Scoring detail
{
"target_lang": "pt",
"cleaned": "Ei Bruno, estou lotado esta semana, então terei que marcar um \"rain check\" para o jogo de quinta-feira. Boa sorte na sua apresentação amanhã — você consegue!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 49.53,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"sexta"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.6131
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 68 (scripted checks 72, judges 6.5/10 from 3) · 0.49 s
Ei Bruno, estou muito ocupado esta semana, então terei que desistir do jogo de sexta. Que seu apresentação de amanhã seja um sucesso — você vai conseguir!
Judge medians: Adequacy 7 · Fluency and register 6
Scoring detail
{
"target_lang": "pt",
"cleaned": "Ei Bruno, estou muito ocupado esta semana, então terei que desistir do jogo de sexta. Que seu apresentação de amanhã seja um sucesso — você vai conseguir!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 42.49,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.4374
}MiniCPM5 2B
✗ fail · score 63 (scripted checks 85, judges 4.0/10 from 3) · 0.51 s
Olá Bruno, estou muito ocupado esta semana, então vou fazer uma garantia para o jogo de sexta-feira. Tenha sorte na sua apresentação amanhã — você tem isso!
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Bruno, estou muito ocupado esta semana, então vou fazer uma garantia para o jogo de sexta-feira. Tenha sorte na sua apresentação amanhã — você tem isso!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 53.04,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.7009
}K2-Horizon 0.9B
✗ fail · score 36 (scripted checks 52, judges 2.0/10 from 3) · 0.28 s
Hey Bruno, estou sobrecarregado este mês, então preciso fazer um check de chuva na partida de sexta-feira. Bate um olho no meu apresentação de manhã — você tem isso!
Judge medians: Adequacy 2 · Fluency and register 2
Scoring detail
{
"target_lang": "pt",
"cleaned": "Hey Bruno, estou sobrecarregado este mês, então preciso fazer um check de chuva na partida de sexta-feira. Bate um olho no meu apresentação de manhã — você tem isso!",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 32.56,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "6/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"amanhã"
],
"ok": false,
"found": null
},
{
"type": "avoid",
"term": "chuva",
"ok": false
}
],
"chrf_scaled": 0.1889
}