Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-033
medium en-pt-brreminder
The prompt
user
Translate the following text into Brazilian Portuguese. Reply with only the translation. Hi Juliana, this is a reminder that your car is scheduled for service at Rota Auto Center on Tuesday, May 6 at 8:00 a.m. The oil change and brake inspection will take about 2 hours. Reply YES to confirm.
What we expected
{
"source_lang": "en",
"target_lang": "pt",
"register_note": null,
"source": "Hi Juliana, this is a reminder that your car is scheduled for service at Rota Auto Center on Tuesday, May 6 at 8:00 a.m. The oil change and brake inspection will take about 2 hours. Reply YES to confirm.",
"reference": "Olá, Juliana! Este é um lembrete de que a revisão do seu carro está agendada no Rota Auto Center para terça-feira, 6 de maio, às 8h. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.",
"alt_references": [],
"must_keep": [
[
"Juliana"
],
[
"Rota Auto Center"
],
[
"terça"
],
[
"6 de maio"
],
[
"8h",
"8:00",
"8 h",
"08h",
"08:00",
"8 horas da manhã",
"8 da manhã"
],
[
"2 horas",
"duas horas"
],
[
"SIM",
"YES"
]
],
"register_check": null,
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 2.01 s
Oi Juliana, este é um lembrete de que seu carro está agendado para manutenção no Rota Auto Center, na terça-feira, 6 de maio, às 8h. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "Oi Juliana, este é um lembrete de que seu carro está agendado para manutenção no Rota Auto Center, na terça-feira, 6 de maio, às 8h. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 85.25,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 1.86 s
Olá Juliana, esta é uma lembrança de que seu carro está agendado para o serviço no Rota Auto Center na terça-feira, 6 de maio, às 8:00 da manhã. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Juliana, esta é uma lembrança de que seu carro está agendado para o serviço no Rota Auto Center na terça-feira, 6 de maio, às 8:00 da manhã. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 78.29,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.92 s
Olá Juliana, este é um lembrete de que seu carro está agendado para serviço no Rota Auto Center na terça-feira, 6 de maio às 8:00 da manhã. A troca de óleo e inspeção de freios levarão cerca de 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Juliana, este é um lembrete de que seu carro está agendado para serviço no Rota Auto Center na terça-feira, 6 de maio às 8:00 da manhã. A troca de óleo e inspeção de freios levarão cerca de 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 78.07,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.44 s
Oi Juliana, este é um lembrete de que o seu carro está agendado para serviço no Rota Auto Center na terça-feira, 6 de maio, às 8:00 da manhã. A troca do óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "Oi Juliana, este é um lembrete de que o seu carro está agendado para serviço no Rota Auto Center na terça-feira, 6 de maio, às 8:00 da manhã. A troca do óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 81.93,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 79 (scripted checks 97, judges 6.0/10 from 3) · 0.91 s
Olá Juliana, este é um lembrete de que seu carro está agendado para serviço no Rota Auto Center, às segundas-feiras, 6 de maio, às 8h. A troca de óleo e a inspeção dos freios levarão aproximadamente 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 5 · Fluency and register 7
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Juliana, este é um lembrete de que seu carro está agendado para serviço no Rota Auto Center, às segundas-feiras, 6 de maio, às 8h. A troca de óleo e a inspeção dos freios levarão aproximadamente 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 77.02,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/10",
"failed_checks": [
{
"type": "keep",
"terms": [
"terça"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 0.76 s
Olá Juliana, este é um lembrete de que seu carro está agendado para serviço na Rota Auto Center na terça-feira, 6 de maio, às 8:00 da manhã. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Juliana, este é um lembrete de que seu carro está agendado para serviço na Rota Auto Center na terça-feira, 6 de maio, às 8:00 da manhã. A troca de óleo e a inspeção dos freios levarão cerca de 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 82.76,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✓ pass · score 80 (scripted checks 100, judges 6.0/10 from 3) · 0.83 s
Olá Juliana, é um lembretes de que seu carro está agendado para serviço no Rota Auto Center na terça-feira, dia 6 de maio, às 8h. A troca de óleo e a inspeção das freadas levarão cerca de 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 7 · Fluency and register 5
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Juliana, é um lembretes de que seu carro está agendado para serviço no Rota Auto Center na terça-feira, dia 6 de maio, às 8h. A troca de óleo e a inspeção das freadas levarão cerca de 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 77.76,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "10/10",
"failed_checks": [],
"chrf_scaled": 1
}K2-Horizon 0.9B
✗ fail · score 68 (scripted checks 91, judges 4.5/10 from 3) · 0.38 s
Olá Juliana, este é um aviso que seu carro está programado para serviço na Rota Auto Center na segunda-feira, 6 de maio, às 8:00 a.m. O cambio de óleo e a inspeção do freio levarão aproximadamente 2 horas. Responda SIM para confirmar.
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "pt",
"cleaned": "Olá Juliana, este é um aviso que seu carro está programado para serviço na Rota Auto Center na segunda-feira, 6 de maio, às 8:00 a.m. O cambio de óleo e a inspeção do freio levarão aproximadamente 2 horas. Responda SIM para confirmar.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 60.5,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/10",
"failed_checks": [
{
"type": "keep",
"terms": [
"terça"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.8875
}