Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-034
medium en-pt-brtravel
The prompt
user
Translate the following text into Brazilian Portuguese. Reply with only the translation. The tour bus leaves the hotel at 7:15 sharp. Bring sunscreen, a hat and at least 1.5 liters of water per person. The hike to the waterfall is about 4 km each way and the trail can be slippery after rain.
What we expected
{
"source_lang": "en",
"target_lang": "pt",
"register_note": null,
"source": "The tour bus leaves the hotel at 7:15 sharp. Bring sunscreen, a hat and at least 1.5 liters of water per person. The hike to the waterfall is about 4 km each way and the trail can be slippery after rain.",
"reference": "O ônibus do passeio sai do hotel às 7h15 em ponto. Levem protetor solar, chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km em cada sentido, e a trilha pode ficar escorregadia depois da chuva.",
"alt_references": [],
"must_keep": [
[
"7h15",
"7:15",
"7h 15",
"7 e 15",
"7 e quinze",
"sete e quinze"
],
[
"1,5",
"1.5",
"um litro e meio"
],
[
"4 km",
"4 quilômetros",
"quatro quilômetros"
],
[
"cachoeira",
"queda d'água"
]
],
"register_check": null,
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 88 (scripted checks 100, judges 7.5/10 from 3) · 2.22 s
O ônibus turístico sai do hotel às 7h15, no horário exato. Leve protetor solar, chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km de cada lado e o trilho pode ficar escorregadio depois da chuva.
Judge medians: Adequacy 8 · Fluency and register 7
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus turístico sai do hotel às 7h15, no horário exato. Leve protetor solar, chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km de cada lado e o trilho pode ficar escorregadio depois da chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 77.69,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 1.84 s
O ônibus turístico sai do hotel às 7:15 em ponto. Leve protetor solar, um chapéu e pelo menos 1,5 litro de água por pessoa. A trilha até a cachoeira tem cerca de 4 km de cada lado e o caminho pode ficar escorregadio depois da chuva.
Judge medians: Adequacy 8 · Fluency and register 8
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus turístico sai do hotel às 7:15 em ponto. Leve protetor solar, um chapéu e pelo menos 1,5 litro de água por pessoa. A trilha até a cachoeira tem cerca de 4 km de cada lado e o caminho pode ficar escorregadio depois da chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 75.41,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 85 (scripted checks 100, judges 7.0/10 from 3) · 1.98 s
O ônibus turístico sai do hotel às 7h15 exatamente. Leve protetor solar, chapéu e pelo menos 1,5 litro de água por pessoa. A trilha até a cachoeira tem cerca de 4 km de ida e volta e o caminho pode ficar escorregadio em caso de chuva.
Judge medians: Adequacy 5 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus turístico sai do hotel às 7h15 exatamente. Leve protetor solar, chapéu e pelo menos 1,5 litro de água por pessoa. A trilha até a cachoeira tem cerca de 4 km de ida e volta e o caminho pode ficar escorregadio em caso de chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 71.53,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 1.49 s
O ônibus do tour sai do hotel às 7:15 em ponto. Traga protetor solar, um chapéu e, no mínimo, 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km de cada lado e a trilha pode ficar escorregadia após a chuva.
Judge medians: Adequacy 8 · Fluency and register 8
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus do tour sai do hotel às 7:15 em ponto. Traga protetor solar, um chapéu e, no mínimo, 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km de cada lado e a trilha pode ficar escorregadia após a chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 71.68,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 67 (scripted checks 95, judges 4.0/10 from 3) · 0.96 s
O ônibus turístico sai do hotel às 7h15. Leve protetor solar, chapéu e pelo menos 1,5 litros de água por pessoa. A trilha até a cachoeira tem cerca de 4 km ida e volta e o sendo resbaladíssimo após a chuva.
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus turístico sai do hotel às 7h15. Leve protetor solar, chapéu e pelo menos 1,5 litros de água por pessoa. A trilha até a cachoeira tem cerca de 4 km ida e volta e o sendo resbaladíssimo após a chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 60.84,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 0.8959
}Ling-3.0-tiny (7.9B-A1.3B)
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 0.75 s
O ônibus do tour sai do hotel às 7h15. Leve protetor solar, um chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km em cada direção e o caminho pode ficar escorregadio após a chuva.
Judge medians: Adequacy 8 · Fluency and register 9
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus do tour sai do hotel às 7h15. Leve protetor solar, um chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira tem cerca de 4 km em cada direção e o caminho pode ficar escorregadio após a chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 74.66,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 70 (scripted checks 100, judges 4.0/10 from 3) · 0.93 s
O ônibus do turismo sai do hotel às 7h15h exatamente. Leve um esquele, um chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira é de cerca de 4 km de cada lado e o trilho pode ficar escorregante após a chuva.
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "pt",
"cleaned": "O ônibus do turismo sai do hotel às 7h15h exatamente. Leve um esquele, um chapéu e pelo menos 1,5 litro de água por pessoa. A caminhada até a cachoeira é de cerca de 4 km de cada lado e o trilho pode ficar escorregante após a chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 66.08,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "7/7",
"failed_checks": [],
"chrf_scaled": 1
}K2-Horizon 0.9B
✗ fail · score 53 (scripted checks 81, judges 2.5/10 from 3) · 0.42 s
O carro de touria sai do hotel às 7:15. Carregue protetor solar, um chapéu e pelo menos 1,5 litros de água por pessoa. A caminhada para o chão de água é aproximadamente 4 km em cada caminho e o caminho pode ser incerto após chuva.
Judge medians: Adequacy 3 · Fluency and register 2
Scoring detail
{
"target_lang": "pt",
"cleaned": "O carro de touria sai do hotel às 7:15. Carregue protetor solar, um chapéu e pelo menos 1,5 litros de água por pessoa. A caminhada para o chão de água é aproximadamente 4 km em cada caminho e o caminho pode ser incerto após chuva.",
"detected_lang": "pt",
"lang_ok": true,
"chrf": 53.21,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "6/7",
"failed_checks": [
{
"type": "keep",
"terms": [
"cachoeira",
"queda d'água"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.7052
}