Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-022
medium en-japroduct
The prompt
user
Translate the following text into Japanese. Use polite Japanese (desu/masu form). Reply with only the translation. This stainless steel water bottle keeps drinks cold for 24 hours and hot for 12 hours. Capacity: 500 ml. Dishwasher safe (lid: hand wash only).
What we expected
{
"source_lang": "en",
"target_lang": "ja",
"register_note": "Use polite Japanese (desu/masu form).",
"source": "This stainless steel water bottle keeps drinks cold for 24 hours and hot for 12 hours. Capacity: 500 ml. Dishwasher safe (lid: hand wash only).",
"reference": "このステンレス製ボトルは、飲み物を24時間保冷、12時間保温します。容量：500ml。食器洗い機に対応しています（フタは手洗いのみ）。",
"alt_references": [],
"must_keep": [
[
"ステンレス"
],
[
"24時間"
],
[
"12時間"
],
[
"500ml",
"500ミリリットル",
"500cc"
],
[
"手洗い"
]
],
"register_check": {
"require": [
[
"ます",
"です",
"ください",
"ございま"
]
],
"forbid": []
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 100 (scripted checks 100, judges 10.0/10 from 3) · 1.47 s
このステンレス製ウォーターボトルは、飲み物を24時間冷たく、12時間温かく保ちます。容量：500ml。食器洗い機対応（蓋は手洗いのみ）。
Judge medians: Adequacy 10 · Fluency and register 10
Scoring detail
{
"target_lang": "ja",
"cleaned": "このステンレス製ウォーターボトルは、飲み物を24時間冷たく、12時間温かく保ちます。容量：500ml。食器洗い機対応（蓋は手洗いのみ）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 61.19,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 93 (scripted checks 96, judges 9.0/10 from 3) · 1.29 s
ステンレス製の水筒は、24時間冷たさを、12時間温かさを保ちます。容量：500ml。食器洗い機で洗えます（ふたは手洗いのみ）。
Judge medians: Adequacy 9 · Fluency and register 9
Scoring detail
{
"target_lang": "ja",
"cleaned": "ステンレス製の水筒は、24時間冷たさを、12時間温かさを保ちます。容量：500ml。食器洗い機で洗えます（ふたは手洗いのみ）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 46.66,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.9165
}Granite 4.2 8B
✗ fail · score 68 (scripted checks 100, judges 3.5/10 from 3) · 1.77 s
このステンレス製の水筒は、飲み物を24時間冷めに保ち、12時間保温できます。容量：500 ml。洗い物機に耐える（せんぶつ：手洗いのみ）。
Judge medians: Adequacy 4 · Fluency and register 3
Scoring detail
{
"target_lang": "ja",
"cleaned": "このステンレス製の水筒は、飲み物を24時間冷めに保ち、12時間保温できます。容量：500 ml。洗い物機に耐える（せんぶつ：手洗いのみ）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 50.61,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}Spark-X2.5 4B
✓ pass · score 83 (scripted checks 100, judges 6.5/10 from 3) · 1.03 s
このステンレス製の水ボトルは、飲み物を24時間冷やし、12時間保温できます。容量：500ml。食器洗い機に洗える（蓋：手洗いのみ）。
Judge medians: Adequacy 8 · Fluency and register 5
Scoring detail
{
"target_lang": "ja",
"cleaned": "このステンレス製の水ボトルは、飲み物を24時間冷やし、12時間保温できます。容量：500ml。食器洗い機に洗える（蓋：手洗いのみ）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 63.43,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}Mellum2.1 12B-A2.5B
✗ fail · score 50 (scripted checks 75, judges 2.5/10 from 3) · 0.61 s
このステンレス製水筒は、飲み物を冷やすことが24時間、温めることが12時間保持します。容量：500 ml。 Dishwasher safe（lid: hand wash only）
Judge medians: Adequacy 3 · Fluency and register 2
Scoring detail
{
"target_lang": "ja",
"cleaned": "このステンレス製水筒は、飲み物を冷やすことが24時間、温めることが12時間保持します。容量：500 ml。 Dishwasher safe（lid: hand wash only）",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 35.99,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "6/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"手洗い"
],
"ok": false,
"found": null
},
{
"type": "no_untranslated_leftovers",
"ok": false,
"found": [
"dishwasher",
"hand",
"lid",
"only",
"safe",
"wash"
],
"cjk_chars": 0
}
],
"chrf_scaled": 0.6498
}Ling-3.0-tiny (7.9B-A1.3B)
✗ fail · score 49 (scripted checks 79, judges 2.0/10 from 3) · 0.60 s
このステンレス製の水飲み方は、飲み物を24時間冷たくし、12時間熱たくにします。容量は500mlです。デシッパーにかけられません（蓋は手で洗うだけです）。
Judge medians: Adequacy 2 · Fluency and register 2
Scoring detail
{
"target_lang": "ja",
"cleaned": "このステンレス製の水飲み方は、飲み物を24時間冷たくし、12時間熱たくにします。容量は500mlです。デシッパーにかけられません（蓋は手で洗うだけです）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 35.89,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"手洗い"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.6473
}MiniCPM5 2B
✗ fail · score 71 (scripted checks 92, judges 5.0/10 from 3) · 0.62 s
このステンレス製の水のボトルは、24時間も冷やし、12時間も温め続けます。容量：500ml。洗濯機対応（蓋：手洗いのみ）。
Judge medians: Adequacy 4 · Fluency and register 6
Scoring detail
{
"target_lang": "ja",
"cleaned": "このステンレス製の水のボトルは、24時間も冷やし、12時間も温め続けます。容量：500ml。洗濯機対応（蓋：手洗いのみ）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 43.22,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.8306
}K2-Horizon 0.9B
✗ fail · score 57 (scripted checks 80, judges 3.5/10 from 3) · 0.30 s
スチールの水ボトルは、24時間冷やし、12時間熱い状態を保ちます。容量: 500ml。洗濯機に洗える（ライトの部分は手洗いのみ）。
Judge medians: Adequacy 3 · Fluency and register 4
Scoring detail
{
"target_lang": "ja",
"cleaned": "スチールの水ボトルは、24時間冷やし、12時間熱い状態を保ちます。容量: 500ml。洗濯機に洗える（ライトの部分は手洗いのみ）。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 36.6,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"ステンレス"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.665
}