Unified Memory

Benchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate

translate-023

hard en-jaemail

The prompt

user

Translate the following text into Japanese. Use formal business Japanese with appropriate keigo (honorific and humble language). Reply with only the translation.

Dear Mr. Tanaka,

Thank you for your continued support. Please find attached the quotation you requested on the 3rd. If you have any questions, please do not hesitate to contact me. I look forward to working with you.

Sincerely,
Emily Carter
Brightwell Trading
What we expected
{
  "source_lang": "en",
  "target_lang": "ja",
  "register_note": "Use formal business Japanese with appropriate keigo (honorific and humble language).",
  "source": "Dear Mr. Tanaka,\n\nThank you for your continued support. Please find attached the quotation you requested on the 3rd. If you have any questions, please do not hesitate to contact me. I look forward to working with you.\n\nSincerely,\nEmily Carter\nBrightwell Trading",
  "reference": "田中様\n\nいつも大変お世話になっております。\n3日にご依頼いただきましたお見積書を添付いたしましたので、ご確認くださいますようお願い申し上げます。ご不明な点がございましたら、お気軽にお問い合わせください。\n今後ともどうぞよろしくお願い申し上げます。\n\nブライトウェル・トレーディング\nエミリー・カーター",
  "alt_references": [],
  "must_keep": [
    [
      "田中"
    ],
    [
      "3日"
    ],
    [
      "見積"
    ],
    [
      "Emily Carter",
      "エミリー・カーター",
      "エミリーカーター",
      "エミリー=カーター",
      "カーター"
    ],
    [
      "Brightwell",
      "ブライトウェル",
      "ブライトウエル"
    ]
  ],
  "register_check": {
    "require": [
      [
        "様"
      ],
      [
        "いたし",
        "致し",
        "申し上げ",
        "ござい",
        "いただ",
        "頂"
      ]
    ],
    "forbid": [
      "だよ",
      "だね",
      "してね"
    ]
  },
  "avoid": []
}

What each model answered

MiMo-V2.6 Distill 9B

✗ fail · score 82 (scripted checks 98, judges 6.5/10 from 3) · 2.47 s

田中様

平素より格別のご高配を賜り、厚く御礼申し上げます。

ご請求のございました3月3日付の御見積書をお送りいたします。

ご不明な点がございましたら、何なりとお問い合わせくださいませ。

今後とも何卒よろしくお願い申し上げます。

敬具

エミリー・カーター
ブライトウェル・トレーディング

Judge medians: Adequacy 5 · Fluency and register 8

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "田中様\n\n平素より格別のご高配を賜り、厚く御礼申し上げます。\n\nご請求のございました3月3日付の御見積書をお送りいたします。\n\nご不明な点がございましたら、何なりとお問い合わせくださいませ。\n\n今後とも何卒よろしくお願い申し上げます。\n\n敬具\n\nエミリー・カーター\nブライトウェル・トレーディング",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 48.63,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "10/10",
  "failed_checks": [],
  "chrf_scaled": 0.9657
}

Ornith-1.5 9B

✗ fail · score 83 (scripted checks 100, judges 6.5/10 from 3) · 1.69 s

田中様

これまで多大なるご支援をいただき、厚く御礼申し上げます。

3日にお願いいたしましたお見積書をお送りいたします。ご不明な点がございましたら、お気軽にお申し付けください。

何卒よろしくお願い申し上げます。

エミリー・カーター
ブライトウェル・トレーディング

Judge medians: Adequacy 5 · Fluency and register 8

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "田中様\n\nこれまで多大なるご支援をいただき、厚く御礼申し上げます。\n\n3日にお願いいたしましたお見積書をお送りいたします。ご不明な点がございましたら、お気軽にお申し付けください。\n\n何卒よろしくお願い申し上げます。\n\nエミリー・カーター\nブライトウェル・トレーディング",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 53.08,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "10/10",
  "failed_checks": [],
  "chrf_scaled": 1
}

Granite 4.2 8B

✗ fail · score 63 (scripted checks 85, judges 4.0/10 from 3) · 3.50 s

拝啓 田中様

いつものご支援に心より感謝申し上げます。  
3日目におおよそご要望の見積書を添付いたします。ご不明点がございましたら、何のことでもお気軽にお問い合わせください。  
引き続きよろしくお願い申し上げます。

敬具  

Emily Carter 担当者  
Brightwell Trading株式会社

Judge medians: Adequacy 4 · Fluency and register 4

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "拝啓 田中様\n\nいつものご支援に心より感謝申し上げます。  \n3日目におおよそご要望の見積書を添付いたします。ご不明点がございましたら、何のことでもお気軽にお問い合わせください。  \n引き続きよろしくお願い申し上げます。\n\n敬具  \n\nEmily Carter 担当者  \nBrightwell Trading株式会社",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 38.36,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "10/10",
  "failed_checks": [],
  "chrf_scaled": 0.709
}

Spark-X2.5 4B

✗ fail · score 65 (scripted checks 80, judges 5.0/10 from 3) · 1.86 s

タナカ様

ご支援賜り、ありがとうございます。
3日目にご要望いただいた見積書を添付いたしました。
ご質問がございましたら、どうぞ遠慮なくご連絡ください。

ともにご協力できることを楽しみにしております。

敬具
エミリー・カーター
ブライトウェル・トレーディング

Judge medians: Adequacy 5 · Fluency and register 5

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "タナカ様\n\nご支援賜り、ありがとうございます。\n3日目にご要望いただいた見積書を添付いたしました。\nご質問がございましたら、どうぞ遠慮なくご連絡ください。\n\nともにご協力できることを楽しみにしております。\n\n敬具\nエミリー・カーター\nブライトウェル・トレーディング",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 36.29,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "9/10",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "田中"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.6573
}

Mellum2.1 12B-A2.5B

✗ fail · score 70 (scripted checks 91, judges 5.0/10 from 3) · 1.20 s

田中様

お世話になっております。

お送りいたしますのは、3日目にご依頼いただいた見積書でございます。何かご不明点がございましたら、遠慮なくご連絡ください。

よろしくお願い申し上げます。

エミリー・カーティー
ブライトウェル・トレーディング

Judge medians: Adequacy 4 · Fluency and register 6

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "田中様\n\nお世話になっております。\n\nお送りいたしますのは、3日目にご依頼いただいた見積書でございます。何かご不明点がございましたら、遠慮なくご連絡ください。\n\nよろしくお願い申し上げます。\n\nエミリー・カーティー\nブライトウェル・トレーディング",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 44.95,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "9/10",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "Emily Carter",
        "エミリー・カーター",
        "エミリーカーター",
        "エミリー=カーター",
        "カーター"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.8737
}

Ling-3.0-tiny (7.9B-A1.3B)

✗ fail · score 75 (scripted checks 100, judges 5.0/10 from 3) · 0.86 s

拝啓 田中様

いつもお世話になっております。

ご依頼の件、3日付で見積りを作成いたしましたので、ご参照ください。

ご不明な点がございましたら、お気軽にお問い合わせください。

今後ともよろしくお願い申し上げます。

エミリー・カーター
ブライトウェル・トラADING

Judge medians: Adequacy 4 · Fluency and register 6

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "拝啓 田中様\n\nいつもお世話になっております。\n\nご依頼の件、3日付で見積りを作成いたしましたので、ご参照ください。\n\nご不明な点がございましたら、お気軽にお問い合わせください。\n\n今後ともよろしくお願い申し上げます。\n\nエミリー・カーター\nブライトウェル・トラADING",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 58.65,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "10/10",
  "failed_checks": [],
  "chrf_scaled": 1
}

MiniCPM5 2B

✗ fail · score 59 (scripted checks 68, judges 5.0/10 from 3) · 0.83 s

田中氏様

ご理解のほどのほどに感謝申し上げます。3日にお求めいただいた見積もりは添付となっております。ご質問がございましたら、お気軽にお連絡ください。引き続きお取引できることを楽しみにしております。

敬具
Emily Carter
Brightwell Trading

Judge medians: Adequacy 6 · Fluency and register 4

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "田中氏様\n\nご理解のほどのほどに感謝申し上げます。3日にお求めいただいた見積もりは添付となっております。ご質問がございましたら、お気軽にお連絡ください。引き続きお取引できることを楽しみにしております。\n\n敬具\nEmily Carter\nBrightwell Trading",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 24.32,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "10/10",
  "failed_checks": [],
  "chrf_scaled": 0.358
}

K2-Horizon 0.9B

✗ fail · score 0 (scripted checks 0, judges 0.0/10 from 3) · 0.35 s

Dear Mr. Tanaka,

Thank you for your continued support. Please find attached the quotation you requested on the 3rd. If you have any questions, please do not hesitate to contact me. I look forward to working with you.

Sincerely,  
Emily Carter  
Brightwell Trading

Judge medians: Adequacy 0 · Fluency and register 0

Scoring detail
{
  "target_lang": "ja",
  "cleaned": "Dear Mr. Tanaka,\n\nThank you for your continued support. Please find attached the quotation you requested on the 3rd. If you have any questions, please do not hesitate to contact me. I look forward to working with you.\n\nSincerely,  \nEmily Carter  \nBrightwell Trading",
  "reason": "output is the untranslated source",
  "detected_lang": "en",
  "lang_ok": false,
  "chrf": 0.11,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "4/10",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "田中"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "3日"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "見積"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "register_require",
      "terms": [
        "様"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "register_require",
      "terms": [
        "いたし",
        "致し",
        "申し上げ",
        "ござい",
        "いただ",
        "頂"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "no_untranslated_leftovers",
      "ok": false,
      "found": [
        "any",
        "attached",
        "contact",
        "continued",
        "dear",
        "find",
        "for",
        "forward",
        "have",
        "hesitate",
        "look",
        "not"
      ],
      "cjk_chars": 0
    }
  ],
  "chrf_scaled": 0
}

← translate-022All Translate itemstranslate-024 →