Unified MemoryBenchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-021
medium en-jareminder
The prompt
user
Translate the following text into Japanese. Use polite Japanese (desu/masu form). Reply with only the translation. Your appointment at Sakura Dental Clinic is confirmed for October 14 at 10:30 a.m. Please bring your health insurance card. If you need to cancel, please contact us by the day before.
What we expected
{
"source_lang": "en",
"target_lang": "ja",
"register_note": "Use polite Japanese (desu/masu form).",
"source": "Your appointment at Sakura Dental Clinic is confirmed for October 14 at 10:30 a.m. Please bring your health insurance card. If you need to cancel, please contact us by the day before.",
"reference": "さくら歯科クリニックのご予約は、10月14日午前10時30分で確定しております。健康保険証をお持ちください。キャンセルされる場合は、前日までにご連絡ください。",
"alt_references": [],
"must_keep": [
[
"さくら",
"サクラ",
"桜",
"Sakura"
],
[
"10月14日"
],
[
"10時30分",
"10:30",
"10時半"
],
[
"保険証",
"保険カード",
"保険のカード"
],
[
"前日"
]
],
"register_check": {
"require": [
[
"ます",
"です",
"ください",
"ございま"
]
],
"forbid": []
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 95 (scripted checks 100, judges 9.0/10 from 3) · 1.38 s
さくら歯科クリニックの予約は、10月14日午前10時30分に確定いたしました。 健康保険証をお持ちください。キャンセルが必要の場合は、前日までにご連絡ください。
Judge medians: Adequacy 10 · Fluency and register 8
Scoring detail
{
"target_lang": "ja",
"cleaned": "さくら歯科クリニックの予約は、10月14日午前10時30分に確定いたしました。\n\n健康保険証をお持ちください。キャンセルが必要の場合は、前日までにご連絡ください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 74.1,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 98 (scripted checks 100, judges 9.5/10 from 3) · 1.19 s
さくら歯科医院の予約が、10月14日午前10時30分に確定いたしました。保険証をお持ちください。キャンセルされる場合は、前日までにご連絡ください。
Judge medians: Adequacy 10 · Fluency and register 9
Scoring detail
{
"target_lang": "ja",
"cleaned": "さくら歯科医院の予約が、10月14日午前10時30分に確定いたしました。保険証をお持ちください。キャンセルされる場合は、前日までにご連絡ください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 67.76,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 62 (scripted checks 89, judges 3.5/10 from 3) · 1.94 s
桜デンタルクリニックの予約は10月14日10:30になります。健康保険証をお持ちのものをお持ちください。キャンセルが必要な場合は、日頃にお問い合わせください。
Judge medians: Adequacy 4 · Fluency and register 3
Scoring detail
{
"target_lang": "ja",
"cleaned": "桜デンタルクリニックの予約は10月14日10:30になります。健康保険証をお持ちのものをお持ちください。キャンセルが必要な場合は、日頃にお問い合わせください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 44.13,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"前日"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.8532
}Spark-X2.5 4B
✗ fail · score 76 (scripted checks 98, judges 5.5/10 from 3) · 1.35 s
サクラ歯科クリニックでのご予約は、10月14日午前10時30分に確定いたしました。ご自身の健康保険カードをご持ち帰りください。ご取消しの必要がある場合は、その前日までに当院までご連絡ください。
Judge medians: Adequacy 5 · Fluency and register 6
Scoring detail
{
"target_lang": "ja",
"cleaned": "サクラ歯科クリニックでのご予約は、10月14日午前10時30分に確定いたしました。ご自身の健康保険カードをご持ち帰りください。ご取消しの必要がある場合は、その前日までに当院までご連絡ください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 48.03,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.9508
}Mellum2.1 12B-A2.5B
✗ fail · score 68 (scripted checks 96, judges 4.0/10 from 3) · 0.65 s
サクラ歯科医院のご予約は、10月14日午前10時30分にご確認いたしました。お持ちください。キャンセルの場合は、当日より前日までにご連絡ください。
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "ja",
"cleaned": "サクラ歯科医院のご予約は、10月14日午前10時30分にご確認いたしました。お持ちください。キャンセルの場合は、当日より前日までにご連絡ください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 55.1,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "7/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"保険証",
"保険カード",
"保険のカード"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✗ fail · score 72 (scripted checks 100, judges 4.5/10 from 3) · 0.55 s
ご予約は桜歯科クリニックに10月14日（金）の10時30分に確認されています。健康保険証をお持ちください。キャンセルが必要な場合は、当日の前日にお問い合わせください。
Judge medians: Adequacy 4 · Fluency and register 5
Scoring detail
{
"target_lang": "ja",
"cleaned": "ご予約は桜歯科クリニックに10月14日（金）の10時30分に確認されています。健康保険証をお持ちください。キャンセルが必要な場合は、当日の前日にお問い合わせください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 49.65,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.9912
}MiniCPM5 2B
✓ pass · score 80 (scripted checks 100, judges 6.0/10 from 3) · 0.68 s
桜歯医師クリニックの予約は10月14日午前10時30分に確認されました。健康保険のカードをお持ちください。キャンセルする場合は、当日の前日までに当院までお問い合わせください。
Judge medians: Adequacy 7 · Fluency and register 5
Scoring detail
{
"target_lang": "ja",
"cleaned": "桜歯医師クリニックの予約は10月14日午前10時30分に確認されました。健康保険のカードをお持ちください。キャンセルする場合は、当日の前日までに当院までお問い合わせください。",
"detected_lang": "ja",
"lang_ok": true,
"chrf": 49.74,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "8/8",
"failed_checks": [],
"chrf_scaled": 0.9936
}K2-Horizon 0.9B
✗ fail · score 0 (scripted checks 0, judges 0.0/10 from 3) · 0.26 s
Your appointment at Sakura Dental Clinic is confirmed for October 14 at 10:30 a.m. Please bring your health insurance card. If you need to cancel, please contact us by the day before.
Judge medians: Adequacy 0 · Fluency and register 0
Scoring detail
{
"target_lang": "ja",
"cleaned": "Your appointment at Sakura Dental Clinic is confirmed for October 14 at 10:30 a.m. Please bring your health insurance card. If you need to cancel, please contact us by the day before.",
"reason": "output is the untranslated source",
"detected_lang": "en",
"lang_ok": false,
"chrf": 1.61,
"best_ref": 0,
"pass_bar": 30,
"checks_passed": "2/8",
"failed_checks": [
{
"type": "keep",
"terms": [
"10月14日"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"保険証",
"保険カード",
"保険のカード"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"前日"
],
"ok": false,
"found": null
},
{
"type": "register_require",
"terms": [
"ます",
"です",
"ください",
"ございま"
],
"ok": false,
"found": null
},
{
"type": "length",
"ratio": 1.924,
"ok": false
},
{
"type": "no_untranslated_leftovers",
"ok": false,
"found": [
"appointment",
"before",
"bring",
"cancel",
"card",
"clinic",
"confirmed",
"contact",
"day",
"dental",
"for",
"health"
],
"cjk_chars": 0
}
],
"chrf_scaled": 0
}