Benchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate

translate-024

hard en-jatravel

The prompt

user

Translate the following text into Japanese. Use polite Japanese suitable for a hotel notice. Reply with only the translation.

Guests are kindly asked to keep noise to a minimum after 10 p.m. The large public bath is open from 5:00 to 9:00 and from 15:00 to 24:00; towels are available at the front desk. Please note that guests with tattoos may be asked to cover them with the stickers provided. Breakfast is served from 7:00 to 9:30 in the dining room on the 2nd floor. Check-out is at 10:00. If you would like a late check-out until 12:00, an additional fee of ¥2,000 applies; please let us know by the evening before.

What we expected

{
  "source_lang": "en",
  "target_lang": "ja",
  "register_note": "Use polite Japanese suitable for a hotel notice.",
  "source": "Guests are kindly asked to keep noise to a minimum after 10 p.m. The large public bath is open from 5:00 to 9:00 and from 15:00 to 24:00; towels are available at the front desk. Please note that guests with tattoos may be asked to cover them with the stickers provided. Breakfast is served from 7:00 to 9:30 in the dining room on the 2nd floor. Check-out is at 10:00. If you would like a late check-out until 12:00, an additional fee of ¥2,000 applies; please let us know by the evening before.",
  "reference": "午後10時以降は、お静かにお過ごしいただきますようお願いいたします。大浴場は5時から9時まで、および15時から24時までご利用いただけます。タオルはフロントにてご用意しております。なお、タトゥーのあるお客様には、備え付けのシールで覆っていただくようお願いする場合がございます。ご朝食は2階のお食事処にて7時から9時30分までご用意しております。チェックアウトは10時でございます。12時までのレイトチェックアウトをご希望の場合は、追加料金2,000円を頂戴いたします。前日の夕方までにお申し付けください。",
  "alt_references": [],
  "must_keep": [
    [
      "午後10時",
      "22時",
      "22:00",
      "夜10時"
    ],
    [
      "5時",
      "5:00"
    ],
    [
      "9時まで",
      "9:00まで",
      "5時〜9時",
      "5時~9時",
      "5時-9時",
      "5時から9時",
      "5:00〜9:00",
      "5:00~9:00",
      "5:00-9:00",
      "5:00–9:00",
      "5:00から9:00"
    ],
    [
      "15時",
      "15:00",
      "午後3時"
    ],
    [
      "24時",
      "24:00",
      "午前0時",
      "深夜0時",
      "0時",
      "夜12時",
      "深夜12時"
    ],
    [
      "タオル"
    ],
    [
      "フロント"
    ],
    [
      "タトゥー",
      "刺青",
      "入れ墨",
      "いれずみ"
    ],
    [
      "2階"
    ],
    [
      "7時",
      "7:00",
      "午前7時"
    ],
    [
      "9時30分",
      "9:30",
      "9時半"
    ],
    [
      "12時",
      "12:00",
      "正午"
    ],
    [
      "2,000円",
      "2000円",
      "¥2,000",
      "¥2000",
      "二千円",
      "2千円"
    ],
    [
      "前日"
    ]
  ],
  "register_check": {
    "require": [
      [
        "ます",
        "です",
        "ください",
        "ございま"
      ]
    ],
    "forbid": []
  },
  "avoid": []
}

What each model answered

MiMo-V2.6 Distill 9B

✗ fail · score 25 (scripted checks 36, judges 1.5/10 from 3) · 55.7 s

ご滞在のお客様には、午後10時以降はご静粛にご滞在いただきますようお願い申し上げます。

大浴場は午前5時〜午前9時、午後3時〜24時までご利用いただけます。タオルはフロントにてお預かりしております。

入れ墨のあるお客様は、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中

Judge medians: Adequacy 2 · Fluency and register 1

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "ご滞在のお客様には、午後10時以降はご静粛にご滞在いただきますようお願い申し上げます。\n\n大浴場は午前5時〜午前9時、午後3時〜24時までご利用いただけます。タオルはフロントにてお預かりしております。\n\n入れ墨のあるお客様は、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期間中、ご滞在期",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 7.34,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "9/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "9時まで",
        "9:00まで",
        "5時〜9時",
        "5時~9時",
        "5時-9時",
        "5時から9時",
        "5:00〜9:00",
        "5:00~9:00",
        "5:00-9:00",
        "5:00–9:00",
        "5:00から9:00"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "2階"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "7時",
        "7:00",
        "午前7時"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "9時30分",
        "9:30",
        "9時半"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "12時",
        "12:00",
        "正午"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "2,000円",
        "2000円",
        "¥2,000",
        "¥2000",
        "二千円",
        "2千円"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "前日"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "length",
      "ratio": 11.484,
      "ok": false
    }
  ],
  "chrf_scaled": 0
}

Ornith-1.5 9B

✗ fail · score 73 (scripted checks 91, judges 5.5/10 from 3) · 3.50 s

10時以降は、ご迷惑をおかけしないよう、お騒がせしないようお願い申し上げます。大浴場は5:00〜9:00、15:00〜24:00の2回営業しております。タオルはフロントにてお求めいただけます。入れ墨をお持ちのお客様は、ご提供しておりますステッカーで隠していただく場合がございます。朝食は2階のダイニングにて7:00〜9:30に提供しております。チェックアウトは10:00です。12:00までのチェックアウトをご希望の場合は、追加料金2,000円がかかります。前日の夕方までにお願いいたします。

Judge medians: Adequacy 6 · Fluency and register 5

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "10時以降は、ご迷惑をおかけしないよう、お騒がせしないようお願い申し上げます。大浴場は5:00〜9:00、15:00〜24:00の2回営業しております。タオルはフロントにてお求めいただけます。入れ墨をお持ちのお客様は、ご提供しておりますステッカーで隠していただく場合がございます。朝食は2階のダイニングにて7:00〜9:30に提供しております。チェックアウトは10:00です。12:00までのチェックアウトをご希望の場合は、追加料金2,000円がかかります。前日の夕方までにお願いいたします。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 44.34,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "16/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "午後10時",
        "22時",
        "22:00",
        "夜10時"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.8584
}

Granite 4.2 8B

✗ fail · score 59 (scripted checks 77, judges 4.0/10 from 3) · 5.71 s

宿泊客の皆様にお願いいたします、深夜10時以降は静かにお願いいたします。大きな公共のバスルームは午前5時から午前9時、午後3時から24時まで利用可能です。タオルはフロントデスクでお提供いたします。また、タトゥーがあるお客様には、提供されているステッカーでカバーしていただく場合がございますのでご注意ください。朝食は2階の食堂で7時00分から9時30分までにて提供いたします。退室は10時00分です。12時00分までの遅延退室を希望される場合は、追加料金2000円が適用されますので、翌朝にご連絡ください。

Judge medians: Adequacy 4 · Fluency and register 4

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "宿泊客の皆様にお願いいたします、深夜10時以降は静かにお願いいたします。大きな公共のバスルームは午前5時から午前9時、午後3時から24時まで利用可能です。タオルはフロントデスクでお提供いたします。また、タトゥーがあるお客様には、提供されているステッカーでカバーしていただく場合がございますのでご注意ください。朝食は2階の食堂で7時00分から9時30分までにて提供いたします。退室は10時00分です。12時00分までの遅延退室を希望される場合は、追加料金2000円が適用されますので、翌朝にご連絡ください。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 34.67,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "15/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "9時まで",
        "9:00まで",
        "5時〜9時",
        "5時~9時",
        "5時-9時",
        "5時から9時",
        "5:00〜9:00",
        "5:00~9:00",
        "5:00-9:00",
        "5:00–9:00",
        "5:00から9:00"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "前日"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.6168
}

Spark-X2.5 4B

✗ fail · score 72 (scripted checks 95, judges 5.0/10 from 3) · 3.44 s

10時以降は、ご静かなお過ごしをお願いいたします。

公共浴場は、午前5時から午前9時、午後15時から午後12時まで開いております。タオルはフロントにてご用意しております。また、刺青のある方には、ご用意いただいたシールで覆ってご使用いただくことがございます。

朝食は2階のダイニングルームで、7時から9時30分までご提供しております。

チェックアウトは10時に行っております。

12時までの延長チェックアウトをご希望の場合、追加料金として2,000円をいただきます。ご希望の場合は、前日までにお知らせください。

Judge medians: Adequacy 5 · Fluency and register 5

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "10時以降は、ご静かなお過ごしをお願いいたします。\n\n公共浴場は、午前5時から午前9時、午後15時から午後12時まで開いております。タオルはフロントにてご用意しております。また、刺青のある方には、ご用意いただいたシールで覆ってご使用いただくことがございます。\n\n朝食は2階のダイニングルームで、7時から9時30分までご提供しております。\n\nチェックアウトは10時に行っております。\n\n12時までの延長チェックアウトをご希望の場合、追加料金として2,000円をいただきます。ご希望の場合は、前日までにお知らせください。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 50.19,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "14/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "午後10時",
        "22時",
        "22:00",
        "夜10時"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "9時まで",
        "9:00まで",
        "5時〜9時",
        "5時~9時",
        "5時-9時",
        "5時から9時",
        "5:00〜9:00",
        "5:00~9:00",
        "5:00-9:00",
        "5:00–9:00",
        "5:00から9:00"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "24時",
        "24:00",
        "午前0時",
        "深夜0時",
        "0時",
        "夜12時",
        "深夜12時"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 1
}

Mellum2.1 12B-A2.5B

✗ fail · score 45 (scripted checks 70, judges 2.0/10 from 3) · 2.12 s

10時以降はご遠慮なくお静かにお過ごしください。大型公共浴室は午前5時から午後9時、そして午後3時から午後 midnight（24時）まで開放されています。タオルはフロントデスクでご利用いただけます。 tattoos（ tattoos）がついたゲストは、提供されたスティッカーで隠蔽することをお願いいたします。2階の dining room（ dining room）で朝食は7時から9時半まで提供されます。check-outは10時です。12時までの延長 check-out（ check-out）をご希望の場合は、追加料金として2,000円がかかります。そのため、当日の夜に前日までにお知らせください。

Judge medians: Adequacy 2 · Fluency and register 2

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "10時以降はご遠慮なくお静かにお過ごしください。大型公共浴室は午前5時から午後9時、そして午後3時から午後 midnight（24時）まで開放されています。タオルはフロントデスクでご利用いただけます。 tattoos（ tattoos）がついたゲストは、提供されたスティッカーで隠蔽することをお願いいたします。2階の dining room（ dining room）で朝食は7時から9時半まで提供されます。check-outは10時です。12時までの延長 check-out（ check-out）をご希望の場合は、追加料金として2,000円がかかります。そのため、当日の夜に前日までにお知らせください。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 31.3,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "13/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "午後10時",
        "22時",
        "22:00",
        "夜10時"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "9時まで",
        "9:00まで",
        "5時〜9時",
        "5時~9時",
        "5時-9時",
        "5時から9時",
        "5:00〜9:00",
        "5:00~9:00",
        "5:00-9:00",
        "5:00–9:00",
        "5:00から9:00"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "タトゥー",
        "刺青",
        "入れ墨",
        "いれずみ"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "no_untranslated_leftovers",
      "ok": false,
      "found": [
        "check",
        "dining",
        "out",
        "room",
        "tattoos"
      ],
      "cjk_chars": 0
    }
  ],
  "chrf_scaled": 0.5325
}

Ling-3.0-tiny (7.9B-A1.3B)

✗ fail · score 61 (scripted checks 83, judges 4.0/10 from 3) · 1.66 s

ご宿泊の皆様に、10時以降は静かにしていただくようお願い申し上げます。広大な公共風呂は5:00から9:00および15:00から24:00まで開いております。トイレはフロントでご用意しております。ただし、タトゥーがある方は提供されている貼り付け可能なストリップを使用して覆っていただくことがあります。朝食は2階のダイニングルームで7:00から9:30まで提供しております。チェックアウトは10:00となります。12:00までの遅延チェックアウトをご希望の場合は、追加料金として¥2,000がかかる場合がございます。ご不明な点がございましたら、夕方までにお知らせください。

Judge medians: Adequacy 3 · Fluency and register 5

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "ご宿泊の皆様に、10時以降は静かにしていただくようお願い申し上げます。広大な公共風呂は5:00から9:00および15:00から24:00まで開いております。トイレはフロントでご用意しております。ただし、タトゥーがある方は提供されている貼り付け可能なストリップを使用して覆っていただくことがあります。朝食は2階のダイニングルームで7:00から9:30まで提供しております。チェックアウトは10:00となります。12:00までの遅延チェックアウトをご希望の場合は、追加料金として¥2,000がかかる場合がございます。ご不明な点がございましたら、夕方までにお知らせください。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 40.52,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "14/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "午後10時",
        "22時",
        "22:00",
        "夜10時"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "タオル"
      ],
      "ok": false,
      "found": null
    },
    {
      "type": "keep",
      "terms": [
        "前日"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.763
}

MiniCPM5 2B

✗ fail · score 62 (scripted checks 79, judges 4.5/10 from 3) · 1.74 s

夜10時以降は、静かにお過ごしください。大規模の公用浴場は5:00から9:00、15:00から24:00まで開設されており、フロントデスクでタオルをご用意しております。タトゥーをお持ちのお客様は、提供されたステッカーで覆い付けいただく場合がございます。2階のダイニングで朝食は7:00から9:30まで提供されます。チェックアウトは10:00です。12:00までお早めのチェックアウトをご希望のお客様は、追加料金2,000円が適用されます。夜までご連絡いただけますと幸いです。

Judge medians: Adequacy 4 · Fluency and register 5

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "夜10時以降は、静かにお過ごしください。大規模の公用浴場は5:00から9:00、15:00から24:00まで開設されており、フロントデスクでタオルをご用意しております。タトゥーをお持ちのお客様は、提供されたステッカーで覆い付けいただく場合がございます。2階のダイニングで朝食は7:00から9:30まで提供されます。チェックアウトは10:00です。12:00までお早めのチェックアウトをご希望のお客様は、追加料金2,000円が適用されます。夜までご連絡いただけますと幸いです。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 34.83,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "16/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "前日"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.6208
}

K2-Horizon 0.9B

✗ fail · score 41 (scripted checks 67, judges 1.5/10 from 3) · 0.90 s

ゲストは、10時ごろからは音量を最小限に保ちてください。大型の公共浴浴は午前5時から9時まで、午後3時から24時まで開いています。フロントデスクにタオルが用意されています。タトゥーを持つゲストは、提供された sticker に覆うようお願いします。朝食は、ダイニングルームの2階で午前7時から9時30分まで served です。 checkout は午後10時です。ご希望の延期 checkout （午後12時）は、追加料金（¥2,000）となります。ご確認のため、夕方以降にご知ください。

Judge medians: Adequacy 2 · Fluency and register 1

Scoring detail

{
  "target_lang": "ja",
  "cleaned": "ゲストは、10時ごろからは音量を最小限に保ちてください。大型の公共浴浴は午前5時から9時まで、午後3時から24時まで開いています。フロントデスクにタオルが用意されています。タトゥーを持つゲストは、提供された sticker に覆うようお願いします。朝食は、ダイニングルームの2階で午前7時から9時30分まで served です。 checkout は午後10時です。ご希望の延期 checkout （午後12時）は、追加料金（¥2,000）となります。ご確認のため、夕方以降にご知ください。",
  "detected_lang": "ja",
  "lang_ok": true,
  "chrf": 25.37,
  "best_ref": 0,
  "pass_bar": 30,
  "checks_passed": "16/17",
  "failed_checks": [
    {
      "type": "keep",
      "terms": [
        "前日"
      ],
      "ok": false,
      "found": null
    }
  ],
  "chrf_scaled": 0.3842
}

← translate-023All Translate itemstranslate-025 →