Benchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate

translate-011

hard en-frproduct

The prompt

user

Translate the following text into French. Reply with only the translation.

This 12-cup programmable coffee maker has a 1.8 L water tank, a 1,000 W heating element and a keep-warm plate that switches off automatically after 40 minutes. Dimensions: 24 × 20 × 35 cm. Model no. KF-1820B.

What we expected

{
  "source_lang": "en",
  "target_lang": "fr",
  "register_note": null,
  "source": "This 12-cup programmable coffee maker has a 1.8 L water tank, a 1,000 W heating element and a keep-warm plate that switches off automatically after 40 minutes. Dimensions: 24 × 20 × 35 cm. Model no. KF-1820B.",
  "reference": "Cette cafetière programmable de 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'une résistance de 1 000 W et d'une plaque chauffante qui s'éteint automatiquement au bout de 40 minutes. Dimensions : 24 × 20 × 35 cm. Modèle n° KF-1820B.",
  "alt_references": [],
  "must_keep": [
    [
      "12"
    ],
    [
      "1,8 L",
      "1.8 L",
      "1,8 litre"
    ],
    [
      "1 000 W",
      "1000 W",
      "1.000 W",
      "1,000 W",
      "1 000 watts",
      "1000 watts"
    ],
    [
      "40"
    ],
    [
      "24 × 20 × 35",
      "24 x 20 x 35",
      "24 * 20 * 35"
    ],
    [
      "35 cm"
    ],
    [
      "KF-1820B"
    ]
  ],
  "register_check": null,
  "avoid": []
}

What each model answered

MiMo-V2.6 Distill 9B

✓ pass · score 99 (scripted checks 98, judges 10.0/10 from 3) · 2.30 s

Cafetière programmable à 12 tasses, avec réservoir d'eau de 1,8 L, résistance de 1 000 W et plaque de maintien au chaud qui se coupe automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Référence : KF-1820B.

Judge medians: Adequacy 10 · Fluency and register 10

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Cafetière programmable à 12 tasses, avec réservoir d'eau de 1,8 L, résistance de 1 000 W et plaque de maintien au chaud qui se coupe automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Référence : KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 63.36,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 0.9591
}

Ornith-1.5 9B

✓ pass · score 85 (scripted checks 100, judges 7.0/10 from 3) · 2.26 s

Ce fabrique-café programmable à 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'une résistance chauffante de 1 000 W et d'une plaque de maintien au chaud qui se coupe automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Numéro de modèle : KF-1820B.

Judge medians: Adequacy 8 · Fluency and register 6

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Ce fabrique-café programmable à 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'une résistance chauffante de 1 000 W et d'une plaque de maintien au chaud qui se coupe automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Numéro de modèle : KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 75.43,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

Granite 4.2 8B

✗ fail · score 83 (scripted checks 100, judges 6.5/10 from 3) · 2.28 s

Ce machine à café programmable de 12 tasses a un réservoir d'eau de 1,8 L, un élément chauffant de 1 000 W et un plateau maintien chaud qui éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Modèle n° KF-1820B.

Judge medians: Adequacy 9 · Fluency and register 4

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Ce machine à café programmable de 12 tasses a un réservoir d'eau de 1,8 L, un élément chauffant de 1 000 W et un plateau maintien chaud qui éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Modèle n° KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 66.76,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

Spark-X2.5 4B

✓ pass · score 90 (scripted checks 100, judges 8.0/10 from 3) · 1.74 s

Ce cafetière programmable de 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'un élément de chauffage de 1 000 W et d'une plaque de maintien de chaleur qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Réf. KF-1820B.

Judge medians: Adequacy 10 · Fluency and register 6

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Ce cafetière programmable de 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'un élément de chauffage de 1 000 W et d'une plaque de maintien de chaleur qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Réf. KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 79.37,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

Mellum2.1 12B-A2.5B

✗ fail · score 80 (scripted checks 100, judges 6.0/10 from 3) · 1.14 s

Cette cafetière à café programmable à 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'une plaque chauffante de 1 000 W et d'un plat chauffant qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Référence modèle KF-1820B.

Judge medians: Adequacy 6 · Fluency and register 6

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Cette cafetière à café programmable à 12 tasses dispose d'un réservoir d'eau de 1,8 L, d'une plaque chauffante de 1 000 W et d'un plat chauffant qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Référence modèle KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 80.15,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

Ling-3.0-tiny (7.9B-A1.3B)

✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 0.87 s

Cet appareil de café programmable à 12 tasses possède un réservoir d'eau de 1,8 L, un élément de chauffe de 1 000 W et une plaque de maintien à chaud qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Modèle n° KF-1820B.

Judge medians: Adequacy 10 · Fluency and register 7

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Cet appareil de café programmable à 12 tasses possède un réservoir d'eau de 1,8 L, un élément de chauffe de 1 000 W et une plaque de maintien à chaud qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Modèle n° KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 69.97,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

MiniCPM5 2B

✓ pass · score 80 (scripted checks 100, judges 6.0/10 from 3) · 0.97 s

Ce cafetier à chaleur programmable à 12 tasses a un réservoir d'eau de 1,8 L, un élément chauffant de 1 000 W et une plaque de réchauffement qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Numéro de modèle : KF-1820B.

Judge medians: Adequacy 7 · Fluency and register 5

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Ce cafetier à chaleur programmable à 12 tasses a un réservoir d'eau de 1,8 L, un élément chauffant de 1 000 W et une plaque de réchauffement qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Numéro de modèle : KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 66.29,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

K2-Horizon 0.9B

✗ fail · score 73 (scripted checks 100, judges 4.5/10 from 3) · 0.47 s

Ce 12-cup de café programmable dispose d'un réservoir à eau de 1,8 L, d'un élément de chauffe de 1 000 W et d'un plateau chaud qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Numéro de modèle : KF-1820B.

Judge medians: Adequacy 5 · Fluency and register 4

Scoring detail

{
  "target_lang": "fr",
  "cleaned": "Ce 12-cup de café programmable dispose d'un réservoir à eau de 1,8 L, d'un élément de chauffe de 1 000 W et d'un plateau chaud qui s'éteint automatiquement après 40 minutes. Dimensions : 24 × 20 × 35 cm. Numéro de modèle : KF-1820B.",
  "detected_lang": "fr",
  "lang_ok": true,
  "chrf": 66.17,
  "best_ref": 0,
  "pass_bar": 40,
  "checks_passed": "9/9",
  "failed_checks": [],
  "chrf_scaled": 1
}

← translate-010All Translate itemstranslate-012 →