Benchmarks / Which Small AI Model Should You Run on a Mac? We Ran 312 Tests / Translate
translate-018
hard en-deemail
The prompt
user
Translate the following text into German. Use the formal "Sie" form. Reply with only the translation. Dear Mr. Becker, I hope this finds you well. Unfortunately, we have to call off Thursday's site visit, as two of our engineers are down with the flu. Could we reschedule for the week of the 18th? I apologize for the short notice. In the meantime, I have attached the revised floor plans and the updated cost estimate, which now comes to €48,500 excluding VAT. The main change is the larger loading bay on the north side; everything else is as discussed in March. If your team could look over the drawings before we meet, we can use the visit to settle the remaining questions about the drainage. Please let me know which days suit you best. Kind regards, Priya Raman Halvorsen Engineering
What we expected
{
"source_lang": "en",
"target_lang": "de",
"register_note": "Use the formal \"Sie\" form.",
"source": "Dear Mr. Becker,\n\nI hope this finds you well. Unfortunately, we have to call off Thursday's site visit, as two of our engineers are down with the flu. Could we reschedule for the week of the 18th? I apologize for the short notice.\n\nIn the meantime, I have attached the revised floor plans and the updated cost estimate, which now comes to €48,500 excluding VAT. The main change is the larger loading bay on the north side; everything else is as discussed in March. If your team could look over the drawings before we meet, we can use the visit to settle the remaining questions about the drainage.\n\nPlease let me know which days suit you best.\n\nKind regards,\nPriya Raman\nHalvorsen Engineering",
"reference": "Sehr geehrter Herr Becker,\n\nich hoffe, es geht Ihnen gut. Leider müssen wir den Ortstermin am Donnerstag absagen, da zwei unserer Ingenieure mit Grippe ausfallen. Könnten wir einen neuen Termin in der Woche ab dem 18. vereinbaren? Bitte entschuldigen Sie die kurzfristige Absage.\n\nIn der Zwischenzeit sende ich Ihnen anbei die überarbeiteten Grundrisse und die aktualisierte Kostenschätzung, die sich nun auf 48.500 € zzgl. MwSt. beläuft. Die wichtigste Änderung ist die größere Laderampe auf der Nordseite; alles andere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen durchsehen könnte, ließen sich beim Termin die offenen Fragen zur Entwässerung klären.\n\nBitte teilen Sie mir mit, welche Tage Ihnen am besten passen.\n\nMit freundlichen Grüßen\nPriya Raman\nHalvorsen Engineering",
"alt_references": [],
"must_keep": [
[
"Becker"
],
[
"Donnerstag"
],
[
"18"
],
[
"Grippe",
"Influenza"
],
[
"48.500 €",
"48.500 Euro",
"48 500 €",
"48500 €",
"€48,500",
"€ 48.500",
"€48.500",
"48.500,00 €",
"EUR 48.500",
"48.500 EUR",
"48.500,- €"
],
[
"MwSt",
"Mehrwertsteuer",
"USt",
"Umsatzsteuer",
"netto"
],
[
"März"
],
[
"Nordseite",
"Norden",
"nördlich"
],
[
"Priya Raman"
],
[
"Halvorsen Engineering"
]
],
"register_check": {
"require": [
[
"Sie",
"Ihnen",
"Ihr",
"Ihre",
"Ihren",
"Ihrem",
"Ihrer"
]
],
"forbid": [
"du",
"Du",
"dir",
"Dir",
"dich",
"Dich",
"dein",
"Dein",
"deine",
"Deine",
"deinen",
"deinem"
]
},
"avoid": []
}What each model answered
MiMo-V2.6 Distill 9B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 6.21 s
Sehr geehrter Herr Becker, ich hoffe, es geht Ihnen gut. Leider müssen wir den Termin für den Besichtigungstermin am Donnerstag absagen, da zwei unserer Ingenieure an Grippe erkrankt sind. Könnten wir den Termin auf die Woche vom 18. verschieben? Für die kurze Vorankündigung entschuldige ich mich. In der Zwischenzeit habe ich die überarbeiteten Grundrisse und das aktualisierte Kostenangebot beigefügt, das sich jetzt auf 48.500 € netto zzgl. MwSt. beläuft. Die wesentliche Änderung ist die größere Laderampe auf der Nordseite; alles Weitere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Entwässerung zu klären. Bitte lassen Sie mich wissen, welche Tage für Sie am besten passen. Mit freundlichen Grüßen Priya Raman Halvorsen Engineering
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nich hoffe, es geht Ihnen gut. Leider müssen wir den Termin für den Besichtigungstermin am Donnerstag absagen, da zwei unserer Ingenieure an Grippe erkrankt sind. Könnten wir den Termin auf die Woche vom 18. verschieben? Für die kurze Vorankündigung entschuldige ich mich.\n\nIn der Zwischenzeit habe ich die überarbeiteten Grundrisse und das aktualisierte Kostenangebot beigefügt, das sich jetzt auf 48.500 € netto zzgl. MwSt. beläuft. Die wesentliche Änderung ist die größere Laderampe auf der Nordseite; alles Weitere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Entwässerung zu klären.\n\nBitte lassen Sie mich wissen, welche Tage für Sie am besten passen.\n\nMit freundlichen Grüßen\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 75.61,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "14/14",
"failed_checks": [],
"chrf_scaled": 1
}Ornith-1.5 9B
✓ pass · score 93 (scripted checks 100, judges 8.5/10 from 3) · 5.08 s
Sehr geehrter Herr Becker, ich hoffe, es geht Ihnen gut. Leider müssen wir den Besuchstermin an diesem Donnerstag absagen, da zwei unserer Ingenieure an Grippe leiden. Könnten wir den Termin für die Woche des 18. verschieben? Für die kurze Vorankündigung entschuldige ich mich. In der Zwischenzeit habe ich Ihnen die überarbeiteten Grundrisse und das aktualisierte Kostenvoranschlag beigefügt, der sich nun auf 48.500 € ohne Mehrwertsteuer beläuft. Die wesentliche Änderung ist die größere Laderampe an der Nordseite; alles andere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Entwässerung zu klären. Bitte lassen Sie mich wissen, welche Tage Ihnen am besten passen. Mit freundlichen Grüßen, Priya Raman Halvorsen Engineering
Judge medians: Adequacy 10 · Fluency and register 7
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nich hoffe, es geht Ihnen gut. Leider müssen wir den Besuchstermin an diesem Donnerstag absagen, da zwei unserer Ingenieure an Grippe leiden. Könnten wir den Termin für die Woche des 18. verschieben? Für die kurze Vorankündigung entschuldige ich mich.\n\nIn der Zwischenzeit habe ich Ihnen die überarbeiteten Grundrisse und das aktualisierte Kostenvoranschlag beigefügt, der sich nun auf 48.500 € ohne Mehrwertsteuer beläuft. Die wesentliche Änderung ist die größere Laderampe an der Nordseite; alles andere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Entwässerung zu klären.\n\nBitte lassen Sie mich wissen, welche Tage Ihnen am besten passen.\n\nMit freundlichen Grüßen,\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 75.28,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "14/14",
"failed_checks": [],
"chrf_scaled": 1
}Granite 4.2 8B
✗ fail · score 69 (scripted checks 98, judges 4.0/10 from 3) · 5.71 s
Sehr geehrter Herr Becker, ich hoffe, Sie gut zu sein. Leider müssen wir den Besuch am Donnerstag absagen, da zwei unserer Ingenieure mit dem Grippefieber krank sind. Könnten wir den Besuch in der Woche vom 18. umplanen? Ich entschuldige mich für die kurze Ankündigung. In der Zwischenzeit habe ich die überarbeiteten Flurpläne und die aktualisierte Kostenschätzung angehängt, die nun bei 48.500 € brutto beträgt. Die Hauptänderung ist die größere Ladeetage auf der nördlichen Seite; alles andere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen überprüfen könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Kanalisation zu klären. Bitte lassen Sie mich wissen, welche Tage Ihnen am besten passen. Mit freundlichen Grüßen, Priya Raman Halvorsen Engineering
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nich hoffe, Sie gut zu sein. Leider müssen wir den Besuch am Donnerstag absagen, da zwei unserer Ingenieure mit dem Grippefieber krank sind. Könnten wir den Besuch in der Woche vom 18. umplanen? Ich entschuldige mich für die kurze Ankündigung.\n\nIn der Zwischenzeit habe ich die überarbeiteten Flurpläne und die aktualisierte Kostenschätzung angehängt, die nun bei 48.500 € brutto beträgt. Die Hauptänderung ist die größere Ladeetage auf der nördlichen Seite; alles andere entspricht dem, was wir im März besprochen haben. Wenn Ihr Team die Zeichnungen vor unserem Treffen überprüfen könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Kanalisation zu klären.\n\nBitte lassen Sie mich wissen, welche Tage Ihnen am besten passen.\n\nMit freundlichen Grüßen,\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 68.3,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "13/14",
"failed_checks": [
{
"type": "keep",
"terms": [
"MwSt",
"Mehrwertsteuer",
"USt",
"Umsatzsteuer",
"netto"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Spark-X2.5 4B
✗ fail · score 67 (scripted checks 98, judges 3.5/10 from 3) · 4.53 s
Sehr geehrter Herr Becker, Ich hoffe, es geht Ihnen gut. Leider müssen wir den Besuch am Donnerstag anbieten, da zwei unserer Ingenieure an der Grippe leiden. Können wir den Termin für die Woche ab dem 18. vertagern? Ich entschuldige mich für die unzureichende Vorankündigung. Unterdessen habe ich die überarbeitete Baupläne und die aktualisierte Kostenabschätzung angeheftet, die nun bei 48.500 € exklusive MwSt. betragen. Die Hauptänderung ist die größere Laderaumseite im Norden; alles andere ist wie im März besprochen. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, können wir den Besuch dazu nutzen, die verbleibenden Fragen zum Ablauf zu klären. Bitte lassen Sie mich wissen, welche Tage für Sie passen. Mit freundlichen Grüßen Priya Raman Halvorsen Engineering
Judge medians: Adequacy 3 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nIch hoffe, es geht Ihnen gut. Leider müssen wir den Besuch am Donnerstag anbieten, da zwei unserer Ingenieure an der Grippe leiden. Können wir den Termin für die Woche ab dem 18. vertagern? Ich entschuldige mich für die unzureichende Vorankündigung.\n\nUnterdessen habe ich die überarbeitete Baupläne und die aktualisierte Kostenabschätzung angeheftet, die nun bei 48.500 € exklusive MwSt. betragen. Die Hauptänderung ist die größere Laderaumseite im Norden; alles andere ist wie im März besprochen. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, können wir den Besuch dazu nutzen, die verbleibenden Fragen zum Ablauf zu klären.\n\nBitte lassen Sie mich wissen, welche Tage für Sie passen.\n\nMit freundlichen Grüßen\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 63.46,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "14/14",
"failed_checks": [],
"chrf_scaled": 0.9615
}Mellum2.1 12B-A2.5B
✗ fail · score 71 (scripted checks 98, judges 4.5/10 from 3) · 2.79 s
Sehr geehrter Herr Becker, ich hoffe, es geht Ihnen gut. Leider müssen wir den Besuch am Donnerstag aufheben, da zwei unserer Ingenieure mit dem Erkältung betroffen sind. Könnten wir ihn auf die Woche vom 18. Wochentag verlegen? Ich bedauere die kurze Ankündigung. In der Zwischenzeit habe ich die überarbeiteten Grundrisse und den aktualisierten Kostenschätzung angehängt, die nun €48.500 ohne USt. beträgt. Das Hauptänderung ist die größere Ladezone an der Nordseite; alles andere ist wie im März besprochen. Wenn Ihr Team die Zeichnungen kurz vor unserem Termin durchlesen könnte, können wir den Besuch nutzen, um die restlichen Fragen zum Abwassersystem zu klären. Bitte teilen Sie mir mit, welche Tage für Sie passen. Mit freundlichen Grüßen Priya Raman Halvorsen Engineering
Judge medians: Adequacy 5 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nich hoffe, es geht Ihnen gut. Leider müssen wir den Besuch am Donnerstag aufheben, da zwei unserer Ingenieure mit dem Erkältung betroffen sind. Könnten wir ihn auf die Woche vom 18. Wochentag verlegen? Ich bedauere die kurze Ankündigung.\n\nIn der Zwischenzeit habe ich die überarbeiteten Grundrisse und den aktualisierten Kostenschätzung angehängt, die nun €48.500 ohne USt. beträgt. Das Hauptänderung ist die größere Ladezone an der Nordseite; alles andere ist wie im März besprochen. Wenn Ihr Team die Zeichnungen kurz vor unserem Termin durchlesen könnte, können wir den Besuch nutzen, um die restlichen Fragen zum Abwassersystem zu klären.\n\nBitte teilen Sie mir mit, welche Tage für Sie passen.\n\nMit freundlichen Grüßen\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 65.82,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "13/14",
"failed_checks": [
{
"type": "keep",
"terms": [
"Grippe",
"Influenza"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}Ling-3.0-tiny (7.9B-A1.3B)
✗ fail · score 69 (scripted checks 98, judges 4.0/10 from 3) · 2.35 s
Sehr geehrter Herr Becker, ich hoffe, dass Sie sich gut fühlen. Leider müssen wir den Site Visit am Donnerstag verschieben, da zwei unserer Ingenieure mit dem Grippevirus krank sind. Könnten wir für die Woche vom 18. März neu vereinbaren? Ich entschuldige mich für die kurze Vorankündigung. In der Zwischenzeit habe ich die überarbeiteten Grundrisspläne und den aktualisierten Kostenschätzung beigefügt, die nun auf 4.850 € ohne Mehrwertsteuer beträgt. Die Hauptänderung ist die größere Laderampe an der Nordseite; alles andere ist wie im März besprochen. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, könnten wir den Besuch nutzen, um die verbleibenden Fragen zum Entwässerungssystem zu klären. Bitte teilen Sie mir mit, welche Tage sich für Sie am besten eignen. Mit freundlichen Grüßen, Priya Raman Halvorsen Engineering
Judge medians: Adequacy 4 · Fluency and register 4
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nich hoffe, dass Sie sich gut fühlen. Leider müssen wir den Site Visit am Donnerstag verschieben, da zwei unserer Ingenieure mit dem Grippevirus krank sind. Könnten wir für die Woche vom 18. März neu vereinbaren? Ich entschuldige mich für die kurze Vorankündigung.\n\nIn der Zwischenzeit habe ich die überarbeiteten Grundrisspläne und den aktualisierten Kostenschätzung beigefügt, die nun auf 4.850 € ohne Mehrwertsteuer beträgt. Die Hauptänderung ist die größere Laderampe an der Nordseite; alles andere ist wie im März besprochen. Wenn Ihr Team die Zeichnungen vor unserem Treffen prüfen könnte, könnten wir den Besuch nutzen, um die verbleibenden Fragen zum Entwässerungssystem zu klären.\n\nBitte teilen Sie mir mit, welche Tage sich für Sie am besten eignen.\n\nMit freundlichen Grüßen,\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 67.39,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "13/14",
"failed_checks": [
{
"type": "keep",
"terms": [
"48.500 €",
"48.500 Euro",
"48 500 €",
"48500 €",
"€48,500",
"€ 48.500",
"€48.500",
"48.500,00 €",
"EUR 48.500",
"48.500 EUR",
"48.500,- €"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 1
}MiniCPM5 2B
✗ fail · score 59 (scripted checks 89, judges 3.0/10 from 3) · 2.49 s
Sehr geehrte Frau Becker, Ich hoffe, dass Sie sich gut befinden. Leider müssen wir den Besuch am Donnerstag abbrechen, da zwei unserer Ingenieure mit dem Erysar sind. Könnten wir das für das Wochenende des 18. versetzen? Ich entschuldige mich für die kurze Ankündigung. In der Zwischenzeit habe ich die überarbeiteten Flurendlagen und die aktualisierte Kostenestimate angehängt, das liegt nun bei €48.500 ohne VAT. Die Hauptänderung ist der größere Ladebereich im Norden; alles andere ist wie im März diskutiert. Wenn Ihr Team die Zeichnungen vor unserem Treffen betrachten könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Entwässerung zu klären. Bitte lassen Sie mich wissen, welche Tage für Sie am besten sind. Mit freundlichen Grüßen, Priya Raman Halvorsen Engineering
Judge medians: Adequacy 3 · Fluency and register 3
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrte Frau Becker,\n\nIch hoffe, dass Sie sich gut befinden. Leider müssen wir den Besuch am Donnerstag abbrechen, da zwei unserer Ingenieure mit dem Erysar sind. Könnten wir das für das Wochenende des 18. versetzen? Ich entschuldige mich für die kurze Ankündigung.\n\nIn der Zwischenzeit habe ich die überarbeiteten Flurendlagen und die aktualisierte Kostenestimate angehängt, das liegt nun bei €48.500 ohne VAT. Die Hauptänderung ist der größere Ladebereich im Norden; alles andere ist wie im März diskutiert. Wenn Ihr Team die Zeichnungen vor unserem Treffen betrachten könnte, können wir den Besuch nutzen, um die verbleibenden Fragen zur Entwässerung zu klären.\n\nBitte lassen Sie mich wissen, welche Tage für Sie am besten sind.\n\nMit freundlichen Grüßen,\nPriya Raman\nHalvorsen Engineering",
"detected_lang": "de",
"lang_ok": true,
"chrf": 59.35,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "12/14",
"failed_checks": [
{
"type": "keep",
"terms": [
"Grippe",
"Influenza"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"MwSt",
"Mehrwertsteuer",
"USt",
"Umsatzsteuer",
"netto"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.8586
}K2-Horizon 0.9B
✗ fail · score 43 (scripted checks 66, judges 2.0/10 from 3) · 1.14 s
Sehr geehrter Herr Becker, Ich hoffe, dass Sie in gutem Glauben sind. Es ist unmöglich, die Besprechung für Mittwoch zu verweisen, da zwei unserer Techniker mit dem Gripen sind. Könnten wir für den Wochenende von dem 18. an reservieren? Ich vermisse die kurze Zeit. Im Übrigen habe ich die aktualisierten Flächenpläne und die aktualisierte Kostenprognose angehängt, die jetzt 48.500 Euro (ohne VAT) betragen. Der Hauptunterschied ist die größere Ladebucht auf der Nordseite; alles andere ist wie im März besprochen. Wenn Ihr Team die Drehungen vor der Besprechung überprüfen könnte, können wir die Besprechung nutzen, um die verbleibenden Fragen zur Abwasserversorgung zu klären. Bitte gib mir die Tage, die am besten zu Ihnen passen.
Judge medians: Adequacy 2 · Fluency and register 2
Scoring detail
{
"target_lang": "de",
"cleaned": "Sehr geehrter Herr Becker,\n\nIch hoffe, dass Sie in gutem Glauben sind. Es ist unmöglich, die Besprechung für Mittwoch zu verweisen, da zwei unserer Techniker mit dem Gripen sind. Könnten wir für den Wochenende von dem 18. an reservieren? Ich vermisse die kurze Zeit.\n\nIm Übrigen habe ich die aktualisierten Flächenpläne und die aktualisierte Kostenprognose angehängt, die jetzt 48.500 Euro (ohne VAT) betragen. Der Hauptunterschied ist die größere Ladebucht auf der Nordseite; alles andere ist wie im März besprochen. Wenn Ihr Team die Drehungen vor der Besprechung überprüfen könnte, können wir die Besprechung nutzen, um die verbleibenden Fragen zur Abwasserversorgung zu klären.\n\nBitte gib mir die Tage, die am besten zu Ihnen passen.",
"detected_lang": "de",
"lang_ok": true,
"chrf": 46.1,
"best_ref": 0,
"pass_bar": 40,
"checks_passed": "9/14",
"failed_checks": [
{
"type": "keep",
"terms": [
"Donnerstag"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"Grippe",
"Influenza"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"MwSt",
"Mehrwertsteuer",
"USt",
"Umsatzsteuer",
"netto"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"Priya Raman"
],
"ok": false,
"found": null
},
{
"type": "keep",
"terms": [
"Halvorsen Engineering"
],
"ok": false,
"found": null
}
],
"chrf_scaled": 0.5276
}