KI vs. menschlicher Dolmetscher: Was Studien messen

Wie genau ist KI-Dolmetschen im Vergleich zu einem menschlichen Dolmetscher? Veröffentlichte Vergleiche liefern keinen übertragbaren Prozentwert. Ihre Ergebnisse hängen vom Sprachpaar ab, davon, ob es sich um Live-Sprache oder aufgezeichnetes Material handelt, wer dolmetscht und ob der Bewerter falsche Wörter, unklare Wiedergabe oder Fehler zählt, die eine Entscheidung beeinflussen könnten.

Warum ein einzelner Genauigkeitsprozentsatz in die Irre führt

Ein Branchenartikel nennt 82–88% für KI und 98–99% für menschliche Dolmetscher und schreibt das Paar einer Stanford-NLP-Studie zu, ohne sie zu verlinken oder „Genauigkeit“ zu definieren. Wir konnten diese Quelle nicht verifizieren. Verwenden Sie diese Prozentsätze nicht als Maßstab ohne die Originalstudie, ihre Bewertungsmethode und ihre Stichprobe.

Selbst eine belegte Zahl kann die falsche Frage beantworten. Eine Wort-für-Wort-Fehlerquote sagt nicht, ob ein Zuhörer eine Warnung verstanden hat. Ein Anteil von Fehlern mit möglichen klinischen Folgen sagt nicht, welcher Anteil aller Äußerungen falsch war. Die folgenden Studien messen unterschiedliche Ergebnisse, daher lassen sich ihre Prozentsätze nicht zusammenführen oder gegeneinander aufrechnen, als wären sie ein einziger Test.

Was vier veröffentlichte Vergleiche tatsächlich fanden

Diese Arbeiten decken unterschiedliche Systeme und Settings ab. Drei vergleichen Ausgaben direkt; die Studie zu bildhafter Sprache vergleicht zwei Interviewmethoden mit denselben sechs Patienten, isoliert also die Übersetzungs-Engine nicht auf identischen Äußerungen.

Klinische Fehler: den Nenner prüfen

Feinberg und Kollegen gingen von 14 realen Arztsprachsegmenten aus. Jedes wurde von einer App im Sprachmodus und von qualifizierten medizinischen Dolmetschern in sechs Sprachen übersetzt, wodurch in jeder Bedingung 84 Übersetzungen entstanden. Die Tabelle weist 28 klinisch falsche KI-Übersetzungen gegenüber vier Dolmetscher-Übersetzungen aus. Der ursprüngliche Entwurf nannte dies „14 Segmente“, ohne den Nenner von 84 Ausgaben zu erklären, wodurch die Prozentsätze breiter oder enger wirkten als der tatsächliche Vergleich. Die Leistung unterschied sich auch zwischen den Sprachen: In der spanischen Zeile wurden zwei klinisch falsche App-Ausgaben und null Dolmetscher-Ausgaben von jeweils 14 verzeichnet. Das Ergebnis sollte nicht auf jedes KI-Produkt oder jede Sprache übertragen werden.

Bedeutung und Wiedergabe können auseinanderlaufen

In der LingualAI-Studie von Singh und Kollegen bewerteten zweisprachige Kliniker anonymisierte Audioaufnahmen aus geskripteten englisch-spanischen HNO-Szenarien. Bei einer vorab festgelegten Nichtunterlegenheitsmarge von 0.30 Punkten auf Fünf-Punkte-Skalen erreichte das hauseigene System den Schwellenwert für Terminologie (Differenz 0.07) und Bedeutungsangemessenheit (0.13), verfehlte ihn jedoch bei der Klarheit (0.50). Auch Flüssigkeit, Prosodie und Sprechtempo verfehlten die Marge. Insgesamt bevorzugten die Bewerter bei Qualität und klinischem Vertrauen die Dolmetscher. Die Studie arbeitete mit neun Bewertern mit ungleicher Teilnahme und berichtete eine mäßige Übereinstimmung zwischen den Bewertern (Krippendorff’s Alpha 0.31). Es handelte sich um eine Simulation, nicht um einen Beweis für Leistung in ungeskripteter Versorgung.

Konferenzsprache und bildhafte Sprache

Fantinuoli und Prandi bewerteten fünf Konferenzreden mit einem Rahmen, der auf Verständlichkeit und Informativität ausgerichtet war. Menschliche Dolmetscher erzielten 84.84% gegenüber 73.49% für die maschinelle Verständlichkeit; die maschinelle Ausgabe erreichte 74.63% gegenüber 72.82% für die menschliche Informativität. Das sind Werte nach dem Bewertungsraster dieser Studie, kein allgemeiner „Genauigkeitsprozentsatz“. Die Autoren warnen davor, aus dem kleinen Korpus zu verallgemeinern.

Tougas und Kollegen untersuchten bildhafte Sprache in psychiatrischen Interviews. Sechs Patienten hatten ein Interview mit menschlichem Dolmetscher und ein weiteres auf Spanisch mit KI-gestütztem Dolmetschen. Beide Methoden gaben Redewendungen und andere bildhafte Ausdrücke häufig ungenau wieder. Da sich die Ausgangsäußerungen zwischen den Interviews unterschieden, ist die Studie nützlich, um einen schwierigen Fehlermodus zu finden, nicht für einen sauberen Produkt-gegen-Dolmetscher-Genauigkeitswert.

Auch die Qualität menschlicher Dolmetscher braucht eine Definition

Flores und Kollegen analysierten 57 pädiatrische Notaufnahme-Kontakte und erfassten 1,884 Dolmetschfehler in professionellen, ad-hoc- und ohne-Dolmetscher-Bedingungen. Achtzehn Prozent dieser Fehler hatten potenzielle klinische Folgen. Die entsprechenden Anteile lagen bei 12% für professionelle Dolmetscher, 22% für ad-hoc-Dolmetscher und 20% ohne Dolmetscher. Diese Zahlen sind keine Prozentsätze aller korrekt übersetzten Äußerungen.

Innerhalb der professionellen Gruppe lag der Anteil der Fehler mit potenziellen klinischen Folgen bei 2% für Dolmetscher mit mindestens 100 Stunden Schulung und bei 12% für diejenigen mit weniger Stunden. Diese Verbindung bedeutet nicht, dass eine der beiden Gruppen eine Gesamtgenauigkeit von 98% oder 88% hatte. Sie bedeutet aber, dass ein Käufer nach Schulung und danach fragen sollte, wie folgenreiche Fehler identifiziert werden, statt „menschlich“ als eine einheitliche Basislinie zu behandeln.

Eine praktische Checkliste zur Bewertung

1. Das Setting abgleichen. Testen Sie Ihre tatsächlichen Sprachen, Dialekte, Audioqualität, Sprecherwechsel und Fachterminologie. Ein geskripteter HNO-Dialog belegt keine Leistung in Konferenz- oder Notfallsituationen.
2. Den Nenner definieren. Zählen Sie Ausgangsäußerungen, übersetzte Ausgaben, erkannte Fehler und folgenreiche Fehler getrennt.
3. Mehr als Wörter bewerten. Lassen Sie qualifizierte zweisprachige Prüfer Terminologie, erhaltene Bedeutung, Verständlichkeit, Auslassungen und Folgen beurteilen, möglichst ohne die Quelle jeder Ausgabe zu kennen.
4. Korrekturwege festhalten. Legen Sie fest, wann ein Teilnehmer eine Untertitelung anfechten, pausieren, eine Aussage wiederholen oder einen qualifizierten Dolmetscher hinzuziehen kann.
5. Unsicherheit berichten. Nennen Sie die Stichprobengröße und sprachspezifische Ergebnisse; machen Sie aus einem kleinen Experiment keine Garantie für alle Sprachen.

Für Metriken von KI-Tool zu KI-Tool siehe unseren Leitfaden zur Echtzeit-Übersetzungsgenauigkeit. Für eine schriftliche Aufzeichnung statt Live-Sprache über Sprachgrenzen hinweg siehe den Vergleich der Transkriptionsgenauigkeit. Diese Seiten beantworten andere Fragen als die Besetzung mit einem menschlichen Dolmetscher.

Wo MirrorCaption hineinpasst

MirrorCaption bietet Live-Transkription und Übersetzung, sodass Menschen das Original und den übersetzten Text nebeneinander prüfen können. Speak Translations kann übersetzte Sprache laut vorlesen. Diese Funktionen können bei gewöhnlichen Meetings und Gesprächen helfen, aber die in diesem Artikel genannten Studien haben MirrorCaption nicht bewertet. Das Produkt ist kein qualifizierter menschlicher Dolmetscher und kein klinischer Dolmetschdienst.

Für klinische Entscheidungen und andere Gespräche mit hohem Risiko sollten Sie einen entsprechend qualifizierten Dolmetscher über den Sprachzugangsprozess der jeweiligen Organisation organisieren. Die HHS-Leitlinien zum Sprachzugang beschreiben qualifizierte Dolmetscher und getrennte Regeln für maschinell übersetzte Dokumente; Letztere sollten nicht als Zustimmung zu unbeaufsichtigtem KI-Sprachdolmetschen gelesen werden. Prüfen Sie die aktuelle Richtlinie und die konkrete Kommunikation, bevor Sie einen Workflow wählen.

Häufig gestellte Fragen

Wie genau ist KI-Dolmetschen im Vergleich zu einem menschlichen Dolmetscher?

Es gibt keinen übertragbaren Einzelprozentsatz. Veröffentlichte Ergebnisse unterscheiden sich je nach System, Sprache, Aufgabe und Bewertungsmethode. In einer geskripteten englisch-spanischen Studie erreichte KI einen Schwellenwert für Bedeutung und Terminologie, verfehlte jedoch die Schwellenwerte für Klarheit und Sprachwiedergabe; ein separater sechssprachiger klinischer Sprachtest fand mehr klinisch falsche Ausgaben von seiner App als von qualifizierten Dolmetschern.

Woher stammt die Statistik 82–88% KI gegenüber 98–99% Mensch?

Ein Branchenartikel schreibt dieses Paar einer Stanford-NLP-Studie zu, ohne die Studie zu verlinken oder Genauigkeit zu definieren. Wir konnten die Quelle nicht verifizieren. Fragen Sie nach der Originalarbeit und der Bewertungsmethode, bevor Sie die Zahlen zitieren.

Sind geschulte menschliche Dolmetscher zu 99% genau?

Die Flores-Studie berichtet keine allgemeine Genauigkeitsrate von 99%. Sie fand, dass 18% von 1,884 erfassten Dolmetschfehlern mögliche klinische Folgen hatten; bei professionellen Dolmetschern unterschied sich der Anteil der Fehler mit möglichen Folgen je nach Schulungsstunden.

Kann KI einen qualifizierten Dolmetscher bei einem Arzttermin ersetzen?

Diese Studien belegen das nicht. Nutzen Sie für folgenreiche klinische Kommunikation den Sprachzugangsprozess der Versorgungseinrichtung. KI kann dort unterstützen, wo es angemessen ist, mit einem klaren Weg zu qualifizierter menschlicher Dolmetschung und Überprüfung.

Wie sollte ein Team KI und menschliches Dolmetschen vergleichen?

Testen Sie die Sprachen und realen Aufgaben, die Sie benötigen. Berichten Sie die Anzahl der Ausgangsäußerungen und Ausgaben, bewerten Sie Bedeutung und Verständlichkeit getrennt, identifizieren Sie folgenreiche Fehler und dokumentieren Sie, wie ein Teilnehmer eine Korrektur oder einen qualifizierten Dolmetscher erhält.