Précision de l’IA vs interprète humain : ce que mesurent les études

Quelle est la précision de l’interprétation par IA par rapport à celle d’un interprète humain ? Les comparaisons publiées ne donnent pas un pourcentage unique et transposable. Leurs résultats dépendent de la paire de langues, du fait qu’il s’agisse de parole en direct ou de contenu enregistré, de la personne qui interprète, et de la question de savoir si l’évaluateur compte les mots erronés, la restitution peu claire ou les erreurs susceptibles de modifier une décision.

Pourquoi un seul pourcentage de précision induit en erreur

Un article de l’industrie cite 82–88 % pour l’IA et 98–99 % pour les interprètes humains, tout en attribuant cette paire à une étude Stanford NLP sans la lier ni définir la « précision ». Nous n’avons pas pu vérifier cette citation. N’utilisez pas ces pourcentages comme référence sans l’étude originale, sa méthode de notation et son échantillon.

Même un chiffre sourcé peut répondre à la mauvaise question. Un taux d’erreur au niveau du mot ne dit pas si un auditeur a compris un avertissement. Une part d’erreurs avec d’éventuelles conséquences cliniques ne dit pas quelle proportion de tous les énoncés était erronée. Les études ci-dessous mesurent des résultats différents, donc leurs pourcentages ne peuvent pas être regroupés ni classés comme s’il s’agissait d’un seul test.

Ce que quatre comparaisons publiées ont réellement trouvé

Ces articles couvrent des systèmes et des contextes différents. Trois comparent directement des sorties ; l’étude sur le langage figuré compare deux méthodes d’entretien avec les mêmes six patients, elle n’isole donc pas le moteur de traduction sur des énoncés identiques.

Erreurs cliniques : vérifiez le dénominateur

Feinberg et ses collègues ont commencé avec 14 segments réels de parole de médecins. Chacun a été traduit en six langues par une application en mode vocal et par des interprètes médicaux qualifiés, ce qui a donné 84 traductions dans chaque condition. Le tableau indique 28 traductions IA cliniquement erronées contre quatre traductions d’interprètes. Le brouillon original appelait cela « 14 segments » sans expliquer le dénominateur de 84 sorties, ce qui donnait l’impression que les pourcentages étaient plus larges ou plus étroits que la comparaison réelle. La performance variait aussi selon les langues : la ligne espagnole a enregistré deux sorties d’application cliniquement erronées et zéro sortie d’interprète erronée sur 14 dans chaque cas. Le résultat ne doit pas être appliqué à tous les produits IA ni à toutes les langues.

Le sens et la restitution peuvent diverger

Dans l’étude LingualAI de Singh et ses collègues, des cliniciens bilingues ont évalué des enregistrements audio anonymisés issus de scénarios ORL anglais-espagnol scénarisés. Avec une marge de non-infériorité prédéfinie de 0,30 point sur des échelles à cinq points, le système interne a atteint le seuil pour la terminologie (écart 0,07) et l’adéquation du sens (0,13), mais pas pour la clarté (0,50). La fluidité, la prosodie et le rythme n’ont pas non plus atteint la marge. La qualité globale et la confiance clinique favorisaient les interprètes. L’étude a utilisé neuf évaluateurs avec une participation inégale et a signalé un accord inter-évaluateurs modeste (alpha de Krippendorff 0,31). Il s’agissait d’une simulation, pas d’une preuve de performance en soins non scénarisés.

Parole de conférence et langage figuré

Fantinuoli et Prandi ont évalué cinq discours de conférence à l’aide d’un cadre centré sur l’intelligibilité et la richesse d’information. Les interprètes humains ont obtenu 84,84 % contre 73,49 % pour l’intelligibilité machine ; la sortie machine a obtenu 74,63 % contre 72,82 % pour la richesse d’information humaine. Il s’agit de scores selon la grille de cette étude, pas d’un « pourcentage de précision » général. Les auteurs mettent en garde contre toute généralisation à partir du petit corpus.

Tougas et ses collègues ont étudié le langage figuré dans des entretiens psychiatriques. Six patients ont eu un entretien médié par un interprète humain et un autre en espagnol avec une interprétation assistée par IA. Les deux méthodes rendaient fréquemment les idiomes et autres expressions figurées de manière inexacte. Comme les énoncés sources différaient d’un entretien à l’autre, l’étude est utile pour repérer un mode d’échec difficile, pas pour obtenir un score propre de précision produit contre interprète.

La qualité des interprètes humains aussi doit être définie

Flores et ses collègues ont analysé 57 consultations pédiatriques aux urgences et relevé 1 884 erreurs d’interprétation dans des conditions avec interprètes professionnels, ad hoc et sans interprète. Dix-huit pour cent de ces erreurs avaient d’éventuelles conséquences cliniques. Les parts correspondantes étaient de 12 % pour les interprètes professionnels, 22 % pour les interprètes ad hoc et 20 % sans interprète. Ces chiffres ne sont pas des pourcentages de tout le discours correctement traduit.

Au sein du groupe professionnel, la part des erreurs ayant d’éventuelles conséquences cliniques était de 2 % pour les interprètes ayant au moins 100 heures de formation et de 12 % pour ceux ayant moins d’heures. Cette association ne signifie pas que l’un ou l’autre groupe avait un taux global de précision de 98 % ou 88 %. Elle signifie qu’un acheteur devrait demander des informations sur la formation et sur la manière dont les erreurs à conséquences sont identifiées, au lieu de traiter « humain » comme une base de référence uniforme.

Une liste de contrôle pratique pour l’évaluation

1. Adaptez le contexte. Testez vos langues réelles, dialectes, qualité audio, alternance de parole et vocabulaire technique. Un dialogue ORL scénarisé ne prouve pas les performances en conférence ou aux urgences.
2. Définissez le dénominateur. Comptez séparément les énoncés sources, les sorties traduites, les erreurs détectées et les erreurs à conséquences.
3. Évaluez plus que les mots. Faites évaluer par des relecteurs bilingues qualifiés la terminologie, le sens préservé, l’intelligibilité, les omissions et les conséquences, de préférence sans qu’ils sachent d’où vient chaque sortie.
4. Consignez les voies de correction. Décidez quand un participant peut contester un sous-titre, faire une pause, répéter une déclaration ou faire appel à un interprète qualifié.
5. Signalez l’incertitude. Indiquez la taille de l’échantillon et les résultats par langue ; ne transformez pas une petite expérience en garantie pour toutes les langues.

Pour les métriques d’outil IA à outil IA, consultez notre guide de précision de la traduction en temps réel. Pour un enregistrement écrit plutôt qu’une parole multilingue en direct, consultez la comparaison de précision de la transcription. Ces pages répondent à des questions différentes de celles du recours à un interprète humain.

La place de MirrorCaption

MirrorCaption propose la transcription et la traduction en direct afin que les personnes puissent examiner le texte original et le texte traduit côte à côte. Speak Translations peut lire à voix haute la parole traduite. Ces fonctionnalités peuvent aider dans les réunions et conversations ordinaires, mais les études de cet article n’ont pas évalué MirrorCaption. Le produit n’est ni un interprète humain qualifié ni un service d’interprétation clinique.

Pour les décisions cliniques et autres conversations à forts enjeux, faites appel à un interprète dûment qualifié dans le cadre du processus d’accès linguistique de l’organisation concernée. Les recommandations du HHS sur l’accès linguistique décrivent les interprètes qualifiés et des règles distinctes pour les documents traduits par machine ; ces dernières ne doivent pas être interprétées comme une approbation de l’interprétation vocale par IA sans supervision. Vérifiez la politique en vigueur et la communication précise avant de choisir un flux de travail.

Questions fréquentes

Quelle est la précision de l’interprétation par IA par rapport à celle d’un interprète humain ?

Il n’existe pas de pourcentage unique et transposable. Les résultats publiés varient selon le système, la langue, la tâche et la méthode de notation. Dans une étude anglais-espagnol scénarisée, l’IA a atteint un seuil pour le sens et la terminologie mais a manqué les seuils de clarté et de restitution orale ; un test clinique de la parole dans six langues distinct a trouvé davantage de sorties cliniquement erronées de son application que d’interprètes qualifiés.

D’où vient le chiffre 82–88 % pour l’IA contre 98–99 % pour l’humain ?

Un article de l’industrie attribue cette paire à une étude Stanford NLP sans lier l’étude ni définir la précision. Nous n’avons pas pu vérifier la source. Demandez l’article original et la méthode de notation avant de citer ces chiffres.

Les interprètes humains formés sont-ils précis à 99 % ?

L’étude de Flores ne rapporte pas de taux général de précision de 99 %. Elle a constaté que 18 % des 1 884 erreurs d’interprétation enregistrées avaient d’éventuelles conséquences cliniques ; parmi les interprètes professionnels, la part des erreurs avec d’éventuelles conséquences variait selon les heures de formation.

L’IA peut-elle remplacer un interprète qualifié lors d’un rendez-vous médical ?

Ces études n’établissent pas qu’elle le peut. Utilisez le processus d’accès linguistique de l’organisme de soins pour les communications cliniques à conséquences. L’IA peut aider lorsque c’est approprié, avec une voie claire vers une interprétation humaine qualifiée et une relecture.

Comment une équipe doit-elle comparer l’interprétation par IA et par humain ?

Testez les langues et les tâches réelles dont vous avez besoin. Indiquez le nombre d’énoncés sources et de sorties, évaluez séparément le sens et l’intelligibilité, identifiez les erreurs à conséquences et documentez comment un participant obtient une correction ou un interprète qualifié.