AI versus menselijke tolk: wat studies meten

Hoe nauwkeurig is AI-interpretatie vergeleken met een menselijke tolk? Gepubliceerde vergelijkingen geven geen één overdraagbaar percentage. Hun resultaten hangen af van de talencombinatie, of de taak live spraak of opgenomen materiaal betreft, wie tolkt en of de beoordelaar verkeerde woorden, onduidelijke levering of fouten meetelt die een beslissing kunnen beïnvloeden.

Waarom één nauwkeurigheidspercentage misleidt

Een brancheartikel noemt 82–88% voor AI en 98–99% voor menselijke tolken, terwijl het die combinatie toeschrijft aan een Stanford NLP-studie zonder ernaar te linken of “nauwkeurigheid” te definiëren. We konden die bron niet verifiëren. Gebruik die percentages niet als benchmark zonder de oorspronkelijke studie, de scoringsmethode en de steekproef.

Zelfs een cijfer met bron kan de verkeerde vraag beantwoorden. Een foutpercentage op woordniveau vertelt je niet of een luisteraar een waarschuwing begreep. Een aandeel fouten met mogelijke klinische gevolgen vertelt je niet welk aandeel van alle uitingen fout was. De onderstaande studies meten verschillende uitkomsten, dus hun percentages kunnen niet worden samengevoegd of gerangschikt alsof het één test was.

Wat vier gepubliceerde vergelijkingen daadwerkelijk vonden

Deze artikelen behandelen verschillende systemen en settings. Drie vergelijken uitvoer direct; de studie over figuurlijke taal vergelijkt twee interviewmethoden met dezelfde zes patiënten, dus die isoleert de vertaalengine niet op identieke uitingen.

Klinische fouten: controleer de noemer

Feinberg en collega’s begonnen met 14 echte spraaksegmenten van artsen. Elk segment werd in zes talen vertaald door een app in spraakmodus en door gekwalificeerde medische tolken, wat in elke conditie 84 vertalingen opleverde. De tabel vermeldt 28 klinisch onjuiste AI-vertalingen tegenover vier tolkvertalingen. De oorspronkelijke versie noemde dit “14 segmenten” zonder de noemer van 84 uitvoer uit te leggen, waardoor de percentages breder of smaller leken dan de werkelijke vergelijking. De prestaties verschilden ook per taal: in de Spaanse rij stonden twee klinisch onjuiste app-uitvoer en nul tolkuitvoer, uit 14 per groep. Het resultaat mag niet worden toegepast op elk AI-product of elke taal.

Betekenis en levering kunnen uiteenlopen

In de LingualAI-studie van Singh en collega’s beoordeelden tweetalige clinici geanonimiseerde audio uit uitgeschreven Engels-Spaans KNO-scenario’s. Met een vooraf vastgestelde non-inferioriteitsmarge van 0.30 punt op vijfpuntsschalen voldeed het interne systeem aan de drempel voor terminologie (verschil 0.07) en adequaatheid van betekenis (0.13), maar niet voor duidelijkheid (0.50). Vloeiendheid, prosodie en tempo haalden de marge ook niet. De algehele kwaliteit en klinische zekerheid waren in het voordeel van tolken. De studie gebruikte negen beoordelaars met ongelijke deelname en rapporteerde bescheiden interbeoordelaarsbetrouwbaarheid (Krippendorff’s alpha 0.31). Het was een simulatie, geen bewijs van prestaties in niet-uitgeschreven zorg.

Congresspraak en figuurlijke taal

Fantinuoli en Prandi beoordeelden vijf congreslezingen met een kader dat zich richtte op begrijpelijkheid en informativiteit. Menselijke tolken scoorden 84.84% tegenover 73.49% voor machinebegrijpelijkheid; machine-uitvoer scoorde 74.63% tegenover 72.82% voor menselijke informativiteit. Dit zijn scores volgens de rubric van deze studie, niet een algemeen “nauwkeurigheidspercentage.” De auteurs waarschuwen tegen generaliseren op basis van het kleine corpus.

Tougas en collega’s bestudeerden figuurlijke taal in psychiatrische interviews. Zes patiënten hadden één interview met een menselijke tolk en een ander in het Spaans met AI-ondersteunde interpretatie. Beide methoden gaven idiomen en andere figuurlijke uitdrukkingen vaak onnauwkeurig weer. Omdat de bronuitingen tussen de interviews verschilden, is de studie nuttig om een moeilijk faalpatroon te vinden, niet voor een zuivere product-versus-tolk nauwkeurigheidsscore.

Ook de kwaliteit van menselijke tolken moet worden gedefinieerd

Flores en collega’s analyseerden 57 pediatrische spoedconsulten en registreerden 1,884 interpretatiefouten in professionele, ad-hoc- en geen-tolkcondities. Achttien procent van die fouten had mogelijke klinische gevolgen. De overeenkomstige aandelen waren 12% voor professionele tolken, 22% voor ad-hoc-tolken en 20% zonder tolk. Deze cijfers zijn geen percentages van alle correct vertaalde spraak.

Binnen de professionele groep was het aandeel fouten met mogelijke klinische gevolgen 2% voor tolken met ten minste 100 uur training en 12% voor tolken met minder uren. Deze associatie betekent niet dat een van beide groepen een algemene nauwkeurigheid van 98% of 88% had. Het betekent wel dat een koper moet vragen naar training en hoe gevolgenrijke fouten worden vastgesteld, in plaats van “menselijk” als één uniforme basislijn te behandelen.

Een praktische evaluatiechecklist

1. Stem af op de setting. Test je werkelijke talen, dialecten, audiokwaliteit, beurtwisseling en technische woordenschat. Een uitgeschreven KNO-dialoog bewijst geen prestaties in een congres- of spoedsituatie.
2. Definieer de noemer. Tel bronuitingen, vertaalde uitvoer, gedetecteerde fouten en gevolgenrijke fouten apart.
3. Beoordeel meer dan woorden. Laat gekwalificeerde tweetalige beoordelaars terminologie, behouden betekenis, begrijpelijkheid, weglatingen en gevolgen beoordelen, bij voorkeur zonder de bron van elke uitvoer te kennen.
4. Leg correctiepaden vast. Bepaal wanneer een deelnemer een ondertitel kan betwisten, pauzeren, een uitspraak kan herhalen of een gekwalificeerde tolk kan inschakelen.
5. Rapporteer onzekerheid. Vermeld de steekproefgrootte en taalspecifieke resultaten; maak van een klein experiment geen garantie voor alle talen.

Voor AI-metrics van tool tot tool, zie onze gids voor realtime vertaalnauwkeurigheid. Voor een schriftelijk verslag in plaats van live spraak tussen talen, zie de vergelijking van transcriptienauwkeurigheid. Die pagina’s beantwoorden andere vragen dan het inzetten van een menselijke tolk.

Waar MirrorCaption past

MirrorCaption biedt live transcriptie en vertaling, zodat mensen het origineel en de vertaalde tekst naast elkaar kunnen bekijken. Speak Translations kan vertaalde spraak hardop voorlezen. Deze functies kunnen helpen bij gewone vergaderingen en gesprekken, maar de studies in dit artikel hebben MirrorCaption niet geëvalueerd. Het product is geen gekwalificeerde menselijke tolk of klinische tolkdienst.

Voor klinische beslissingen en andere gesprekken met hoge inzet regel je een passend gekwalificeerde tolk via het taaltoegangsproces van de relevante organisatie. HHS-richtlijnen voor taaltoegang beschrijven gekwalificeerde tolken en aparte regels voor machinaal vertaalde documenten; die laatste mogen niet worden gelezen als goedkeuring van onbegeleide AI-spraakinterpretatie. Controleer het actuele beleid en de specifieke communicatie voordat je een workflow kiest.

Veelgestelde vragen

Hoe nauwkeurig is AI-interpretatie vergeleken met een menselijke tolk?

Er is geen één overdraagbaar percentage. Gepubliceerde resultaten verschillen per systeem, taal, taak en scoringsmethode. In één uitgeschreven Engels-Spaans onderzoek voldeed AI aan een drempel voor betekenis en terminologie, maar niet aan drempels voor duidelijkheid en spraakweergave; een afzonderlijke klinische spraaktest in zes talen vond meer klinisch onjuiste uitvoer van de app dan van gekwalificeerde tolken.

Waar komt de statistiek van 82–88% AI versus 98–99% mens vandaan?

Een brancheartikel schrijft die combinatie toe aan een Stanford NLP-studie zonder de studie te linken of nauwkeurigheid te definiëren. We konden de bron niet verifiëren. Vraag om het oorspronkelijke artikel en de scoringsmethode voordat je de cijfers citeert.

Zijn getrainde menselijke tolken 99% nauwkeurig?

De Flores-studie rapporteert geen algemeen nauwkeurigheidspercentage van 99%. Ze vond dat 18% van 1,884 vastgelegde interpretatiefouten mogelijke klinische gevolgen had; onder professionele tolken verschilde het aandeel fouten met mogelijke gevolgen per aantal trainingsuren.

Kan AI een gekwalificeerde tolk vervangen bij een medisch consult?

Deze studies tonen niet aan dat dit kan. Gebruik voor klinische communicatie met gevolgen het taaltoegangsproces van de zorgorganisatie. AI kan waar passend ondersteunen, met een duidelijke route naar gekwalificeerde menselijke interpretatie en beoordeling.

Hoe moet een team AI en menselijke interpretatie vergelijken?

Test de talen en echte taken die je nodig hebt. Rapporteer het aantal bronuitingen en uitvoer, beoordeel betekenis en begrijpelijkheid apart, identificeer gevolgenrijke fouten en documenteer hoe een deelnemer een correctie of een gekwalificeerde tolk krijgt.