Jak přesná je AI interpretace ve srovnání s lidským tlumočníkem? Publikovaná srovnání neposkytují jedno přenositelné procento. Jejich výsledky závisí na jazykové dvojici, na tom, zda jde o živou řeč nebo nahraný materiál, kdo tlumočí, a zda hodnotitel počítá nesprávná slova, nejasný přednes nebo chyby, které by mohly změnit rozhodnutí.
Klíčové poznatky
- Před použitím jakéhokoli údaje o přesnosti AI vůči člověku si vyžádejte úlohu, jmenovatel a definici chyby.
- Simulovaná klinická studie angličtina–španělština z roku 2026 zjistila, že interní AI nebyla horší v terminologii a významu, ale ne v srozumitelnosti ani hlasovém přednesu.
- V samostatném šestijazyčném srovnání klinické řeči se klinicky nesprávné překlady objevily v 28 ze 84 výstupů AI a ve 4 z 84 výstupů tlumočníků. Jde o výsledky pro danou aplikaci a vzorek, nikoli o obecnou míru přesnosti AI.
- Liší se i výkon lidí. Ve 57 pediatrických urgentních setkáních souviselo školení s podílem chyb tlumočníků, které mohly mít klinické důsledky.
Proč jedno procento přesnosti klame
Oborový článek uvádí 82–88 % pro AI a 98–99 % pro lidské tlumočníky a přisuzuje tuto dvojici studii Stanford NLP, aniž by na ni odkazoval nebo definoval „přesnost“. Tuto citaci jsme nemohli ověřit. Tato procenta nepoužívejte jako benchmark bez původní studie, jejího způsobu hodnocení a vzorku.
I údaj z uvedeného zdroje může odpovídat na špatnou otázku. Chybovost na úrovni slov neříká, zda posluchač porozuměl varování. Podíl chyb s možnými klinickými důsledky neříká, jaký podíl všech výroků byl chybný. Níže uvedené studie měří různé výsledky, takže jejich procenta nelze sčítat ani řadit, jako by šlo o jeden test.
Zkontrolujte originál vedle překladu
MirrorCaption zobrazuje živý přepis a překlad vedle sebe.
Co ve skutečnosti zjistily čtyři publikovaná srovnání
Tyto práce pokrývají různé systémy a prostředí. Tři přímo porovnávají výstupy; studie o obrazném jazyce porovnává dvě metody rozhovoru se stejnými šesti pacienty, takže neizoluje překladový engine na totožných výrocích.
| Studie | Úloha a vzorek | Zjištění | Omezení |
|---|---|---|---|
| Feinberg a kol., 2026 | 14 nahraných úseků řeči lékaře přeložených do šesti jazyků; 84 výstupů na podmínku | Klinicky nesprávné: AI aplikace 28/84 (33,3 %); kvalifikovaní tlumočníci 4/84 (4,8 %) | Průzkumný test jedné spotřebitelské aplikace; malý zdrojový soubor |
| Singh a kol., 2026 | Scénářované rozhovory angličtina–španělština v ORL hodnocené devíti bilingvními kliniky | LingualAI splnila práh non-inferiority pro terminologii a význam, ale ne pro srozumitelnost, plynulost, prozodii ani tempo | Interní systém; simulovaná setkání a mírná shoda hodnotitelů |
| Fantinuoli & Prandi, 2021 | Pět konferenčních projevů; strojový výstup a profesionální simultánní tlumočníci | Lidé dosáhli vyššího skóre srozumitelnosti; strojový výstup měl o něco vyšší skóre informativnosti | Malý korpus; nejde o test klinické bezpečnosti |
| Tougas a kol., 2022 | Šest pacientů bylo každý vyšetřen dvěma různými metodami psychiatrického rozhovoru | Obrazná řeč byla v obou metodách často překládána nepřesně | Různé rozhovory a malý příležitostný vzorek |
Klinické chyby: zkontrolujte jmenovatel
Feinberg a kolegové začali 14 skutečnými úseky řeči lékaře. Každý byl přeložen do šesti jazyků aplikací v hlasovém režimu a kvalifikovanými lékařskými tlumočníky, což dalo 84 překladů v každé podmínce. Tabulka uvádí 28 klinicky nesprávných překladů AI oproti čtyřem překladům tlumočníků. Původní návrh to označil jako „14 segmentů“ bez vysvětlení jmenovatele 84 výstupů, takže procenta působila širší nebo užší, než byl skutečný srovnávací základ. Výkon se lišil i mezi jazyky: řádek pro španělštinu zaznamenal dva klinicky nesprávné výstupy aplikace a nula výstupů tlumočníků ze 14 v každém případě. Výsledek nelze vztahovat na každý produkt AI ani na každý jazyk.
Význam a přednes se mohou rozcházet
Ve studii LingualAI od Singha a kolegů hodnotili bilingvní klinici anonymizovaný zvuk ze scénářovaných scénářů angličtina–španělština v ORL. Při předem stanovené hranici non-inferiority 0,30 bodu na pětibodových škálách splnil interní systém práh pro terminologii (rozdíl 0,07) a adekvátnost významu (0,13), ale neuspěl u srozumitelnosti (0,50). Ani plynulost, prozodie a tempo hranici nesplnily. Celková kvalita a klinická důvěra vyzněly ve prospěch tlumočníků. Studie používala devět hodnotitelů s nerovnoměrnou účastí a uváděla mírnou shodu mezi hodnotiteli (Krippendorffovo alfa 0,31). Šlo o simulaci, nikoli důkaz výkonu v nescénářované péči.
Konferenční řeč a obrazný jazyk
Fantinuoli a Prandi hodnotili pět konferenčních projevů pomocí rámce zaměřeného na srozumitelnost a informativnost. Lidskí tlumočníci dosáhli 84,84 % oproti 73,49 % u strojové srozumitelnosti; strojový výstup dosáhl 74,63 % oproti 72,82 % u lidské informativnosti. Jde o skóre podle rubriky této studie, nikoli o obecné „procento přesnosti“. Autoři varují před zobecňováním z malého korpusu.
Tougas a kolegové zkoumali obrazný jazyk v psychiatrických rozhovorech. Šest pacientů absolvovalo jeden rozhovor zprostředkovaný lidským tlumočníkem a další ve španělštině s AI asistovanou interpretací. V obou metodách byly idiomy a další obrazné výrazy často překládány nepřesně. Protože zdrojové výroky se mezi rozhovory lišily, je studie užitečná pro odhalení obtížného typu selhání, nikoli pro čisté skóre přesnosti produktu versus tlumočníka.
Na kvalitě lidského tlumočníka je také třeba definice
Flores a kolegové analyzovali 57 pediatrických urgentních setkání a zaznamenali 1 884 chyb tlumočení v podmínkách profesionálního tlumočníka, ad hoc tlumočníka a bez tlumočníka. Osmnáct procent těchto chyb mělo potenciální klinické důsledky. Odpovídající podíly byly 12 % u profesionálních tlumočníků, 22 % u ad hoc tlumočníků a 20 % bez tlumočníka. Tyto údaje nejsou procentem všech správně přeložených promluv.
V rámci profesionální skupiny činil podíl chyb s potenciálními klinickými důsledky 2 % u tlumočníků s alespoň 100 hodinami školení a 12 % u těch s menším počtem hodin. Tato souvislost neznamená, že kterákoli skupina měla celkovou míru přesnosti 98 % nebo 88 %. Znamená to, že by se měl kupující ptát na školení a na to, jak se určují závažné chyby, místo aby považoval „lidský“ výkon za jeden jednotný základ.
Praktický kontrolní seznam pro hodnocení
- Porovnávejte stejné prostředí. Otestujte skutečné jazyky, dialekty, kvalitu zvuku, střídání mluvčích a odbornou terminologii. Scénářovaný ORL dialog neprokazuje výkon v konferenci ani v urgentní péči.
- Definujte jmenovatel. Počítejte samostatně zdrojové výroky, přeložené výstupy, zjištěné chyby a chyby s důsledky.
- Hodnoťte víc než slova. Nechte kvalifikované bilingvní hodnotitele posoudit terminologii, zachovaný význam, srozumitelnost, opomenutí a důsledky, ideálně bez znalosti zdroje každého výstupu.
- Zaznamenejte cesty k opravě. Rozhodněte, kdy může účastník zpochybnit titulky, pozastavit, zopakovat výrok nebo přivolat kvalifikovaného tlumočníka.
- Uveďte nejistotu. Uveďte velikost vzorku a výsledky podle jazyka; nedělejte z malého experimentu záruku pro všechny jazyky.
Pro metriky AI mezi nástroji viz náš průvodce přesností překladu v reálném čase. Pro písemný záznam místo živé vícejazyčné řeči viz srovnání přesnosti přepisu. Tyto stránky odpovídají na jiné otázky než zajištění lidského tlumočníka.
Kde se uplatní MirrorCaption
MirrorCaption nabízí živý přepis a překlad, aby lidé mohli vidět originál i přeložený text vedle sebe. Speak Translations může číst přeloženou řeč nahlas. Tyto funkce mohou pomoci při běžných schůzkách a rozhovorech, ale studie v tomto článku MirrorCaption nehodnotily. Produkt není kvalifikovaný lidský tlumočník ani služba klinického tlumočení.
Pro klinická rozhodnutí a další rozhovory s vysokými důsledky zajistěte odpovídajícím způsobem kvalifikovaného tlumočníka v rámci procesu jazykového přístupu příslušné organizace. Pokyny HHS k jazykovému přístupu popisují kvalifikované tlumočníky a samostatná pravidla pro strojově přeložené dokumenty; ta druhá by neměla být vykládána jako schválení nehlídané AI interpretace řeči. Před volbou pracovního postupu si ověřte aktuální politiku a konkrétní komunikaci.
Často kladené otázky
Jak přesná je AI interpretace ve srovnání s lidským tlumočníkem?
Neexistuje jedno přenositelné procento. Publikované výsledky se liší podle systému, jazyka, úlohy a způsobu hodnocení. V jedné scénářované studii angličtina–španělština AI splnila práh pro význam a terminologii, ale nesplnila prahy pro srozumitelnost a přednes řeči; samostatný šestijazyčný test klinické řeči zjistil více klinicky nesprávných výstupů u své aplikace než u kvalifikovaných tlumočníků.
Odkud pochází statistika 82–88 % AI versus 98–99 % člověk?
Oborový článek přisuzuje tuto dvojici studii Stanford NLP, aniž by studii odkazoval nebo definoval přesnost. Zdroj jsme nemohli ověřit. Před citováním těchto čísel si vyžádejte původní práci a způsob hodnocení.
Jsou vyškolení lidští tlumočníci přesní na 99 %?
Studie Flores neuvádí obecnou míru přesnosti 99 %. Zjistila, že 18 % z 1 884 zaznamenaných chyb tlumočení mělo možné klinické důsledky; u profesionálních tlumočníků se podíl chyb s možnými důsledky lišil podle počtu hodin školení.
Může AI nahradit kvalifikovaného tlumočníka při lékařské návštěvě?
Tyto studie neprokazují, že by to mohla. Pro komunikaci s klinickými důsledky používejte proces jazykového přístupu dané zdravotnické organizace. AI může pomoci tam, kde je to vhodné, s jasnou cestou ke kvalifikovanému lidskému tlumočení a kontrole.
Jak by měl tým porovnávat AI a lidské tlumočení?
Otestujte jazyky a skutečné úlohy, které potřebujete. Uveďte počet zdrojových výroků a výstupů, zvlášť hodnotte význam a srozumitelnost, identifikujte chyby s důsledky a zdokumentujte, jak účastník získá opravu nebo kvalifikovaného tlumočníka.
Sledujte běžný rozhovor
Podívejte se na původní řeč a živý překlad vedle sebe. Vyzkoušejte jednorázovou bezplatnou hodinu.
Začít zdarma