Valós idejű fordítás
pontossága

A valós idejű értekezlet-fordító eszközök tiszta angol hanganyagon 85–95%-os beszédfelismerési pontosságot érnek el, míg 65–80%-ra esnek többnyelvű, háttérzajos hívásoknál. A fordítás egy második változót ad hozzá: az EN-ES és EN-FR párok modern LLM-folyamatokban nagyjából 88–92%-ot érnek el; az EN-ZH és EN-JA 75–82%-ra csökken. Íme, mit jelentenek ezek a számok a gyakorlatban, és hogyan viszonyul egymáshoz négy vezető eszköz.

A hívás harmadik percében a tokiói ügyfeled azt mondja: 「ちょっと難しいです」. A felirat ezt írja: „Egy kicsit nehéz.” Bólogatsz, és továbblépsz a következő diára. Negyvenhét perccel később kiderül, hogy valójában azt értette: „Ez nekünk nem fog működni.” Nem fordítási hiba történt. Hanem kontextushiba, amit egy jobb pontossági modell észrevehetett volna. Erről a résről szól ez a cikk.

A pontossági állítások mindenütt jelen vannak. A teljes folyamatot lefedő, ellenőrzött, értekezlet-specifikus benchmarkok — beszédfelismeréstől a fordításig — szinte sehol nincsenek. Egy 30 perces kétnyelvű EN+ZH üzleti hívást futtattunk át négy nagy eszközön, és az eredményeket a WMT 2024 nyilvános adataival, valamint a CHiME-6 kihívás adathalmazával kombináltuk. Ezt találtuk.

Hogyan mérik a valós idejű fordítás pontosságát

Szóhiba-arányszám: az STT-benchmark

A Word Error Rate (WER) azt méri, a beszédfelismerő rendszer a szavak hány százalékát rontja el. Egy 100 szavas mondatnál az 5%-os WER azt jelenti, hogy 5 szó hibás, kicserélt vagy hiányzó volt. A legjobb rendszerek tiszta, kontrollált hanganyagon 5–8%-os WER-t érnek el. Az értekezleti hanganyag nehezebb.

A háttérzaj, a több beszélő, a laptopmikrofonok és a nem anyanyelvi akcentusok a CHiME-6 kihívás természetes értekezleti adatai alapján következetesen 15–25%-ra tolják fel a WER-t a valós értekezleti körülmények között. Ez a különbség az „jóváhagyjuk a költségvetést” és a „bizonyítsd a pocakot” között — olyan hibáké, amelyeket aztán a downstream fordítás örököl.

A streamelő STT egy újabb réteget ad hozzá. A valós idejű rendszerek ideiglenes szótokenekre köteleződnek el még a mondat befejezése előtt, majd a beérkező további hang alapján módosítják őket. Ez a szóról szóra történő önkorrekció teszi a streamelést gyorsnak érzetté, de azt is jelenti, hogy a 2. másodpercben látható felirat eltérhet a 4. másodpercben láthatótól. A véglegesen rögzített szöveget mérik a pontossági benchmarkok; az élő megjelenítésre támaszkodik a megbeszélésed.

BLEU-pontszámok és a gépi fordítás minősége

A BLEU (Bilingual Evaluation Understudy) pontszámok azt mérik, mennyire hasonlít a gépi fordítás egy emberi referenciafordításhoz. A pontszámok 0 és 100 között mozognak. Az 50 feletti érték erősnek számít; a legtöbb vállalati MT-rendszer 40–60 pontot ér el a gyakori nyelvpárokon a WMT 2024-ben.

Az EN-ES és EN-FR következetesen 52–60 BLEU-t ér el modern LLM-folyamatokon. Az EN-ZH és EN-JA 35–48 között mozog, nem azért, mert az AI-fordítás rosszabb, hanem mert a szerkezeti különbségek (szórend, szóközök hiánya a karakterek között, kontextusfüggő jelentés) miatt az automatikus értékelés megbünteti azokat a helyes fordításokat, amelyek szó szerint nem egyeznek a referenciával.

Egy fontos finomság a valós idejű használatnál: a BLEU-t dokumentumszinten számítják. A streamelő fordítás mondattöredékeken, néha egyes szavakon dolgozik. A tényleges mondatszintű minőség 10–15 ponttal alacsonyabb, mint amit a dokumentumszintű benchmarkok sugallnak. Ami laborban jól teljesít, az gyakran küszködik egy pörgős értékesítési hívás negyedik percében.

A csővezeték-probléma, amiről senki sem beszél

Az értekezlet-fordítás két lépésből áll: beszédből szöveg, majd szövegből fordítás. Az első lépés hibái átterjednek a másodikra. Egy 10%-os WER nagyjából azt jelenti, hogy tíz szóból egy hibás. Amikor ez a hibás szó egy név, egy szám vagy egy tagadás — a „nem jóváhagyott” „jóváhagyottá” válik —, a fordítás örökli a hibát, és gyakran még fel is erősíti.

Becslésünk szerint egy 10%-os STT-WER 20–30%-os szemantikai romlást okozhat a fordítás kimenetén üzleti szókincs esetén, mert az MT-modellnek nincs módja tudni, hogy a forrás szó hibás volt. Ezért téves az STT-t és az MT-t külön-külön benchmarkolni. A fontos szám a teljes csővezeték minősége a tényleges értekezleti hanganyagon.

Az 5 tényező, amely befolyásolja a valós idejű fordítás pontosságát

1. Hangminőség és háttérzaj

A háttérzaj a legnagyobb pontossági tényező, még inkább, mint az STT-motor kiválasztása. Tesztjeinkben egy USB-fejhallgatóról beépített laptopmikrofonra váltani csendes szobában 5–8 százalékponttal növelte a WER-t. A tipikus open office háttérzaj hozzáadása ezt 15–20 ponttal tolta a bázis fölé.

A tárgyalótermi kihangosítók különösen nehezek. A hang visszaverődik a falakról, több beszélő átfedi egymást, és a mikrofon messze van minden hangforrástól. Ezekben a körülményekben a WER rendszeresen meghaladja a 25%-ot még a legerősebb STT-motoroknál is. Egy 30 eurós USB-fejhallgató többet javít a pontosságon, mint egy prémium eszközre váltás rossz mikrofonnal.

2. Beszélői tempó és akcentus

A gyors beszélők, 180 szó/perc felett, megterhelik a streamelő STT-t, mert a puffer nem tudja véglegesíteni a szegmenseket, mielőtt megérkezik a következő hangcsomag. A gyors beszéd pontossága 5–10%-kal csökken a normál társalgási tempóhoz képest. A kritikus pontokon 15–20%-kal lassítani a beszédet az egyetlen legegyszerűbb pontosságjavítás, amelyhez nem kell szoftveres változtatás.

Az akcentussal beszélt angol árnyaltabb mintázatot mutat. A nagy STT-rendszerek az elmúlt két évben jelentősen javultak a gyakori nem anyanyelvi akcentusokon. A mi streamelő STT-nk különösen jól teljesít az ázsiai akcentusú angolon a Whisperhez képest, ami releváns a MirrorCaption elsődleges használati eseténél, az EN-ZH és EN-JA értekezleteknél. Az erős regionális akcentusok és a mondaton belüli nyelvváltás továbbra is nehezebb minden rendszernek.

3. A nyelvpár nehézsége

Nem minden nyelvpár egyformán nehéz valós időben fordítani:

• Könnyű párok (EN-ES, EN-FR, EN-DE, EN-PT): ~88–92% GPT-4-folyamatokon. Közös szókincsi gyökerek, hasonló mondatszerkezet, mély tanítóadat.
• Közepes párok (EN-RU, EN-AR, EN-HI): ~80–86%. A különböző írásrendszerek vagy szórendek kétértelműséget okoznak; kevesebb üzleti szókincsű tanítóadat áll rendelkezésre.
• Nehéz párok (EN-ZH, EN-JA, EN-KO): ~75–82%. Logografikus vagy agglutináló írásrendszerek, szóközök hiánya a szavak között, gazdag tiszteleti rendszer, és olyan szerkezeti különbségek, amelyek teljes mondatnyi kontextust igényelnek a helyes feloldáshoz.

A valós idejű rendszereket a nehéz párok jobban büntetik, mert részleges kontextussal köteleződnek el a fordítás mellett, egy mondattöredékből dolgozva, nem teljes megszólalásból. Itt a legszélesebb a streamelő és a batch közötti rés.

4. A streamelés és a batch feldolgozás kompromisszuma

Az értekezlet utáni eszközök, mint az Otter.ai, a hívás vége után teljes hanganyagot dolgoznak fel, teljes mondatkontextussal. Ezért ér el az Otter 90–95%-os pontosságot tiszta angolon: megvár mindent, mielőtt véglegesít. A valós idejű streamelő eszközök 500 ms-on belül véglegesítenek. Ez a kompromisszum, és valódi kompromisszum.

De nézzük az alternatívát. Priya határokon átnyúló értékesítési hívásokat vezet a mumbai csapata és japán vállalati ügyfelek között. Egy különösen zavaros hívás után elkezdett egy értekezlet utáni átirateszközt használni. Egy csiszolt összefoglalót kapott arról, ami már pontosan félrement. Az árkifogás, amit elmulasztott, a 12. percben benne volt az átiratban. Ő a 75. percben olvasta el, miután a hívás már véget ért.

Egy 92%-osan pontos átirat, amely a hívás után érkezik, nem segít válaszolni egy árkifogásra a 12. percben. Egy 84%-osan pontos felirat, amely akkor jelenik meg, amikor a beszélő még beszél, igen. Az élő döntéseknél nem a pontosság az elsődleges mérőszám. Hanem az időzítés.

5. Kontexusbetáplálás és szakterületi szókincs

Az általános LLM-fordító modellek küszködnek a technikai üzleti szókincscsel, terméknevekkel, pénzügyi kifejezésekkel, szabályozási fordulatokkal. A „strike” mást jelent baseballban, munkajogban és bowlingban; a kontextus dönti el, melyiket. Az egyetlen mondatra épülő fordítás gyakran a leggyakoribb értelmezésre áll rá, és elhibázza.

A MirrorCaption a korábbi 3–5 beszélgetési szegmenst betáplálja minden fordítási hívásba. Ez a kontextusablak lehetővé teszi a modellnek, hogy tudja, „üzletkötésről” beszélsz-e értékesítési helyzetben, vagy „sztrájk-akcióról” munkaügyi kontextusban. Belső tesztjeink szerint ez a megközelítés ~15–20%-kal javítja a szakterületi szókincs pontosságát az azonos hanganyagon végzett, egyetlen mondatra épülő fordításhoz képest. A kontextusbetáplálás különösen fontos kódváltáskor, amikor a beszélő beszélgetés közben egyik nyelvről a másikra vált — pontosan itt omlik össze a kontextus nélküli MT a leggyorsabban.

A fő valós idejű fordítóeszközök benchmarkolása 2026-ban

A fordítási minőség = a teljes STT+MT csővezeték üzleti értekezleti hanganyagon mért teljesítménye. Források: WMT 2024 közös feladat eredményei, CHiME-6 kihívás adatai, gyakorlati tesztelés. Az Otter tiszta angol STT-pontossága (utófeldolgozás után) ~90–95%, az N/A a valós idejű fordítás hiányát jelzi, nem az STT-minőséget.

Zoom AI Companion

A Zoom AI Companion korlátozott számú nyelvpárhoz kínál élő fordítást, nagyjából öt kombinációhoz, köztük EN-ES, EN-FR, EN-JA és EN-ZH. A tiszta angol STT-pontosság versenyképes, tesztjeinkben körülbelül 86–90%. Az EN-ES fordítási minőség szilárd volt, körülbelül 89%. Az EN-ZH üzleti szókincs esetén visszaesett, különösen a tulajdonneveknél és termékneveknél, amelyek következetlenül jelentek meg.

A kemény korlát a platformhoz kötöttség. A Zoom AI Companion csak a Zoomon belül működik. Ha a másik fél Teams-et használ, vagy személyesen beszélsz egy ügyféllel, másik eszközre van szükséged. A fordítás emellett csak bizonyos fizetős csomagszinteken érhető el, az alaplicencben nem.

Google Meet Live Translation

A Google Meet élő fordítása gyors, a Google Workspace-en belül ingyenes, és erős a gyakori európai nyelvpárokon. Az EN-ES és EN-FR minőség tesztjeinkben körülbelül 88% volt. Az EN-ZH általános üzleti kifejezéseknél 76–80% közé esett, és tovább romlott a technikai szókincs és a tulajdonnevek esetén. A Google modellje az egyértelműtlen kifejezéseknél a leggyakoribb értelmezésre áll rá, ami problémát okoz, amikor egy cég- vagy terméknév ütközik egy gyakori mandarin szóval.

A fő korlát az, hogy a feliratok múlékonyak. Nincs exportálható átirat, nincs beszélőazonosítás, és nincs AI-összefoglaló. Ami három perccel ezelőtt a feliratablakban megjelent, eltűnt. Ha vissza kell nézned, mi hangzott el, keresned kell egy kifejezést, vagy meg kell osztanod a jegyzőkönyvet egy kollégával, aki nem volt a hívásban, a Google Meet nem segít.

Otter.ai

Az Otter.ai értekezlet utáni angol STT-pontossága kiváló, tiszta hanganyagon 90–95%, a legjobb ezen a listán, mert megvárja a teljes felvételt, mielőtt véglegesít. A minőség látszik. Az Otter átiratai csiszoltak és jól olvashatók, olyan módon, ahogy a valós idejű streamelő kimenetek nem.

De az Otter nem kínál valós idejű fordítást. A fordítás egy kiegészítő, amely az értekezlet után fut, és az angol átirat lefordított változatát állítja elő. Egy angol nyelvű belső összefoglalóhoz az Otter kiváló. Egy kétnyelvű értekezlethez, ahol azonnal reagálnod kell arra, ami elhangzik, nem segít. A részletes funkció-összehasonlításhoz lásd a teljes MirrorCaption vs. Otter.ai összehasonlítást.

MirrorCaption (Streamelő STT + GPT-4)

A MirrorCaption csővezetéke a WebSocket-alapú streamelő STT-t használja az átíráshoz és a GPT-4-et a fordításhoz, miközben minden hívásnál a korábbi 3–5 beszélgetési szegmens kontextusként be van táplálva. A végponttól végpontig késleltetés 500 ms alatt marad. A szóról szóra megjelenő kimenet akkor látszik, amikor a beszélő még beszél; az ideiglenes tokenek önkorrekciót végeznek, ahogy több kontextus érkezik.

A tesztünkben az STT-pontosság tiszta angol hanganyagon ~88–92% volt. A vegyes akcentusú EN+ZH szegmenseknél ~78–84%-ra esett. Az EN-ZH fordítási minőség üzleti szókincs esetén: ~80–85%, ami elmarad az EN-ES izolált kifejezésekre vonatkozó benchmarkjaitól, de jobb azoknál többfordulós üzleti kontextusban, ahol a korábbi szegmensek számítanak. Az őszinte korlát: a nagy, 60+ támogatott nyelven kívüli, alacsony erőforrású nyelvpároknál a GPT-alapú fordításnak nincs meg az a specializált szakterületi tréningje, amelyet az STT oldalán a hanganyagokra lefedünk.

Miért igényelnek az ázsiai nyelvpárok más megközelítést

Hiroshi egy tokiói mérnöki csapatot vezet, amely egy amerikai termékvezetőnek jelent. A heti standup angolul zajlik, Hiroshi második nyelvén, jól beszélve, de nem anyanyelvi szinten. Egy csütörtökön az amerikai vezető a funkciószállítás ütemezéséről kérdezett. Hiroshi ezt válaszolta: „Megpróbálhatjuk azt a dátumot.” A japán munkahelyi kultúrában ez az állítás erős, implicit kétséget hordoz. Udvarias módja annak, hogy azt mondja: „nem, valószínűleg nem.” Az angol üzleti kultúrában a „we can try” óvatos optimizmusnak hangzik. A termékvezető a funkciót vállaltnak jelölte. Két héttel később a csapat lekéste a dátumot, amelyről Hiroshi oldalán mindenki már csendben egyetértett, hogy irreális.

Ebben a megbeszélésben egyetlen fordítóeszköz sem hibázott. A beszélgetés angolul zajlott. Ami elbukott, az a szavak és a kulturális regiszter közötti rés volt, és ez a rés az ázsiai nyelvpároknál a legszélesebb.

A szerkezeti okok kézzelfoghatók. A japán és a kínai a jelentést kontextuson, kapcsolaton és szórenden keresztül közvetíti olyan módon, ahogyan az európai nyelvek nem. A 「ちょっと難しいです」 japánul három token, szó szerint „egy kicsit nehéz”, de üzleti tárgyalásban komoly kétséget vagy udvarias elutasítást jelez. Az EN-ES fordítás nem szembesül ugyanezzel a problémával ilyen mértékben, mert a spanyol és az angol hasonló mondatszerkezeteket és közvetlenségi normákat oszt meg.

A többnyelvű távoli csapatok számára, amelyek japán, kínai vagy koreai nyelveken dolgoznak, a gyakorlati tanulság ez: az ázsiai nyelvpárok pontossági százalékai mindig alacsonyabbak lesznek az európai párokénál, bármelyik eszközt is használod. Az eszközök közötti különbség nem csak a szám, hanem az is, hogy a rendszer elég beszélgetési kontextust táplál-e be ahhoz, hogy elkapja azokat az eseteket, ahol a szó szerinti fordítás félrevezet.

A kontextusbetáplálás segít. Nem old meg minden kulturális regiszterbeli rést. Nagy tétű tárgyalásoknál az ázsiai piacokon érdemes időt hagyni a pontosításra, és megfontolni az AI-fordítás emberi moderátorral való párosítását, aki mindkét nyelvet ismeri. Az eszköz kezeli a mennyiséget; az ember elkapja azt az árnyalatot, amit az eszköz kihagy.

5 mód, amellyel javíthatod a valós idejű fordítás pontosságát

1. Fejhallgatót használj, ne a laptop mikrofonját. Ez a legnagyobb egyedi hatású változtatás. A szádhoz közel elhelyezett USB- vagy Bluetooth-fejhallgató csökkenti a környezeti zajt és megszünteti a legtöbb visszhangproblémát. 5–15 százalékponttal viszi le a WER-t, még szoftveres változtatások előtt.
2. Állítsd be kifejezetten a forrásnyelvet. Az automatikus felismerés a legtöbb esetben működik, de plusz feldolgozási időt ad, és néha a hívás első néhány másodpercét rosszul azonosítja. Ha a munkamenet elején EN-re vagy ZH-ra állítod a forrásnyelvet, megszűnnek a kritikus korai tartalomnál fellépő téves indulási hibák.
3. Nyiss 60 másodperc kalibrációs hanggal. Az agenda előtti small talk időt ad az STT-motornak, hogy alkalmazkodjon a hangodhoz, a szobához és a hálózatodhoz. Egy munkamenet első 60 másodpercének átírási minősége következetesen rosszabb, mint a hívás többi részéé. Ne a legfontosabb tartalommal kezdj.
4. Figyeld az önjavító szavakat. Streamelő módban időnként látni fogod, hogy egy szó megjelenik, majd a további kontextus érkezésével megváltozik. Ilyenkor a végső verzió megbízhatóbb, a rendszer elég jelet kapott ahhoz, hogy módosítsa a kezdeti tippjét. Azok a szavak, amelyek változatlanok maradnak, nagy biztonsággal kerültek véglegesítésre.
5. EN-ZH vagy EN-JA hívásoknál: tervezz be időt a pontosításra. Ezeknél a pároknál ~75–85%-os pontosságra számíts, és ennek megfelelően tervezz. Kritikus döntési pontokon — árképzés, vállalások, scope-változások — építs be egy 15 másodperces megerősítő kört: „Hadd erősítsem meg, mit értettem.” Gyorsabb, mint később kibogozni egy félreértést.

Gyakran ismételt kérdések

A helyes kérdés nem az, hogy „a legpontosabb”

A valós idejű fordítás pontossága csővezeték-kérdés, nem egyetlen szám. Az STT-pontosság, a fordítás minősége, a nyelvpár nehézsége, a kontextusbetáplálás és a késleltetés mind kölcsönhatásban állnak. Egy eszköz, amely 95%-ot ér el egy tiszta angol benchmarkon, de 72%-ot egy tényleges EN-ZH értékesítési hívásban, nem 95%-osan pontos eszköz a csapatod számára.

A gyakorlatban legjobban teljesítő eszközök mind a négy dimenziót egyensúlyban tartják: elég gyorsak ahhoz, hogy a hívás közben olvashatók legyenek, elég pontosak ahhoz, hogy elkapják a szándékot, őszinték a korlátokkal kapcsolatban, és nincsenek egyetlen platformhoz kötve. A valós idejű értekezlet-fordításhoz, amely nyelvpárokon és platformokon át működik értekezleti bot nélkül, ez az a kiindulási szint, amelyre a MirrorCaption épül.

Ha még nem tesztelted a jelenlegi eszközödet azokon a nyelvpárokon, amelyek valóban számítanak a megbeszéléseiteken, most van itt az idő. Havonta 2 ingyenes óra, bankkártya nélkül.