A koreai átírás az egyik szempontból pontosnak, a másikból gyengének tűnhet. A KsponSpeech tanulmány egyik rendszere az Eval-clean készleten 8.0% karakterhibaarányt (CER), 14.2% szóközfüggetlen szóhibaarányt (sWER) és 21.9% szóhibaarányt (WER) ért el. Ezek az értékek különböző egységeket mérnek; nem három egymással versengő termékállítást jelentenek. Így érdemes őket olvasni, és így tesztelhet egy eszközt a tényleges koreai hanganyagon.

Key Takeaways

Mit mér a CER, a sWER és a WER

A KsponSpeech tanulmány egy SpecAugmenttel kiegészített Transformer modellt értékelt koreai spontán beszéden. Az Eval-clean eredmények megmutatják, miért számít a metrika:

MetrikaEval-cleanMi változik
CER8.0%A karakteres szerkesztéseket számolja.
sWER14.2%Csökkenti a szóközök eltérésének hatását.
WER21.9%A szóhatárok beállítása után a szóhibákat számolja.

Ezek egy kutatási modell és egy értékelőkészlet mérései, nem a MirrorCaption vagy bármely más szolgáltatás pontossági becslései. A WER és a sWER eltérő tokenizálást használ, ezért a 7.7 pontos különbség azt mutatja, hogy a szóközök befolyásolják az eredményt; nem azt, hogy pontosan hány felismerési hibát okoztak a szóközök. A mi átírási pontossági összehasonlításunk részletesebben bemutatja a hibaarányok tágabb korlátait.

A szóközök a jelentést is megváltoztathatják a karakterek változása nélkül

Vegyük az 아버지가방에들어가신다 példát. Az 아버지가 방에 들어가신다 tagolás azt jelenti: „Az apa bemegy a szobába”, míg az 아버지 가방에 들어가신다 azt jelenti: „Az apa bemegy a táskába.” A karakterek azonosak. Egy szóközöket figyelmen kívül hagyó karakteralapú összehasonlítás nem tudja megmondani, hogy a kívánt mondat került-e visszaadásra.

Jegyzeteknél ellenőrizze a neveket, címeket és mondathatárokat is az összesített pontszám mellett. Ha egy szerep vagy cégnév kétértelmű, hasonlítsa össze az átiratot a felvétellel és a kontextussal. A KsponSpeech szerzői a spontán beszédű hivatkozások következetlen szóközhasználatát tárgyalják; a példa jól mutatja, miért nem dönthető el a jelentés pusztán a CER alapján.

A koreai–angol váltást külön tesztelje

A HiKE tanulmány 13 kétnyelvű beszélőtől 1,121 koreai–angol megszólalást gyűjtött össze. A vegyes beszédet mixed error rate (MER) és point of interest error rate (PIER) metrikákkal értékeli, utóbbi a váltási pontokra összpontosít. A cikk táblázatában a GPT-4o Transcribe 2.5% CER-t ért el egy különálló egynyelvű koreai FLEURS készleten, és 25.8% PIER-t a szó szintű váltásoknál a HiKE-en. Ezek az értékek eltérő hanganyagra és metrikákra vonatkoznak, ezért nem olvashatók közvetlen előtte-utána veszteségként.

A kutatók a hangul vagy latin írású jövevényszavakat elfogadták, ha mindkettő helyes volt, így csökkentve a mért hibát az adatkészleten. Minden terméktesztbe vegyen fel angol rövidítéseket, jövevényszavakat és tulajdonneveket. A mi többnyelvű átírási útmutatónk megkülönbözteti az eredeti nyelvű rögzítést a fordítástól.

Ellenőrizze a pontos modellt és munkafolyamatot

Egy szolgáltató koreai támogatásra vonatkozó állítása nem terjed ki minden modellre. A Deepgram modell-listája a Nova-3 esetében tartalmazza a ko/ko-KR nyelvet, de a Flux speech-to-text esetében nem sorolja fel a koreait. A Google Cloud táblázata a ko-KR nyelvet modell- és régióinformációval együtt tünteti fel. Ellenőrizze az aktuális listát ahhoz a pontos élő vagy feltöltött folyamathoz, amelyet használni tervez.

A MirrorCaption a koreait az élő átírási nyelvei között sorolja fel, és egyéni szókincs-javaslatokat kínál a várt kifejezésekhez. Ezek az eszközök nem garantálják a megfelelő homofón vagy szóközhasználati döntést. A MirrorCaption nem közöl koreai CER-t, nincs dialektus- vagy szóközválasztója, és nem minősített átírási szolgáltatás. Használjon emberi ellenőrzést, ha a felvételnek jogi, orvosi vagy más nagy tétű következménye van.

Ötperces koreai átírási próba

  1. Válasszon reprezentatív hanganyagot hétköznapi mikrofonokkal, háttérzajjal és koreai–angol váltásokkal.
  2. Írja fel azokat a neveket és kifejezéseket, amelyek jelentésének meg kell maradnia. Adjon hozzá támogatott szókincs-javaslatokat.
  3. Hasonlítsa össze a kimenetet egy emberi referenciával, majd hallgassa vissza a jelentést megváltoztató hibákat. A szóközhasználatot és az írásmódot külön rögzítse.
  4. Ellenőrizze a pontos modellt, az élő vagy fájlalapú munkafolyamatot, a kimeneti formátumot és az aktuális árat a szolgáltató dokumentációjában.

Élő böngészős próba esetén nyissa meg a MirrorCaptiont, és ellenőrizze a saját koreai beszédét. Az ingyenes órája lehetővé teszi, hogy átnézze az eredményeket, mielőtt eldöntené, megfelel-e a munkafolyamat. Rögzített fájlokhoz használja a külön feltöltéses Transcribert, és ellenőrizze a nyelvi és exportálási beállításait a feladatához.

Gyakran ismételt kérdések

Mennyire pontos a koreai átírás?

Nincs egyetlen pontossági mutató. A KsponSpeech Eval-clean készletén egy kutatási rendszer 8.0% karakterhibaarányt, 14.2% szóközfüggetlen szóhibaarányt és 21.9% szóhibaarányt ért el. Ezek kutatási eredmények, nem garancia egy kereskedelmi eszközre.

Miért tér el egymástól a koreai CER és a WER?

Különböző egységeket számolnak. A hagyományos szóhibaarány érzékeny a szóhatárokra; a szóközfüggetlen WER csökkenti az inkonzisztens szóközhasználat hatását. A karakterhibaarány elszalaszthat egy jelentésváltozást, ha ugyanazokat a hangul karaktereket másképp tagolják.

Tud egy eszköz koreai és angol nyelvet is átírni egyetlen felvételen?

Néhány modell támogatja a vegyes nyelvű felismerést, de a pontos modellt a saját beszédén tesztelje. A HiKE tanulmány hibákat talált a koreai–angol váltási pontokon; az egynyelvű és a vegyes beszédű eredmények eltérő hanganyagot és metrikákat használnak, ezért nem közvetlen pontossági összehasonlítások.

Minden koreai nyelvre képes szolgáltató minden modellje támogatja a koreait?

Nem. A Deepgram jelenleg a Nova-3 esetében sorolja fel a koreait, míg a Flux speech-to-text nyelvlistájából hiányzik a koreai. Ellenőrizze az aktuális modell-dokumentációt a felvételéhez vagy élő munkafolyamatához.

Hogyan teszteljek egy koreai átíró eszközt?

Használjon egy reprezentatív, ötperces felvételt nevekkel, szóköz-értelmezési bizonytalanságokkal és angol kifejezésekkel. Hasonlítsa össze egy emberi referenciával, vizsgálja meg a jelentést megváltoztató hibákat, és a döntés előtt ellenőrizze a modellt, az exportformátumot és az aktuális árat.

Próbálja ki a koreai átírást a saját hanganyagán

Használja fel az ingyenes óráját a nevek, a szóközök és a vegyes nyelvű beszéd ellenőrzésére egy valódi felvételen.

Get Started Free