Korejský přepis může na jedné straně působit přesně a na jiné slabě. Systém ve studii KsponSpeech dosáhl na své sadě Eval-clean 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), and 21.9% word error rate (WER). Tyto hodnoty měří různé jednotky; nejde o tři konkurenční tvrzení o produktu. Zde je návod, jak je číst a jak otestovat nástroj na korejském audiu, které skutečně máte.
Klíčové poznatky
- U každého tvrzení o přesnosti korejštiny si vyžádejte metodu, testovací sadu a model.
- Posuzujte mezery i význam, nejen shodu znaků.
- Otestujte přepínání korejštiny a angličtiny i vlastní jména na reprezentativním audiu.
Co měří CER, sWER a WER
Studie KsponSpeech vyhodnotila Transformer se SpecAugmentem na korejské spontánní řeči. Její výsledky na sadě Eval-clean ukazují, proč na metrice záleží:
| Metrika | Eval-clean | Co se mění |
|---|---|---|
| CER | 8.0% | Počítá úpravy znaků. |
| sWER | 14.2% | Snižuje vliv rozdílů v oddělování slov mezerami. |
| WER | 21.9% | Počítá úpravy slov poté, co jsou určeny hranice slov. |
Jde o měření jednoho výzkumného modelu a jedné evaluační sady, nikoli o odhad přesnosti pro MirrorCaption nebo jinou službu. WER a sWER používají odlišnou tokenizaci, takže rozdíl 7.7 bodu ukazuje, že mezery ovlivňují skóre; neříká přesně, kolik rozpoznávacích chyb bylo způsobeno mezerami. Naše srovnání přesnosti přepisu vysvětluje širší limity chybovosti.
Mezery mohou změnit význam, aniž by změnily znaky
Uvažujte 아버지가방에들어가신다. Rozdělení 아버지가 방에 들어가신다 znamená „Otec jde do pokoje“, zatímco 아버지 가방에 들어가신다 znamená „Otec jde do tašky.“ Znaky jsou totožné. Porovnání na úrovni znaků, které ignoruje mezery, nedokáže říct, zda byla obnovena zamýšlená věta.
U poznámek ze schůzek kontrolujte kromě celkového skóre také jména, názvy a hranice vět. Pokud je role nebo název společnosti nejednoznačný, porovnejte přepis s nahrávkou a kontextem. Autoři KsponSpeech rozebírají nekonzistentní mezery v referenčních přepisech spontánní řeči; tento příklad ukazuje, proč samotné CER nemůže rozhodnout o významu.
Testujte přepínání korejštiny a angličtiny zvlášť
Studie HiKE shromáždila 1,121 korejsko-anglických výpovědí od 13 bilingvních mluvčích. Hodnotí smíšenou řeč pomocí mixed error rate (MER) a point of interest error rate (PIER), která se zaměřuje na body přepnutí. V tabulce v článku dosáhl GPT-4o Transcribe 2.5% CER na samostatné monolingvní korejské sadě FLEURS a 25.8% PIER pro přepínání na úrovni slov v HiKE. Tyto hodnoty používají odlišné audio i metriky, takže je nelze číst jako přímou ztrátu před a po.
Výzkumníci přijímali přejatá slova v hangulu nebo latince, pokud byly obě podoby platné, čímž snížili naměřenou chybovost na jejich datové sadě. Do jakéhokoli produktového testu zahrňte anglické zkratky, přejatá slova i vlastní jména. Náš průvodce vícejazyčným přepisem rozlišuje zachycení původního jazyka od překladu.
Ověřte přesný model a pracovní postup
Tvrzení dodavatele o podpoře korejštiny nepokrývá každý model. Seznam modelů Deepgramu uvádí ko/ko-KR pro Nova-3, ale u Flux speech-to-text korejštinu neuvádí. Tabulka Google Cloud uvádí ko-KR s informacemi o modelu a regionu. Zkontrolujte aktuální seznam pro přesnou živou nebo nahranou cestu, kterou plánujete použít.
MirrorCaption uvádí korejštinu mezi jazyky pro živý přepis a nabízí vlastní nápovědy slovní zásoby pro očekávané termíny. Tyto pomůcky nezaručují správnou volbu homofonu ani mezer. MirrorCaption nezveřejňuje žádné korejské CER, nemá volbu dialektu ani mezer a není certifikovanou přepisovací službou. Použijte lidskou kontrolu, když záznam nese právní, lékařské nebo jiné vysoce důsledkové dopady.
Pětiminutový test korejského přepisu
- Zvolte reprezentativní audio s běžnými mikrofony, hlukem na pozadí a přepínáním korejštiny a angličtiny.
- Sepište jména a fráze, jejichž význam musí zůstat zachován. Přidejte podporované nápovědy slovní zásoby.
- Porovnejte výstup s lidským referenčním přepisem a poté si znovu poslechněte chyby, které mění význam. Mezery a volby písma zaznamenávejte zvlášť.
- V dokumentaci poskytovatele potvrďte přesný model, živý nebo souborový pracovní postup, formát výstupu a aktuální cenu.
Pro živý test v prohlížeči otevřete MirrorCaption a zkontrolujte vlastní korejskou řeč. Jeho bezplatná hodina vám umožní prohlédnout si výsledky, než se rozhodnete, zda vám pracovní postup vyhovuje. Pro nahrané soubory použijte samostatný upload Transcriber a ověřte jeho jazykové a exportní možnosti pro vaši úlohu.
Často kladené otázky
Jak přesný je korejský přepis?
Neexistuje jedno jediné číslo přesnosti. Na sadě KsponSpeech Eval-clean zaznamenal jeden výzkumný systém 8.0% character error rate, 14.2% space-independent word error rate a 21.9% word error rate. Jde o výzkumné výsledky, nikoli o záruku pro komerční nástroj.
Proč se korejské CER a WER liší?
Počítají různé jednotky. Standardní word error rate je citlivý na hranice slov; space-independent WER snižuje vliv nekonzistentního oddělování mezerami. Character error rate může přehlédnout změnu významu, když jsou stejné znaky hangulu rozděleny jinak.
Dokáže nástroj přepisovat korejštinu i angličtinu v jedné nahrávce?
Některé modely podporují rozpoznávání více jazyků, ale otestujte přesný model na vlastní řeči. Studie HiKE zjistila chyby v místech přepnutí mezi korejštinou a angličtinou; její monolingvní a smíšené výsledky používají odlišné audio i metriky, takže nejde o přímé srovnání přesnosti.
Podporuje každý model od dodavatele schopného korejštiny korejštinu?
Ne. Deepgram aktuálně uvádí korejštinu pro Nova-3, zatímco jeho seznam jazyků pro Flux speech-to-text korejštinu neobsahuje. Zkontrolujte aktuální dokumentaci modelu pro vaši nahrávku nebo živý pracovní postup.
Jak mám testovat nástroj pro korejský přepis?
Použijte reprezentativní pětiminutovou nahrávku se jmény, nejednoznačnostmi v mezerách a anglickými výrazy. Porovnejte ji s lidským referenčním přepisem, zkontrolujte chyby měnící význam a před nasazením ověřte model, formát exportu a aktuální cenu.
Vyzkoušejte korejský přepis na svém audiu
Využijte svou bezplatnou hodinu k ověření jmen, mezer a smíšené řeči v reálné nahrávce.
Začít zdarma