Transcrierea în coreeană poate părea precisă la un capitol și slabă la altul. Un sistem din studiul KsponSpeech a obținut 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), și 21.9% word error rate (WER) pe setul său Eval-clean. Aceste cifre măsoară unități diferite; nu sunt trei afirmații concurente despre produs. Iată cum să le citești și cum să testezi un instrument pe audio-ul coreean pe care îl ai cu adevărat.
Idei principale
- Cere metrica, setul de test și modelul din spatele oricărei afirmații despre acuratețea în coreeană.
- Analizează spațierea și sensul, nu doar potrivirile de caractere.
- Testează schimbările coreeană-engleză și propriile nume pe audio reprezentativ.
Ce măsoară CER, sWER și WER
Studiul KsponSpeech a evaluat un Transformer cu SpecAugment pe vorbire spontană în coreeană. Rezultatele sale Eval-clean arată de ce contează metrica:
| Metrica | Eval-clean | Ce se schimbă |
|---|---|---|
| CER | 8.0% | Numără editările de caractere. |
| sWER | 14.2% | Reduce efectul diferențelor de spațiere între cuvinte. |
| WER | 21.9% | Numără editările de cuvinte după stabilirea limitelor dintre cuvinte. |
Acestea sunt măsurători ale unui singur model de cercetare și ale unui singur set de evaluare, nu estimări ale acurateței pentru MirrorCaption sau pentru alt serviciu. WER și sWER folosesc tokenizare diferită, așa că diferența de 7.7 puncte arată că spațierea afectează scorul; nu spune exact câte erori de recunoaștere au fost cauzate de spații. Comparația noastră privind acuratețea transcrierii explică limitele mai largi ale ratelor de eroare.
Spațierea poate schimba sensul fără să schimbe caracterele
Luați în considerare 아버지가방에들어가신다. Spațierea 아버지가 방에 들어가신다 înseamnă „Tatăl intră în cameră”, în timp ce 아버지 가방에 들어가신다 înseamnă „Tatăl intră în geantă.” Caracterele sunt identice. O comparație la nivel de caractere care ignoră spațiile nu poate spune dacă a fost recuperată propoziția intenționată.
Pentru notițele de ședință, verifică numele, titlurile și limitele propozițiilor, nu doar scorul agregat. Dacă un rol sau un nume de companie este ambiguu, compară transcrierea cu înregistrarea și cu contextul. Autorii KsponSpeech discută spațierea inconsistentă în referințele pentru vorbirea spontană; exemplul arată de ce CER singur nu poate stabili sensul.
Testează separat comutarea coreeană-engleză
Studiul HiKE a colectat 1,121 de enunțuri coreeană-engleză de la 13 vorbitori bilingvi. El evaluează vorbirea mixtă cu mixed error rate (MER) și point of interest error rate (PIER), care se concentrează pe punctele de comutare. În tabelul din lucrare, GPT-4o Transcribe a obținut 2.5% CER pe un set separat monolingv coreean FLEURS și 25.8% PIER pentru comutarea la nivel de cuvânt în HiKE. Aceste valori folosesc audio și metrici diferite, deci nu pot fi citite ca o pierdere directă înainte-după.
Cercetătorii au acceptat împrumuturile lexicale scrise în Hangul sau în alfabet latin atunci când ambele erau valide, reducând eroarea măsurată pe setul lor de date. Include acronimele englezești, împrumuturile lexicale și numele proprii în orice test de produs. Ghidul nostru de transcriere multilingvă distinge captarea în limba originală de traducere.
Verifică modelul și fluxul de lucru exact
Afirmația unui furnizor despre suportul pentru coreeană nu acoperă fiecare model. Lista de modele Deepgram include ko/ko-KR pentru Nova-3, dar omite coreeana din Flux speech-to-text. Tabelul Google Cloud listează ko-KR cu informații despre model și regiune. Verifică lista curentă pentru calea exactă live sau încărcată pe care intenționezi să o folosești.
MirrorCaption listează coreeana printre limbile sale de transcriere live și oferă sugestii de vocabular personalizat pentru termenii așteptați. Aceste ajutoare nu garantează alegerea corectă a omofonului sau a spațierii. MirrorCaption nu publică niciun CER pentru coreeană, nu are selector de dialect sau de spațiere și nu este un serviciu de transcriere certificat. Folosește revizuirea umană atunci când o înregistrare are consecințe juridice, medicale sau alte consecințe cu miză mare.
Un test de cinci minute pentru transcrierea în coreeană
- Alege audio reprezentativ cu microfoane obișnuite, zgomot de fundal și schimbări coreeană-engleză.
- Notează numele și expresiile al căror sens trebuie să se păstreze. Adaugă sugestii de vocabular acceptat.
- Compară rezultatul cu o referință umană, apoi ascultă din nou pentru erorile care schimbă sensul. Înregistrează separat alegerile de spațiere și de scriere.
- Confirmă modelul exact, fluxul live sau din fișier, formatul de ieșire și prețul curent în documentația furnizorului.
Pentru un test live în browser, deschide MirrorCaption și verifică propria ta vorbire în coreeană. Ora gratuită îți permite să inspectezi rezultatele înainte de a decide dacă fluxul de lucru ți se potrivește. Pentru fișiere înregistrate, folosește Transcriber-ul separat pentru încărcare și verifică opțiunile sale de limbă și export pentru sarcina ta.
Întrebări frecvente
Cât de precisă este transcrierea în coreeană?
Nu există o singură cifră a acurateței. Pe setul KsponSpeech Eval-clean, un sistem de cercetare a înregistrat 8.0% character error rate, 14.2% space-independent word error rate și 21.9% word error rate. Acestea sunt rezultate de cercetare, nu o garanție pentru un instrument comercial.
De ce diferă CER și WER în coreeană?
Ele numără unități diferite. Word error rate standard este sensibil la limitele dintre cuvinte; space-independent WER reduce efectul spațierii inconsistente. Character error rate poate rata o schimbare de sens atunci când aceleași caractere Hangul sunt spațiate diferit.
Poate un instrument să transcrie coreeana și engleza într-o singură înregistrare?
Unele modele acceptă recunoașterea limbilor mixte, dar testează modelul exact pe propria ta vorbire. Studiul HiKE a găsit erori la punctele de comutare coreeană-engleză; rezultatele sale monolingve și cele pentru vorbirea mixtă folosesc audio și metrici diferite, deci nu reprezintă o comparație directă a acurateței.
Fiecare model de la un furnizor care suportă coreeana acceptă și coreeana?
Nu. Deepgram listează în prezent coreeana pentru Nova-3, în timp ce lista sa de limbi pentru Flux speech-to-text omite coreeana. Verifică documentația curentă a modelului pentru înregistrarea ta sau pentru fluxul live.
Cum ar trebui să testez un instrument de transcriere în coreeană?
Folosește o înregistrare reprezentativă de cinci minute, cu nume, ambiguități de spațiere și termeni englezești. Compară cu o referință umană, revizuiește erorile care schimbă sensul și verifică modelul, formatul de export și prețul curent înainte de a te angaja.
Încearcă transcrierea în coreeană pe audio-ul tău
Folosește ora gratuită pentru a verifica nume, spațiere și vorbire mixtă într-o înregistrare reală.
Începe gratuit