Корейська транскрипція може виглядати точною за одним показником і слабкою за іншим. Система в дослідженні KsponSpeech отримала 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), and 21.9% word error rate (WER) на наборі Eval-clean. Ці цифри вимірюють різні одиниці; це не три конкуруючі заяви про продукт. Ось як їх читати й як протестувати інструмент на корейському аудіо, яке у вас є насправді.
Key Takeaways
- Питайте про метрику, тестовий набір і модель, що стоять за будь-якою заявою про точність корейської мови.
- Перевіряйте пробіли та зміст, а не лише збіги символів.
- Тестуйте корейсько-англійські перемикання та власні імена на репрезентативному аудіо.
Що вимірюють CER, sWER і WER
Дослідження KsponSpeech оцінило Transformer із SpecAugment на корейському спонтанному мовленні. Його результати на Eval-clean показують, чому метрика має значення:
| Metric | Eval-clean | What changes |
|---|---|---|
| CER | 8.0% | Підраховує правки символів. |
| sWER | 14.2% | Зменшує вплив відмінностей у розставленні пробілів між словами. |
| WER | 21.9% | Підраховує правки слів після визначення меж слів. |
Це вимірювання однієї дослідницької моделі та одного набору для оцінювання, а не оцінка точності MirrorCaption чи іншого сервісу. WER і sWER використовують різну токенізацію, тож розрив у 7.7 пункту показує, що пробіли впливають на бал; він не рахує точно, скільки помилок розпізнавання було спричинено пробілами. Наше порівняння точності транскрипції пояснює ширші обмеження показників помилок.
Пробіли можуть змінювати значення без зміни символів
Розгляньте 아버지가방에들어가신다. Розстановка пробілів 아버지가 방에 들어가신다 означає “Батько заходить до кімнати”, тоді як 아버지 가방에 들어가신다 означає “Батько заходить у сумку”. Символи однакові. Порівняння на рівні символів, яке ігнорує пробіли, не може сказати, чи було відновлено потрібне речення.
Для нотаток із зустрічей перевіряйте імена, посади та межі речень, а не лише сукупний бал. Якщо роль або назва компанії неоднозначна, звіряйте транскрипт із записом і контекстом. Автори KsponSpeech обговорюють непослідовне розставлення пробілів у референсах спонтанного мовлення; цей приклад показує, чому одного лише CER недостатньо, щоб визначити зміст.
Окремо тестуйте корейсько-англійське перемикання
Дослідження HiKE зібрало 1,121 корейсько-англійське висловлювання від 13 двомовних спікерів. Воно оцінює змішане мовлення за mixed error rate (MER) і point of interest error rate (PIER), який зосереджується на точках перемикання. У таблиці статті GPT-4o Transcribe отримав 2.5% CER на окремому одномовному корейському наборі FLEURS і 25.8% PIER для перемикання на рівні слів у HiKE. Ці значення використовують різне аудіо та різні метрики, тож їх не можна читати як прямі втрати “до/після”.
Дослідники приймали запозичені слова хангилем або латиницею, якщо обидва варіанти були коректними, що зменшувало виміряну помилку на їхньому наборі даних. Включайте англійські абревіатури, запозичення та власні назви в будь-яке тестування продукту. Наш посібник із багатомовної транскрипції розрізняє захоплення оригінальною мовою та переклад.
Перевірте точну модель і робочий процес
Заява постачальника про підтримку корейської мови не охоплює кожну модель. Список моделей Deepgram містить ko/ko-KR для Nova-3, але не містить корейської для Flux speech-to-text. Таблиця Google Cloud перелічує ko-KR з інформацією про модель і регіон. Перевірте актуальний список для точного live- або upload-шляху, який ви плануєте використовувати.
MirrorCaption перелічує корейську серед мов для живої транскрипції та пропонує підказки користувацької лексики для очікуваних термінів. Ці засоби не гарантують правильний вибір омоніма чи пробілів. MirrorCaption не публікує корейський CER, не має селектора діалекту чи пробілів і не є сертифікованим сервісом транскрипції. Використовуйте людську перевірку, коли запис має юридичні, медичні або інші високоризикові наслідки.
П’ятихвилинний тест корейської транскрипції
- Виберіть репрезентативне аудіо зі звичайними мікрофонами, фоновим шумом і корейсько-англійськими перемиканнями.
- Запишіть імена та фрази, значення яких має зберегтися. Додайте підтримувані підказки словника.
- Порівняйте результат із людським еталоном, а потім ще раз прослухайте помилки, що змінюють зміст. Окремо зафіксуйте вибір пробілів і письма.
- Підтвердьте точну модель, live- або file-робочий процес, формат виводу та актуальну ціну в документації провайдера.
Для живого браузерного тесту відкрийте MirrorCaption і перевірте власне корейське мовлення. Його безкоштовна година дає змогу переглянути результати, перш ніж вирішити, чи підходить вам цей робочий процес. Для записаних файлів використовуйте окремий завантажувальний Transcriber і перевірте його мовні та експортні опції для вашого завдання.
Часті запитання
Наскільки точною є корейська транскрипція?
Єдиного показника точності не існує. На наборі KsponSpeech Eval-clean одна дослідницька система зафіксувала 8.0% character error rate, 14.2% space-independent word error rate і 21.9% word error rate. Це результати дослідження, а не гарантія для комерційного інструмента.
Чому корейські CER і WER відрізняються?
Вони рахують різні одиниці. Стандартний word error rate чутливий до меж слів; space-independent WER зменшує вплив непослідовного розставлення пробілів. Character error rate може не помітити зміну значення, коли ті самі символи хангиля розставлені інакше.
Чи може інструмент транскрибувати корейську й англійську в одному записі?
Деякі моделі підтримують розпізнавання змішаних мов, але тестуйте точну модель на власному мовленні. Дослідження HiKE виявило помилки в точках перемикання між корейською та англійською; його одномовні та змішані результати використовують різне аудіо та різні метрики, тож це не пряме порівняння точності.
Чи кожна модель від постачальника, що підтримує корейську, підтримує корейську?
Ні. Наразі Deepgram перелічує корейську для Nova-3, тоді як у списку мов для Flux speech-to-text корейської немає. Перевіряйте актуальну документацію моделі для вашого запису або live-робочого процесу.
Як мені тестувати інструмент корейської транскрипції?
Використовуйте репрезентативний п’ятихвилинний запис з іменами, неоднозначностями пробілів і англійськими термінами. Порівняйте з людським еталоном, перевірте помилки, що змінюють зміст, і перед впровадженням звірте модель, формат експорту та актуальну ціну.
Спробуйте корейську транскрипцію на своєму аудіо
Використайте свою безкоштовну годину, щоб перевірити імена, пробіли та змішане мовлення в реальному записі.
Почати безкоштовно