Корейская транскрипция может выглядеть точной по одному показателю и слабой по другому. Система в исследовании KsponSpeech получила 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), and 21.9% word error rate (WER) на наборе Eval-clean. Эти цифры измеряют разные единицы; это не три конкурирующих заявления о продукте. Вот как их читать и как тестировать инструмент на том корейском аудио, которое у вас действительно есть.
Ключевые выводы
- Запрашивайте метрику, тестовый набор и модель, стоящие за любым заявлением о точности корейского распознавания.
- Проверяйте пробелы и смысл, а не только совпадение символов.
- Тестируйте переключения между корейским и английским и собственные имена на репрезентативном аудио.
Что измеряют CER, sWER и WER
Исследование KsponSpeech оценивало Transformer с SpecAugment на спонтанной корейской речи. Его результаты на Eval-clean показывают, почему метрика имеет значение:
| Метрика | Eval-clean | Что меняется |
|---|---|---|
| CER | 8.0% | Считает правки символов. |
| sWER | 14.2% | Снижает влияние различий в расстановке пробелов. |
| WER | 21.9% | Считает правки слов после определения границ слов. |
Это измерения одной исследовательской модели и одного набора для оценки, а не оценка точности MirrorCaption или другого сервиса. WER и sWER используют разную токенизацию, поэтому разница в 7.7 пункта показывает, что пробелы влияют на результат; она не показывает точно, сколько ошибок распознавания было вызвано пробелами. Наше сравнение точности транскрибации объясняет более широкие ограничения показателей ошибок.
Пробелы могут менять смысл, не меняя символы
Рассмотрим 아버지가방에들어가신다. Разбиение 아버지가 방에 들어가신다 означает «Отец входит в комнату», тогда как 아버지 가방에 들어가신다 означает «Отец входит в сумку». Символы идентичны. Сравнение на уровне символов, игнорирующее пробелы, не может показать, удалось ли восстановить нужное предложение.
Для заметок по встречам проверяйте имена, должности и границы предложений, а не только общий балл. Если должность или название компании неоднозначны, сравните транскрипт с записью и контекстом. Авторы KsponSpeech обсуждают непоследовательную расстановку пробелов в референсах спонтанной речи; этот пример показывает, почему одного CER недостаточно, чтобы определить смысл.
Отдельно тестируйте переключение между корейским и английским
Исследование HiKE собрало 1,121 корейско-английское высказывание от 13 двуязычных спикеров. Оно оценивает смешанную речь с помощью mixed error rate (MER) и point of interest error rate (PIER), который фокусируется на точках переключения. В таблице статьи GPT-4o Transcribe получил 2.5% CER на отдельном одноязычном корейском наборе FLEURS и 25.8% PIER для переключения на уровне слов в HiKE. Эти значения используют разное аудио и разные метрики, поэтому их нельзя читать как прямую потерю «до и после».
Исследователи принимали заимствованные слова в хангыле или латинице, если оба варианта были допустимы, что снижало измеренную ошибку на их наборе данных. Включайте английские аббревиатуры, заимствованные слова и имена собственные в любой продуктовый тест. Наше руководство по многоязычной транскрипции различает захват исходного языка и перевод.
Проверьте точную модель и рабочий процесс
Заявление поставщика о поддержке корейского не распространяется на каждую модель. В списке моделей Deepgram указаны ko/ko-KR для Nova-3, но корейский отсутствует в speech-to-text Flux. Таблица Google Cloud перечисляет ko-KR с информацией о модели и регионе. Проверьте актуальный список для точного live- или upload-пути, который вы планируете использовать.
MirrorCaption указывает корейский среди языков для live-транскрибации и предлагает подсказки по пользовательскому словарю для ожидаемых терминов. Эти средства не гарантируют правильный выбор омонима или пробелов. MirrorCaption не публикует корейский CER, не имеет селектора диалекта или пробелов и не является сертифицированным сервисом транскрибации. Используйте ручную проверку, если запись имеет юридические, медицинские или иные высокорисковые последствия.
Пятиминутный тест корейской транскрипции
- Выберите репрезентативное аудио с обычными микрофонами, фоновым шумом и переключениями между корейским и английским.
- Запишите имена и фразы, смысл которых должен сохраниться. Добавьте поддерживаемые подсказки по словарю.
- Сравните результат с человеческим эталоном, затем прослушайте ещё раз ошибки, меняющие смысл. Отдельно зафиксируйте выбор пробелов и письменности.
- Подтвердите точную модель, live- или file-workflow, формат вывода и текущую цену в документации провайдера.
Для live-теста в браузере откройте MirrorCaption и проверьте собственную корейскую речь. Его бесплатный час позволяет изучить результаты, прежде чем решать, подходит ли вам этот workflow. Для записанных файлов используйте отдельный загрузочный Transcriber и проверьте его языковые настройки и варианты экспорта для вашей задачи.
Часто задаваемые вопросы
Насколько точна корейская транскрипция?
Единого показателя точности не существует. На наборе KsponSpeech Eval-clean одна исследовательская система показала 8.0% character error rate, 14.2% space-independent word error rate и 21.9% word error rate. Это результаты исследования, а не гарантия для коммерческого инструмента.
Почему CER и WER для корейского различаются?
Они считают разные единицы. Стандартный word error rate чувствителен к границам слов; space-independent WER снижает влияние непоследовательных пробелов. Character error rate может не заметить изменение смысла, когда одни и те же символы хангыль разделены по-разному.
Может ли инструмент транскрибировать корейский и английский в одной записи?
Некоторые модели поддерживают распознавание смешанных языков, но тестируйте точную модель на собственной речи. Исследование HiKE выявило ошибки в точках переключения между корейским и английским; его одноязычные и смешанные результаты используют разное аудио и разные метрики, поэтому это не прямое сравнение точности.
Поддерживает ли каждая модель от поставщика с поддержкой корейского язык корейский?
Нет. Deepgram сейчас указывает корейский для Nova-3, тогда как в списке языков speech-to-text Flux корейский отсутствует. Проверьте актуальную документацию по модели для вашей записи или live-workflow.
Как мне тестировать инструмент для корейской транскрипции?
Используйте репрезентативную пятиминутную запись с именами, неоднозначностями в пробелах и английскими терминами. Сравните с человеческим эталоном, проверьте ошибки, меняющие смысл, и перед внедрением уточните модель, формат экспорта и текущую цену.
Попробуйте корейскую транскрипцию на своём аудио
Используйте свой бесплатный час, чтобы проверить имена, пробелы и смешанную речь в реальной записи.
Начать бесплатно