Движок распознавания речи может распознавать десятки языков в отдельных записях и при этом всё равно испытывать трудности, когда один говорящий переключает языки посреди предложения. Для многоязычной транскрибации аудио задайте три разных вопроса: какие языки модель может распознавать, как она выбирает язык и сохраняет ли она переключения внутри одной записи? Одного заявленного количества языков недостаточно, чтобы ответить на все три.
Это руководство сравнивает документированное поведение для конкретных конфигураций моделей и даёт короткий тест, который выявляет пропущенные переключения. Для более широкого сравнения инструментов для живой и записанной речи см. наше руководство по многоязычной транскрибации.
- Покрытие языков — это поддерживаемый моделью набор. Это не гарантия того, что любая комбинация будет работать в одном файле.
- Автоматическое определение языка может выбрать наилучший вариант из кандидатов, не транскрибируя каждый произнесённый язык.
- Код-свитчинг означает сохранение языковых переключений в расшифровке, включая изменения внутри предложения. Проверьте точную модель и настройку.
- Измеряйте результат на каждом переключении на собственной записи; бенчмарки вендора не могут заменить эту проверку.
Три спецификации, которые нужно запросить
Покрытие отвечает на вопрос, поддерживает ли модель язык вообще. Определение отвечает на вопрос, как она выбирает среди возможных языков для запроса. Код-свитчинг отвечает на вопрос, может ли она следовать изменениям внутри этого запроса. Это разные виды поведения, и версия модели важна не меньше, чем имя вендора.
Например, руководство Google Cloud Speech-to-Text по автоматическому распознаванию языка допускает до трёх языков-кандидатов и говорит, что сервис использует язык, наиболее подходящий из этого списка. Три здесь означает кандидатов для выбора; это не обещание, что все три будут корректно присутствовать в одной расшифровке. Страница Google также ограничивает эту функцию конкретными моделями и регионами.
Что на самом деле говорит документация модели
| Модель или настройка | Документированное поведение | Вопрос для проверки |
|---|---|---|
| Транскрибация Open-source Whisper по умолчанию | Определяет язык по первым 30 секундам, если он не задан, а затем использует этот язык для декодирования. | Что происходит, когда язык меняется позже в файле? |
| Автоматическое распознавание Google Cloud Speech-to-Text V2 | Выбирает наиболее подходящий язык из до трёх кандидатов. Это выбор языка, а не опубликованная гарантия код-свитчинга. | Сохраняет ли результат оба языка в точках переключения? |
| Конфигурация код-свитчинга AssemblyAI | Её документированная ручная настройка кода языка принимает до двух кодов, один из них — английский; её автоматическая настройка код-свитчинга может определять до двух. | Покрываются ли выбранная вами модель и языковая пара этой конфигурацией? |
| AssemblyAI Universal-3.5 Pro | Документирует нативный код-свитчинг среди 18 поддерживаемых языков. Восемнадцать описывает поддерживаемый набор, а не заявленный максимум на файл. | Все ли языки в вашем фрагменте входят в эти 18 и насколько точны переключения? |
| Deepgram Nova-2 multilingual | Документированный многоязычный режим поддерживает код-свитчинг между английским и испанским. | Использует ли ваша запись именно эту пару и этот режим? |
| Deepgram Nova-3 multilingual | Deepgram документирует код-свитчинг среди набора из десяти языков с language=multi. Десять — это языковой набор модели, а не опубликованный максимум языков на запись. | Сохраняет ли настроенный режим короткие переключения в ваших целевых языках? |
Эти строки описывают разные виды ограничений. Не сортируйте их числа так, будто они измеряют одно и то же. В частности, количество кандидатов у Google и поддерживаемые наборы у Universal-3.5 Pro и Nova-3 не являются сопоставимыми потолками на файл. Размещённый API транскрибации файлов OpenAI также является отдельным продуктом от open-source-кода Whisper, на который дана ссылка выше; тестируйте его текущую модель отдельно.
Как протестировать многоязычную запись
- Сделайте эталонный фрагмент. Запишите две минуты с реальными говорящими. Включите каждый целевой язык, несколько переключений, переключение посреди предложения и имена, важные для вашей команды.
- Сохраните ручную эталонную расшифровку. Отметьте каждое изменение языка и собственное имя, чтобы было видно, что именно было пропущено.
- Используйте точные производственные настройки. Зафиксируйте версию модели и включите документированный вендором режим многоязычности или код-свитчинга. Сохраните настройки запроса вместе с результатом.
- Проверьте каждую точку переключения. Ищите пропущенные слова, слова, переписанные не тем алфавитом, перевод там, где вы просили транскрибацию, и языковые метки, которые отстают от речи.
- Повторите на самой сложной паре. Добавляйте шум или третий язык только если такие условия встречаются в ваших реальных записях. Сравнивайте результаты с тем же эталоном и организуйте человеческую проверку для значимых случаев.
Показатель точности вендора может использовать другие языки, других говорящих и другие правила оценки. Эта процедура показывает, работает ли его результат для вашего аудио. Если вашему рабочему процессу также нужен перевод, наше руководство по инструментам перевода описывает этот отдельный шаг.
Где здесь MirrorCaption
Живой поток MirrorCaption создан для субтитров и перевода во время разговора. Текущий клиент отправляет языковые подсказки при включённой идентификации языка; односторонний перевод может принимать определённые исходные языки, поддерживаемые настроенным сервисом. Автоматическое определение не добавляет поддержку неподдерживаемого языка. Эта конфигурация не является измеренной гарантией для каждой языковой пары или каждого переключения посреди предложения. Протестируйте живую сессию с вашими реальными говорящими, прежде чем на неё полагаться. Наше руководство по многоязычному колл-центру описывает живой рабочий процесс.
Текущий интерфейс загрузки файлов отправляет одну выбранную подсказку исходного языка. Не делайте вывод из живой конфигурации, что загруженные записи получают такое же многоязычное обращение. Для готовой записи с несколькими языками протестируйте результат загрузки и используйте специализированный сервис код-свитчинга или человеческую проверку, если он пропускает важные фрагменты.
Каждый новый аккаунт включает один бесплатный час, один раз, без кредитной карты. Текущий Annual plan стоит €54.99 за 110 часов в год; перед покупкой проверьте текущие цены.
Часто задаваемые вопросы
Означает ли список из 99 языков, что одна запись может содержать все 99?
Нет. Список поддерживаемых языков показывает, какие языки модель может распознавать. Смотрите отдельную документацию по автоматическому определению и код-свитчингу внутри одной записи.
Является ли выбор трёх языков-кандидатов тем же самым, что и код-свитчинг?
Нет. Документация Google Cloud Speech-to-Text говорит, что её автоматическое распознавание выбирает наиболее подходящий язык из до трёх кандидатов. Эта настройка не обещает многоязычную расшифровку.
Может ли open-source Whisper автоматически следовать переключению языка?
Путь транскрибации Whisper по умолчанию определяет язык, используя до первых 30 секунд, и использует этот выбор для декодирования. Не предполагайте автоматическое переключение посреди файла; протестируйте многоязычный фрагмент или намеренно разделите его на сегменты.
Может ли MirrorCaption обрабатывать многоязычную запись?
Живые сессии MirrorCaption используют идентификацию языка и языковые подсказки. Текущий интерфейс загрузки файлов отправляет одну выбранную подсказку исходного языка. Протестируйте репрезентативную запись, прежде чем полагаться на многоязычный результат загрузки.
Пусть модель докажет своё утверждение
Выберите модель для той языковой пары и того рабочего процесса, которые у вас действительно есть. Проверьте её документацию по код-свитчингу, сохраните точные настройки и протестируйте фрагмент с реальными точками переключения. Длинный список языков — это лишь начальный фильтр; доказательством покупки является сама расшифровка.
Попробуйте живую многоязычную сессию
Используйте своих собственных говорящих и языковую пару. Ваш первый час бесплатный.
Начать бесплатно