Розпізнавальний рушій може впізнавати десятки мов у різних записах і все ж спотикатися, коли один мовник переходить з мови на мову посеред речення. Для багатомовної транскрипції аудіо поставте три різні запитання: які мови може розпізнати модель, як вона обирає мову і чи зберігає вона перемикання в межах одного запису? Одна рекламована кількість мов не дає відповіді на всі три.
Цей посібник порівнює задокументовану поведінку для конкретних конфігурацій моделей і дає короткий тест, який виявляє пропущені перемикання. Для ширшого порівняння інструментів для живих і записаних матеріалів дивіться наш посібник із багатомовної транскрипції.
- Покриття мов — це підтримуваний моделлю набір. Це не гарантія, що кожна комбінація працюватиме в одному файлі.
- Автоматичне визначення мови може вибрати найкращий варіант із кандидатів, не транскрибуючи кожну мову, що звучить.
- Code switching означає збереження змін мови в транскрипті, включно зі змінами всередині речення. Перевіряйте точну модель і налаштування.
- Вимірюйте результат на кожному перемиканні у власному записі; бенчмарки постачальника не можуть замінити цю перевірку.
Три специфікації, які варто запитати
Покриття відповідає, чи підтримує модель мову взагалі. Визначення відповідає, як вона обирає між можливими мовами для запиту. Code switching відповідає, чи може вона відстежувати зміни в межах цього запиту. Це окремі типи поведінки, і версія моделі важить не менше, ніж назва постачальника.
Наприклад, посібник Google Cloud Speech-to-Text з автоматичного розпізнавання мов дозволяє до трьох мов-кандидатів і каже, що сервіс використовує мову, яка найкраще підходить із цього списку. Три тут означає кандидати для вибору; це не обіцянка, що всі три коректно з’являться в одній транскрипції. Сторінка Google також обмежує цю функцію конкретними моделями та регіонами.
Що насправді каже документація моделі
| Модель або налаштування | Задокументована поведінка | Питання для перевірки |
|---|---|---|
| Транскрипція за замовчуванням у open-source Whisper | Визначає мову за першими до 30 секунд, якщо її не задано, а потім використовує цю мову для декодування. | Що відбувається, коли мова змінюється пізніше у файлі? |
| Автоматичне розпізнавання Google Cloud Speech-to-Text V2 | Обирає мову, що найкраще підходить, із до трьох кандидатів. Це вибір мови, а не опублікована гарантія code switching. | Чи зберігає результат обидві мови в точках перемикання? |
| Конфігурація code switching AssemblyAI | Її задокументоване ручне налаштування коду мови приймає до двох кодів, один із них — англійська; її автоматичне налаштування code switching може визначати до двох. | Чи охоплює ця конфігурація вибрану вами модель і пару мов? |
| AssemblyAI Universal-3.5 Pro | Документує нативний code switching між 18 підтримуваними мовами. Вісімнадцять описує підтримуваний набір, а не заявлений максимум на файл. | Чи всі мови у вашому фрагменті входять до цих 18, і наскільки точні перемикання? |
| Deepgram Nova-2 multilingual | Задокументований багатомовний режим підтримує code switching між англійською та іспанською. | Чи використовує ваш запис саме цю пару та цей режим? |
| Deepgram Nova-3 multilingual | Deepgram документує code switching у наборі з десяти мов із language=multi. Десять — це мовний набір моделі, а не опублікований максимум мов на один запис. | Чи зберігає налаштований режим короткі перемикання у ваших цільових мовах? |
Ці рядки описують різні типи обмежень. Не сортуйте їхні числа так, ніби вони вимірюють одне й те саме. Зокрема, кількість кандидатів у Google та підтримувані набори для Universal-3.5 Pro і Nova-3 не є порівнюваними лімітами на один файл. Хмарний API транскрипції файлів OpenAI також є окремим продуктом від open-source коду Whisper, на який є посилання вище; тестуйте його поточну модель окремо.
Як протестувати змішаний мовний запис
- Створіть еталонний фрагмент. Запишіть дві хвилини з реальними мовцями. Додайте кожну цільову мову, кілька перемикань, перемикання посеред речення та імена, важливі для вашої команди.
- Збережіть ручну еталонну транскрипцію. Позначте кожну зміну мови та власну назву, щоб було видно, що саме пропущено.
- Використовуйте точні виробничі налаштування. Зафіксуйте версію моделі та увімкніть задокументований постачальником багатомовний режим або режим code switching. Збережіть налаштування запиту разом із результатом.
- Прочитайте кожну точку перемикання. Шукайте пропущені слова, слова, переписані неправильним письмом, переклад там, де ви просили транскрипцію, і мовні мітки, що відстають від мовлення.
- Повторіть на найскладнішій парі. Додавайте шум або третю мову лише якщо такі умови є у ваших реальних записах. Порівняйте результати з тією самою еталонною версією та організуйте людську перевірку для важливих випадків використання.
Показник точності постачальника може використовувати інші мови, мовців і правила оцінювання. Ця процедура показує, чи підходить його результат для вашого аудіо. Якщо вашому робочому процесу також потрібен переклад, наш посібник із інструментів перекладу описує цей окремий крок.
Де тут місце MirrorCaption
Живий шлях MirrorCaption створений для субтитрів і перекладу під час розмови. Поточний клієнт надсилає мовні підказки з увімкненим визначенням мови; односторонній переклад може приймати визначені вихідні мови, які підтримує налаштований сервіс. Автоматичне визначення не додає підтримки для непідтримуваної мови. Така конфігурація не є виміряною гарантією для кожної пари мов або кожного перемикання посеред речення. Перед тим як покладатися на неї, протестуйте живу сесію зі своїми реальними мовцями. Наш посібник із багатомовного кол-центру описує живий робочий процес.
Поточний інтерфейс завантаження файлів надсилає одну вибрану підказку щодо вихідної мови. Не робіть висновок із живої конфігурації, що завантажені записи отримують таке саме багатомовне опрацювання. Для готового запису з кількома мовами протестуйте результат завантаження та використовуйте спеціалізований сервіс code switching або людську перевірку, якщо він пропускає важливі фрагменти.
Кожен новий обліковий запис включає одну безкоштовну годину, один раз, без кредитної картки. Поточний річний план коштує €54.99 за 110 годин на рік; перед покупкою перевірте актуальні ціни.
Поширені запитання
Чи означає список із 99 мов, що один запис може містити всі 99?
Ні. Список підтримуваних мов показує, які мови модель може розпізнати. Перевіряйте окрему документацію щодо автоматичного визначення та code switching в межах одного запису.
Чи є вибір трьох мов-кандидатів тим самим, що й code switching?
Ні. Документація Google Cloud Speech-to-Text каже, що її автоматичне розпізнавання обирає мову, яка найкраще підходить, із до трьох кандидатів. Це налаштування не обіцяє змішану мовну транскрипцію.
Чи може open-source Whisper автоматично відстежувати зміну мови?
Шлях транскрипції Whisper за замовчуванням визначає мову, використовуючи до перших 30 секунд, і застосовує цей вибір для декодування. Не припускайте автоматичного перемикання посеред файлу; протестуйте змішаний мовний фрагмент або розбийте його навмисно.
Чи може MirrorCaption обробити багатомовний запис?
Живі сесії MirrorCaption використовують визначення мови та мовні підказки. Поточний інтерфейс завантаження файлів надсилає одну вибрану підказку щодо вихідної мови. Перед тим як покладатися на результат завантаження зі змішаними мовами, протестуйте репрезентативний запис.
Змусьте модель довести заяву
Оберіть модель для тієї пари мов і того робочого процесу, які у вас є насправді. Перевірте її документацію щодо code switching, збережіть точні налаштування та протестуйте фрагмент із реальними точками перемикання. Довгий список мов — це лише початковий фільтр; сам транскрипт є доказом для покупки.
Спробуйте живу багатомовну сесію
Використовуйте власних мовців і власну пару мов. Ваш перший час безкоштовний.
Почати безкоштовно