Точность AI vs человека-переводчика: что измеряют исследования

Насколько точна интерпретация AI по сравнению с человеком-переводчиком? Опубликованные сравнения не дают одного переносимого процента. Их результаты зависят от языковой пары, от того, идет ли речь о живой речи или записанном материале, от того, кто переводит, и от того, учитывает ли оценщик неправильные слова, неясную подачу или ошибки, которые могут повлиять на решение.

Почему один процент точности вводит в заблуждение

Отраслевая статья приводит 82–88% для AI и 98–99% для переводчиков-людей, приписывая эту пару исследованию Stanford NLP, но не давая на него ссылки и не определяя «точность». Мы не смогли проверить эту цитату. Не используйте эти проценты как ориентир без оригинального исследования, его метода оценки и выборки.

Даже подтвержденное число может отвечать не на тот вопрос. Показатель ошибок на уровне слов не говорит о том, понял ли слушатель предупреждение. Доля ошибок с возможными клиническими последствиями не говорит о том, какая часть всех высказываний была неверной. Исследования ниже измеряют разные результаты, поэтому их проценты нельзя объединять или ранжировать так, будто это один тест.

Что на самом деле показали четыре опубликованных сравнения

Эти статьи охватывают разные системы и условия. Три напрямую сравнивают результаты; исследование фигурной речи сравнивает два метода интервью с теми же шестью пациентами, поэтому оно не изолирует движок перевода на идентичных высказываниях.

Клинические ошибки: проверьте знаменатель

Feinberg и коллеги начали с 14 реальных фрагментов речи врача. Каждый был переведен на шесть языков приложением в голосовом режиме и квалифицированными медицинскими переводчиками, что дало по 84 перевода в каждом условии. В таблице указаны 28 клинически неверных переводов AI против четырех переводов переводчиков. В первоначальном черновике это называлось «14 фрагментов» без объяснения знаменателя в 84 результата, из-за чего проценты выглядели шире или уже, чем реальное сравнение. Результаты также различались по языкам: в строке для испанского языка было зафиксировано два клинически неверных результата приложения и ноль у переводчиков из 14 в каждом случае. Этот результат не следует переносить на любой продукт AI или любой язык.

Смысл и подача могут расходиться

В исследовании LingualAI Singh и коллег двуязычные клиницисты оценивали анонимизированное аудио из сценарных англо-испанских ЛОР-сценариев. При заранее заданном пороге не меньшей эффективности 0.30 балла по пятибалльным шкалам внутренняя система достигла порога по терминологии (разница 0.07) и адекватности смысла (0.13), но не по четкости (0.50). Беглость, просодия и темп тоже не уложились в предел. Общая оценка качества и клиническая уверенность были в пользу переводчиков. В исследовании участвовали девять оценщиков с неравномерным участием, а согласие между оценщиками было умеренным (альфа Криппендорфа 0.31). Это была симуляция, а не доказательство работы в несценарной помощи.

Конференционная речь и образный язык

Fantinuoli и Prandi оценивали пять конференционных выступлений по методике, ориентированной на разборчивость и информативность. Люди-переводчики получили 84.84% против 73.49% у машин по разборчивости; машинный вывод получил 74.63% против 72.82% у людей по информативности. Это оценки по шкале данного исследования, а не общий «процент точности». Авторы предупреждают, что нельзя обобщать выводы на основе небольшого корпуса.

Tougas и коллеги изучали образный язык в психиатрических интервью. Шесть пациентов прошли одно интервью с участием человека-переводчика и еще одно на испанском языке с AI-поддерживаемой интерпретацией. Оба метода часто неточно передавали идиомы и другие образные выражения. Поскольку исходные высказывания в интервью различались, это исследование полезно для выявления сложного режима отказа, но не для чистого сравнения точности продукта и переводчика.

Качество человеческого переводчика тоже нужно определять

Flores и коллеги проанализировали 57 педиатрических неотложных случаев и зафиксировали 1,884 ошибки перевода в условиях с профессиональным переводчиком, с ad hoc-переводчиком и без переводчика. Восемнадцать процентов этих ошибок могли иметь клинические последствия. Соответствующие доли составили 12% для профессиональных переводчиков, 22% для ad hoc-переводчиков и 20% без переводчика. Эти цифры не являются процентом всей речи, переведенной правильно.

Внутри группы профессиональных переводчиков доля ошибок с возможными клиническими последствиями составила 2% у переводчиков с не менее чем 100 часами обучения и 12% у тех, у кого часов было меньше. Эта связь не означает, что в одной группе общая точность была 98%, а в другой 88%. Это означает, что покупателю следует спрашивать об обучении и о том, как выявляются ошибки с последствиями, а не считать «человека» единым однородным базовым уровнем.

Практический чек-лист оценки

1. Сопоставьте условия. Проверьте реальные языки, диалекты, качество аудио, очередность реплик и техническую лексику. Сценарный ЛОР-диалог не доказывает работу в конференции или в экстренной помощи.
2. Определите знаменатель. Отдельно считайте исходные высказывания, переведенные результаты, обнаруженные ошибки и ошибки с последствиями.
3. Оценивайте не только слова. Попросите квалифицированных двуязычных рецензентов оценить терминологию, сохраненный смысл, разборчивость, пропуски и последствия, по возможности не зная источника каждого результата.
4. Зафиксируйте пути исправления. Решите, когда участник может оспорить субтитр, поставить паузу, повторить фразу или привлечь квалифицированного переводчика.
5. Сообщайте о неопределенности. Укажите размер выборки и результаты по языкам; не превращайте небольшой эксперимент в гарантию для всех языков.

Для метрик AI-систем см. наше руководство по точности перевода в реальном времени. Для письменной записи, а не живой межъязыковой речи, см. сравнение точности транскрибации. Эти страницы отвечают на другие вопросы, чем подбор человека-переводчика.

Где здесь место MirrorCaption

MirrorCaption предлагает живую расшифровку и перевод, чтобы люди могли видеть оригинал и переведенный текст рядом. Speak Translations может озвучивать переведенную речь. Эти функции могут помочь в обычных встречах и разговорах, но исследования в этой статье не оценивали MirrorCaption. Продукт не является квалифицированным человеком-переводчиком или клинической службой устного перевода.

Для клинических решений и других разговоров с высокими ставками привлекайте соответствующим образом квалифицированного переводчика в рамках процесса языкового доступа вашей организации. Руководство HHS по языковому доступу описывает квалифицированных переводчиков и отдельные правила для документов, переведенных машинным способом; последние не следует воспринимать как одобрение AI-интерпретации речи без надзора. Перед выбором рабочего процесса проверьте действующую политику и конкретный тип коммуникации.

Часто задаваемые вопросы

Насколько точна интерпретация AI по сравнению с человеком-переводчиком?

Единого переносимого процента нет. Опубликованные результаты различаются по системе, языку, задаче и методу оценки. В одном сценарном англо-испанском исследовании AI достиг порога по смыслу и терминологии, но не по четкости и подаче речи; отдельный тест клинической речи на шести языках выявил больше клинически неверных результатов у приложения, чем у квалифицированных переводчиков.

Откуда взялся показатель 82–88% для AI против 98–99% для человека?

Отраслевая статья приписывает эту пару исследованию Stanford NLP, не давая ссылки на него и не определяя точность. Мы не смогли проверить источник. Прежде чем цитировать эти числа, запросите оригинальную статью и метод оценки.

Правда ли, что обученные переводчики-люди точны на 99%?

Исследование Flores не сообщает общий показатель точности 99%. Оно показало, что 18% из 1,884 зафиксированных ошибок перевода могли иметь клинические последствия; среди профессиональных переводчиков доля ошибок с возможными последствиями различалась в зависимости от часов обучения.

Может ли AI заменить квалифицированного переводчика на медицинском приеме?

Эти исследования не доказывают, что это возможно. Для значимой клинической коммуникации используйте процесс языкового доступа вашей медицинской организации. AI может помогать там, где это уместно, при наличии четкого пути к квалифицированному человеческому переводу и проверке.

Как команде сравнить AI и человеческий перевод?

Проверьте нужные вам языки и реальные задачи. Укажите число исходных высказываний и результатов, отдельно оцените смысл и разборчивость, выявите ошибки с последствиями и задокументируйте, как участник получает исправление или квалифицированного переводчика.