Precisão da IA vs Intérprete Humano: o que os estudos medem

Quão precisa é a interpretação por IA em comparação com um intérprete humano? Comparações publicadas não fornecem uma única porcentagem transferível. Os resultados dependem do par de idiomas, de ser fala ao vivo ou material gravado, de quem interpreta e de se o avaliador conta palavras erradas, entrega pouco clara ou erros que poderiam mudar uma decisão.

Por que uma única porcentagem de precisão engana

Um artigo do setor cita 82–88% para IA e 98–99% para intérpretes humanos, atribuindo o par a um estudo de NLP de Stanford sem vinculá-lo ou definir “precisão”. Não conseguimos verificar essa citação. Não use essas porcentagens como referência sem o estudo original, seu método de pontuação e sua amostra.

Mesmo um número com fonte pode responder à pergunta errada. Uma taxa de erro por palavra não diz se um ouvinte entendeu um aviso. Uma parcela de erros com possíveis consequências clínicas não diz qual fração de todas as falas estava errada. Os estudos abaixo medem desfechos diferentes, então suas porcentagens não podem ser somadas ou ranqueadas como se fossem um único teste.

O que quatro comparações publicadas realmente encontraram

Esses artigos abrangem sistemas e contextos diferentes. Três comparam saídas diretamente; o estudo de linguagem figurada compara dois métodos de entrevista com os mesmos seis pacientes, então não isola o mecanismo de tradução em falas idênticas.

Erros clínicos: verifique o denominador

Feinberg e colegas começaram com 14 trechos reais da fala de médicos. Cada um foi traduzido para seis idiomas por um app em modo de voz e por intérpretes médicos qualificados, gerando 84 traduções em cada condição. A tabela mostra 28 traduções de IA clinicamente incorretas contra quatro traduções de intérpretes. O rascunho original chamou isso de “14 segmentos” sem explicar o denominador de 84 saídas, fazendo as porcentagens parecerem mais amplas ou mais restritas do que a comparação real. O desempenho também diferiu entre idiomas: a linha do espanhol registrou duas saídas do app clinicamente incorretas e zero saídas de intérpretes incorretas em 14 de cada. O resultado não deve ser aplicado a todo produto de IA ou idioma.

Significado e entrega podem divergir

No estudo LingualAI de Singh e colegas, clínicos bilíngues avaliaram áudio anonimizado de cenários roteirizados de otorrino em inglês–espanhol. Com uma margem de não inferioridade pré-especificada de 0.30 ponto em escalas de cinco pontos, o sistema interno atingiu o limite para terminologia (diferença 0.07) e adequação de significado (0.13), mas não para clareza (0.50). Fluência, prosódia e ritmo também ficaram abaixo da margem. A qualidade geral e a confiança clínica favoreceram os intérpretes. O estudo usou nove avaliadores com participação desigual e relatou concordância modesta entre avaliadores (alfa de Krippendorff 0.31). Foi uma simulação, não uma prova de desempenho em atendimento não roteirizado.

Fala de conferência e linguagem figurada

Fantinuoli e Prandi avaliaram cinco palestras de conferência usando uma estrutura focada em inteligibilidade e informatividade. Os intérpretes humanos pontuaram 84.84% contra 73.49% para a inteligibilidade da máquina; a saída da máquina pontuou 74.63% contra 72.82% para a informatividade humana. Essas são pontuações segundo a rubrica deste estudo, não uma “porcentagem de precisão” geral. Os autores alertam contra generalizações a partir do corpus pequeno.

Tougas e colegas estudaram linguagem figurada em entrevistas psiquiátricas. Seis pacientes tiveram uma entrevista mediada por um intérprete humano e outra em espanhol com interpretação assistida por IA. Ambos os métodos frequentemente renderam idiomatismos e outras expressões figuradas de forma imprecisa. Como as falas de origem diferiram entre as entrevistas, o estudo é útil para identificar um modo de falha difícil, não para uma pontuação limpa de precisão produto versus intérprete.

A qualidade do intérprete humano também precisa de definição

Flores e colegas analisaram 57 atendimentos de emergência pediátrica e registraram 1,884 erros de interpretação em condições com intérprete profissional, intérprete ad hoc e sem intérprete. Dezoito por cento desses erros tinham possíveis consequências clínicas. As parcelas correspondentes foram 12% para intérpretes profissionais, 22% para intérpretes ad hoc e 20% sem intérprete. Esses números não são porcentagens de toda a fala traduzida corretamente.

Dentro do grupo profissional, a parcela de erros com possíveis consequências clínicas foi de 2% para intérpretes com pelo menos 100 horas de treinamento e de 12% para aqueles com menos horas. Essa associação não significa que qualquer dos grupos teve uma taxa geral de precisão de 98% ou 88%. Significa que um comprador deve perguntar sobre treinamento e como erros com consequências são identificados, em vez de tratar “humano” como uma única referência uniforme.

Uma lista prática de avaliação

1. Combine com o contexto. Teste seus idiomas reais, dialetos, qualidade de áudio, alternância de turnos e vocabulário técnico. Um diálogo roteirizado de otorrino não estabelece desempenho em conferências ou emergências.
2. Defina o denominador. Conte separadamente as falas de origem, as saídas traduzidas, os erros detectados e os erros com consequências.
3. Avalie mais do que palavras. Peça a revisores bilíngues qualificados que avaliem terminologia, significado preservado, inteligibilidade, omissões e consequências, de preferência sem saber a origem de cada saída.
4. Registre os caminhos de correção. Decida quando um participante pode contestar uma legenda, pausar, repetir uma declaração ou chamar um intérprete qualificado.
5. Relate a incerteza. Informe o tamanho da amostra e os resultados específicos por idioma; não transforme um experimento pequeno em uma garantia para todos os idiomas.

Para métricas de ferramenta de IA, veja nosso guia de precisão de tradução em tempo real. Para um registro escrito em vez de fala multilíngue ao vivo, veja a comparação de precisão de transcrição. Essas páginas respondem a perguntas diferentes de contratar um intérprete humano.

Onde o MirrorCaption se encaixa

O MirrorCaption oferece transcrição e tradução ao vivo para que as pessoas possam inspecionar o texto original e o traduzido lado a lado. O Speak Translations pode ler em voz alta a fala traduzida. Esses recursos podem ajudar em reuniões e conversas comuns, mas os estudos deste artigo não avaliaram o MirrorCaption. O produto não é um intérprete humano qualificado nem um serviço de interpretação clínica.

Para decisões clínicas e outras conversas de alto risco, providencie um intérprete devidamente qualificado por meio do processo de acesso linguístico da organização relevante. A orientação de acesso linguístico do HHS descreve intérpretes qualificados e regras separadas para documentos traduzidos por máquina; estas últimas não devem ser lidas como aprovação de interpretação de fala por IA sem supervisão. Verifique a política vigente e a comunicação específica antes de escolher um fluxo de trabalho.

Perguntas frequentes

Quão precisa é a interpretação por IA em comparação com um intérprete humano?

Não existe uma única porcentagem transferível. Os resultados publicados variam conforme o sistema, o idioma, a tarefa e o método de pontuação. Em um estudo roteirizado em inglês–espanhol, a IA atingiu um limite de significado e terminologia, mas não os limites de clareza e entrega da fala; um teste clínico de fala em seis idiomas separado encontrou mais saídas clinicamente incorretas em seu app do que em intérpretes qualificados.

De onde vem a estatística de 82–88% para IA versus 98–99% para humanos?

Um artigo do setor atribui esse par a um estudo de NLP de Stanford sem vincular o estudo ou definir precisão. Não conseguimos verificar a fonte. Peça o artigo original e o método de pontuação antes de citar os números.

Intérpretes humanos treinados têm 99% de precisão?

O estudo de Flores não relata uma taxa geral de precisão de 99%. Ele constatou que 18% dos 1,884 erros de interpretação registrados tinham possíveis consequências clínicas; entre intérpretes profissionais, a parcela de erros com possíveis consequências variou conforme as horas de treinamento.

A IA pode substituir um intérprete qualificado em uma consulta médica?

Esses estudos não estabelecem que isso seja possível. Use o processo de acesso linguístico da organização de saúde para comunicação clínica com consequências. A IA pode ajudar quando apropriado, com um caminho claro para interpretação humana qualificada e revisão.

Como uma equipe deve comparar interpretação por IA e humana?

Teste os idiomas e as tarefas reais de que você precisa. Relate o número de falas de origem e de saídas, avalie significado e inteligibilidade separadamente, identifique erros com consequências e documente como um participante obtém uma correção ou um intérprete qualificado.