Precisión de la IA vs intérprete humano: qué miden los estudios

¿Qué precisión tiene la interpretación con IA en comparación con un intérprete humano? Las comparaciones publicadas no ofrecen un único porcentaje transferible. Sus resultados dependen del par de idiomas, de si la tarea es habla en directo o material grabado, de quién interpreta y de si el evaluador cuenta palabras incorrectas, una entrega poco clara o errores que podrían cambiar una decisión.

Por qué un único porcentaje de precisión induce a error

Un artículo del sector cita 82–88% para la IA y 98–99% para intérpretes humanos, atribuyendo la pareja a un estudio de NLP de Stanford sin enlazarlo ni definir “precisión”. No pudimos verificar esa cita. No uses esos porcentajes como referencia sin el estudio original, su método de puntuación y su muestra.

Incluso una cifra bien citada puede responder a la pregunta equivocada. Una tasa de error a nivel de palabra no te dice si un oyente entendió una advertencia. La proporción de errores con posibles consecuencias clínicas no te dice qué parte de todas las intervenciones fue incorrecta. Los estudios siguientes miden resultados distintos, así que sus porcentajes no pueden agruparse ni ordenarse como si fueran una sola prueba.

Qué encontraron realmente cuatro comparaciones publicadas

Estos artículos cubren sistemas y contextos distintos. Tres comparan salidas directamente; el estudio sobre lenguaje figurado compara dos métodos de entrevista con los mismos seis pacientes, así que no aísla el motor de traducción sobre enunciados idénticos.

Errores clínicos: comprueba el denominador

Feinberg y sus colegas partieron de 14 segmentos reales de habla médica. Cada uno se tradujo a seis idiomas mediante una app en modo voz y por intérpretes médicos cualificados, lo que dio 84 traducciones en cada condición. La tabla informa de 28 traducciones de IA clínicamente incorrectas frente a cuatro traducciones de intérpretes. El borrador original llamó a esto “14 segmentos” sin explicar el denominador de 84 salidas, haciendo que los porcentajes parecieran más amplios o más estrechos de lo que era la comparación real. El rendimiento también difirió entre idiomas: la fila en español registró dos salidas de la app clínicamente incorrectas y cero salidas de intérprete incorrectas de 14 en cada caso. El resultado no debe aplicarse a todos los productos de IA ni a todos los idiomas.

El significado y la entrega pueden divergir

En el estudio LingualAI de Singh y sus colegas, clínicos bilingües valoraron audio anonimizado de escenarios guionizados de ORL en inglés-español. Con un margen de no inferioridad preespecificado de 0.30 puntos en escalas de cinco puntos, el sistema interno cumplió el umbral para terminología (diferencia 0.07) y adecuación del significado (0.13), pero no para claridad (0.50). La fluidez, la prosodia y el ritmo también quedaron fuera del margen. La calidad global y la confianza clínica favorecieron a los intérpretes. El estudio utilizó nueve evaluadores con participación desigual e informó de un acuerdo interevaluador modesto (alfa de Krippendorff 0.31). Fue una simulación, no una prueba de rendimiento en atención no guionizada.

Habla de conferencias y lenguaje figurado

Fantinuoli y Prandi evaluaron cinco discursos de conferencia usando un marco centrado en la inteligibilidad y la informatividad. Los intérpretes humanos obtuvieron 84.84% frente a 73.49% de inteligibilidad de la máquina; la salida automática obtuvo 74.63% frente a 72.82% de informatividad humana. Estas son puntuaciones según la rúbrica de este estudio, no un “porcentaje de precisión” general. Los autores advierten contra generalizar a partir del corpus pequeño.

Tougas y sus colegas estudiaron el lenguaje figurado en entrevistas psiquiátricas. Seis pacientes tuvieron una entrevista mediada por un intérprete humano y otra en español con interpretación asistida por IA. Ambos métodos tradujeron con frecuencia de forma inexacta modismos y otras expresiones figuradas. Como los enunciados de origen diferían entre entrevistas, el estudio es útil para detectar un modo de fallo difícil, no para obtener una puntuación limpia de precisión producto frente a intérprete.

La calidad del intérprete humano también necesita una definición

Flores y sus colegas analizaron 57 encuentros de urgencias pediátricas y registraron 1,884 errores de interpretación en condiciones con intérprete profesional, intérprete ad hoc y sin intérprete. El 18% de esos errores tenía posibles consecuencias clínicas. Las proporciones correspondientes fueron 12% para intérpretes profesionales, 22% para intérpretes ad hoc y 20% sin intérprete. Estas cifras no son porcentajes de todo el habla traducida correctamente.

Dentro del grupo profesional, la proporción de errores con posibles consecuencias clínicas fue del 2% para intérpretes con al menos 100 horas de formación y del 12% para quienes tenían menos horas. Esta asociación no significa que ninguno de los dos grupos tuviera una tasa global de precisión del 98% o del 88%. Sí significa que un comprador debería preguntar por la formación y por cómo se identifican los errores con consecuencias, en lugar de tratar “humano” como una única referencia uniforme.

Una lista práctica de evaluación

1. Adapta el contexto. Prueba tus idiomas reales, dialectos, calidad de audio, turnos de palabra y vocabulario técnico. Un diálogo guionizado de ORL no demuestra rendimiento en conferencias o urgencias.
2. Define el denominador. Cuenta por separado los enunciados de origen, las salidas traducidas, los errores detectados y los errores con consecuencias.
3. Evalúa algo más que palabras. Haz que revisores bilingües cualificados valoren la terminología, el significado preservado, la inteligibilidad, las omisiones y las consecuencias, preferiblemente sin saber el origen de cada salida.
4. Registra las vías de corrección. Decide cuándo un participante puede impugnar un subtítulo, pausar, repetir una afirmación o incorporar a un intérprete cualificado.
5. Informa de la incertidumbre. Indica el tamaño de la muestra y los resultados específicos por idioma; no conviertas un experimento pequeño en una garantía para todos los idiomas.

Para métricas de herramienta de IA frente a herramienta de IA, consulta nuestra guía de precisión de traducción en tiempo real. Para un registro escrito en lugar de habla multilingüe en directo, consulta la comparación de precisión de transcripción. Esas páginas responden a preguntas distintas de la contratación de un intérprete humano.

Dónde encaja MirrorCaption

MirrorCaption ofrece transcripción y traducción en directo para que las personas puedan revisar el original y el texto traducido uno al lado del otro. Speak Translations puede leer en voz alta el habla traducida. Estas funciones pueden ayudar en reuniones y conversaciones ordinarias, pero los estudios de este artículo no evaluaron MirrorCaption. El producto no es un intérprete humano cualificado ni un servicio de interpretación clínica.

Para decisiones clínicas y otras conversaciones de alto riesgo, organiza un intérprete debidamente cualificado según el proceso de acceso lingüístico de la organización correspondiente. La guía de acceso lingüístico del HHS describe a los intérpretes cualificados y normas separadas para documentos traducidos automáticamente; estas últimas no deben leerse como una aprobación de la interpretación oral con IA sin supervisión. Comprueba la política vigente y la comunicación concreta antes de elegir un flujo de trabajo.

Preguntas frecuentes

¿Qué precisión tiene la interpretación con IA en comparación con un intérprete humano?

No existe un único porcentaje transferible. Los resultados publicados difieren según el sistema, el idioma, la tarea y el método de puntuación. En un estudio guionizado de inglés-español, la IA cumplió un umbral de significado y terminología, pero no los umbrales de claridad y entrega del habla; una prueba clínica de habla en seis idiomas aparte encontró más salidas clínicamente incorrectas en su app que en intérpretes cualificados.

¿De dónde sale la estadística del 82–88% de la IA frente al 98–99% humano?

Un artículo del sector atribuye esa pareja a un estudio de NLP de Stanford sin enlazar el estudio ni definir la precisión. No pudimos verificar la fuente. Pide el artículo original y el método de puntuación antes de citar las cifras.

¿Son 99% precisos los intérpretes humanos formados?

El estudio de Flores no informa de una tasa general de precisión del 99%. Encontró que el 18% de 1,884 errores de interpretación registrados tenía posibles consecuencias clínicas; entre los intérpretes profesionales, la proporción de errores con posibles consecuencias difería según las horas de formación.

¿Puede la IA sustituir a un intérprete cualificado en una cita médica?

Estos estudios no establecen que pueda hacerlo. Usa el proceso de acceso lingüístico de la organización asistencial para la comunicación clínica con consecuencias. La IA puede ayudar cuando sea apropiado, con una vía clara hacia la interpretación humana cualificada y la revisión.

¿Cómo debe comparar un equipo la interpretación con IA y la humana?

Prueba los idiomas y las tareas reales que necesitas. Informa del número de enunciados de origen y de salidas, puntúa por separado el significado y la inteligibilidad, identifica los errores con consecuencias y documenta cómo un participante obtiene una corrección o un intérprete cualificado.