与人工口译员相比,AI 口译的准确度有多高?已发表的对比研究并不会给出一个可通用的百分比。其结果取决于语言对、任务是实时语音还是录音材料、由谁来口译,以及评估者是否统计错误词、表达不清,或可能改变决策的错误。
要点总结
- 在使用任何 AI 对比人工的准确率数字前,先确认任务、分母和错误定义。
- 一项2026 年模拟英西临床研究发现,其内部 AI 在术语和含义上不劣于人工,但在清晰度或语音传达上并非如此。
- 在另一项六语言临床语音对比中,84 个 AI 输出里有 28 个出现临床错误翻译,而 84 个口译员输出里有 4 个。这些结果只适用于该应用和样本,并不是通用的 AI 准确率。
- 人工表现也会波动。在57 次儿科急诊接诊中,培训情况与可能产生临床后果的口译错误占比有关。
为什么单一准确率百分比会误导人
一篇行业文章引用 AI 为 82–88%、人工口译员为 98–99%,却把这组数字归因于一项 Stanford NLP 研究,既没有链接原文,也没有定义“准确率”。我们无法核实这一引用。若没有原始研究、评分方法和样本,不要把这些百分比当作基准。
即便是有来源的数字,也可能回答错问题。词级错误率并不能告诉你听者是否理解了警示。可能产生临床后果的错误占比,也不能告诉你所有发言中有多少是错的。下面这些研究衡量的是不同结果,因此它们的百分比不能像同一项测试那样合并或排名。
对照原文查看译文
MirrorCaption 将实时转写与翻译并排显示。
四项已发表对比研究究竟发现了什么
这些论文涵盖不同系统和场景。其中三项是直接比较输出;那项比喻语言研究则比较了同样六位患者的两种访谈方式,因此并不能在相同语句上单独分离出翻译引擎的表现。
| 研究 | 任务与样本 | 发现 | 局限 |
|---|---|---|---|
| Feinberg 等,2026 | 14 段录制的医生语音片段翻译成六种语言;每种条件下 84 个输出 | 临床错误:AI 应用 28/84(33.3%);合格口译员 4/84(4.8%) | 对一款消费级应用的探索性测试;源材料较少 |
| Singh 等,2026 | 由九名双语临床医生评分的脚本化英西耳鼻喉对话 | LingualAI 在术语和含义上达到非劣效阈值,但在清晰度、流畅度、韵律或节奏上没有达到 | 内部系统;模拟接诊且评分者一致性一般 |
| Fantinuoli & Prandi,2021 | 五场会议演讲;机器输出与专业同声传译员 | 人类在可理解性上得分更高;机器输出在信息量上略高 | 语料规模小;不是临床安全测试 |
| Tougas 等,2022 | 六位患者分别接受两种不同精神科访谈方式的访谈 | 两种方式都经常把比喻性语言翻译得不准确 | 访谈不同,且为小型便利样本 |
临床错误:先看分母
Feinberg 及其同事先从 14 段真实医生语音片段开始。每段都由一款语音模式应用和合格医学口译员翻译成六种语言,因此每种条件下各有 84 个译文。表格显示,AI 有 28 个临床错误译文,而口译员有 4 个。原始草稿只写“14 段”,却没有解释 84 个输出这个分母,这会让百分比看起来比实际比较更宽或更窄。不同语言之间的表现也不同:西班牙语一行记录为每组 14 个中,应用有 2 个临床错误输出,口译员为 0 个。这个结果不应套用于所有 AI 产品或所有语言。
含义与传达可能并不一致
在Singh 及其同事的 LingualAI 研究中,双语临床医生对脚本化英西耳鼻喉场景的匿名音频进行评分。研究预先设定五分量表上 0.30 分的非劣效界值后,这套内部系统在术语(差值 0.07)和意义充分性(0.13)上达标,但在清晰度(0.50)上未达标。流畅度、韵律和节奏也都未达到该界值。总体质量和临床信心更偏向口译员。该研究使用了九名评分者,参与程度不均,并报告了中等偏低的评分者一致性(Krippendorff’s alpha 0.31)。这是一项模拟研究,并不能证明其在非脚本化医疗场景中的表现。
会议演讲与比喻语言
Fantinuoli 和 Prandi使用一个侧重可理解性和信息量的框架评估了五场会议演讲。人类口译员在可理解性上得分为 84.84%,机器为 73.49%;机器输出在信息量上得分为 74.63%,人类为 72.82%。这些是该研究评分标准下的分数,不是通用的“准确率百分比”。作者提醒不要从这个小语料库推而广之。
Tougas 及其同事研究了精神科访谈中的比喻语言。六位患者中,一次访谈由人工口译员介入,另一次则在 AI 辅助口译下以西班牙语进行。两种方式都经常把习语和其他比喻表达翻译得不准确。由于两次访谈的源语句并不相同,这项研究适合用来发现一种棘手的失败模式,而不适合用来得出干净的产品对口译员准确率分数。
人工口译质量也需要定义
Flores 及其同事分析了 57 次儿科急诊接诊,并在专业口译、临时口译和无口译三种条件下记录了 1,884 个口译错误。其中 18% 的错误可能带来临床后果。相应比例在专业口译员中为 12%,临时口译员为 22%,无口译时为 20%。这些数字并不是所有被正确翻译语句的百分比。
在专业组内,具有潜在临床后果的错误占比在接受至少 100 小时培训的口译员中为 2%,而培训少于此时长者为 12%。这一关联并不意味着任一组的总体准确率是 98% 或 88%。它确实说明,买方应询问培训情况以及如何识别有后果的错误,而不是把“人工”当作一个统一基线。
实用评估清单
- 匹配场景。 测试你实际需要的语言、方言、音频质量、轮次切换和专业术语。脚本化耳鼻喉对话并不能证明会议或急诊表现。
- 定义分母。 分别统计源语句、译文输出、检测到的错误和有后果的错误。
- 评分不止看词语。 让合格的双语评审分别评估术语、含义保留、可理解性、遗漏和后果,最好不要让他们知道每个输出的来源。
- 记录纠错路径。 事先决定参与者何时可以质疑字幕、暂停、重复陈述,或请来合格口译员。
- 报告不确定性。 说明样本量和各语言结果;不要把小型实验变成适用于所有语言的保证。
关于 AI 工具之间的指标,请参阅我们的实时翻译准确率指南。如果你需要的是书面记录而非实时跨语言语音,请参阅转写准确率对比。这些页面回答的问题与是否配备人工口译员不同。
MirrorCaption 的定位
MirrorCaption 提供实时转写和翻译,方便人们并排查看原文和译文。Speak Translations 可以朗读译文语音。这些功能有助于日常会议和对话,但本文所引用的研究并未评估 MirrorCaption。该产品不是合格的人类口译员,也不是临床口译服务。
对于临床决策和其他高风险对话,请按照相关机构的语言服务流程安排适当资质的口译员。HHS 语言服务指南说明了合格口译员以及机器翻译文件的单独规则;后者不应被理解为批准无人监督的 AI 语音口译。在选择工作流程前,请查看当前政策和具体沟通场景。
常见问题
与人工口译员相比,AI 口译的准确度有多高?
没有一个可通用的百分比。已发表结果因系统、语言、任务和评分方法而异。在一项脚本化英西研究中,AI 在意义和术语上达到阈值,但在清晰度和语音传达阈值上未达标;另一项六语言临床语音测试发现,该应用的临床错误输出多于合格口译员。
82–88% 的 AI 对比 98–99% 的人工统计来自哪里?
一篇行业文章把这组数字归因于一项 Stanford NLP 研究,却没有链接研究原文,也没有定义准确率。我们无法核实来源。在引用这些数字前,请先索要原始论文和评分方法。
受过培训的人类口译员准确率有 99% 吗?
Flores 研究并没有报告一个通用的 99% 准确率。它发现,在 1,884 个记录在案的口译错误中,有 18% 可能带来临床后果;在专业口译员中,具有潜在后果的错误占比会随培训时长而不同。
AI 能在医疗预约中取代合格口译员吗?
这些研究并不能证明它可以。对于有后果的临床沟通,请使用医疗机构的语言服务流程。在适当情况下,AI 可以提供辅助,但应保留通往合格人工口译和复核的明确路径。
团队应如何比较 AI 和人工口译?
测试你真正需要的语言和实际任务。报告源语句和输出数量,分别评估含义与可理解性,识别有后果的错误,并记录参与者如何获得纠正或合格口译员。