與人工口譯員相比,AI 口譯的準確度有多高?已發表的比較研究並沒有給出一個可通用的百分比。其結果取決於語言組合、任務是即時語音還是錄音內容、由誰進行口譯,以及評估者是否把錯字、表達不清或可能改變決策的錯誤算進去。
重點摘要
- 在使用任何 AI 與人工的準確度數字之前,先確認任務、分母與錯誤定義。
- 一項 2026 年模擬英語—西班牙語臨床研究發現,其內部 AI 在術語與語意上達到不劣於人工的標準,但在清晰度或語音表達上沒有達標。
- 在另一項 六語言臨床語音比較中,84 份 AI 輸出有 28 份出現臨床上錯誤的翻譯,而 84 份口譯員輸出中有 4 份。這些是該應用程式與樣本的結果,不是通用的 AI 準確率。
- 人工表現也會有差異。在 57 次兒科急診會診中,訓練與可能具有臨床後果的口譯錯誤占比有關。
為什麼單一準確率會誤導人
一篇 產業文章引用 AI 為 82–88%、人工口譯員為 98–99%,並把這組數字歸因於一項 Stanford NLP 研究,卻沒有附上連結或定義「準確度」。我們無法驗證那個引用。若沒有原始研究、評分方法與樣本,不要把那些百分比當作基準。
即使是有來源的數字,也可能回答錯誤的問題。逐字錯誤率無法告訴你聽者是否理解了警示。具有潛在臨床後果的錯誤占比,也無法告訴你所有發話中有多少比例出錯。以下研究衡量的是不同結果,因此它們的百分比不能像同一個測驗一樣合併或排名。
請將原文與翻譯並排檢視
MirrorCaption 可並排顯示即時轉錄與翻譯。
四項已發表比較實際發現了什麼
這些論文涵蓋不同的系統與情境。三篇是直接比較輸出;那篇比喻語言研究則比較同樣六位病人的兩種訪談方式,因此無法在相同語句上單獨分離出翻譯引擎的表現。
| 研究 | 任務與樣本 | 發現 | 限制 |
|---|---|---|---|
| Feinberg 等人,2026 | 14 段錄製的醫師語音片段翻譯成六種語言;每種條件 84 份輸出 | 臨床上錯誤:AI 應用程式 28/84(33.3%);合格口譯員 4/84(4.8%) | 單一消費級應用程式的探索性測試;來源集較小 |
| Singh 等人,2026 | 由九位雙語臨床醫師評分的英語—西班牙語耳鼻喉科腳本對話 | LingualAI 在術語與語意上達到不劣於人工的門檻,但在清晰度、流暢度、韻律或節奏上沒有達標 | 內部系統;模擬會診且評分者一致性中等 |
| Fantinuoli & Prandi,2021 | 五場會議演講;機器輸出與專業同步口譯員 | 人工在可理解度上得分較高;機器輸出在資訊量上略高 | 語料規模小;不是臨床安全測試 |
| Tougas 等人,2022 | 六位病人各接受兩種不同精神科訪談方式的訪談 | 兩種方式都經常把比喻語言翻譯得不準確 | 不同訪談與小型便利樣本 |
臨床錯誤:先看分母
Feinberg 及其同事先從 14 段真實醫師語音片段開始。每一段都由一個語音模式的應用程式與合格醫療口譯員翻譯成六種語言,因此每種條件各有 84 份翻譯。表格顯示 AI 有 28 份臨床上錯誤的翻譯,而口譯員有 4 份。原始草稿只寫「14 段片段」,卻沒有說明 84 份輸出的分母,讓百分比看起來比實際比較更廣或更窄。不同語言之間的表現也不同:西班牙語那一列在各 14 份輸出中,AI 有 2 份臨床上錯誤,口譯員為 0 份。這個結果不應套用到每一款 AI 產品或每一種語言。
語意與表達可能分開表現
在 Singh 及其同事的 LingualAI 研究中,雙語臨床醫師評分了來自腳本化英語—西班牙語耳鼻喉科情境的匿名音訊。研究預先設定五分量表上 0.30 分的不劣於人工門檻,內部系統在術語(差異 0.07)與語意充分性(0.13)上達標,但在清晰度(0.50)上未達標。流暢度、韻律與節奏也未達門檻。整體品質與臨床信心則偏向人工口譯員。這項研究使用九位評分者,參與程度不均,且報告的評分者間一致性中等(Krippendorff’s alpha 0.31)。這是模擬研究,不是未經腳本的照護情境中表現的證明。
會議演講與比喻語言
Fantinuoli 與 Prandi使用一套聚焦於可理解度與資訊量的框架,評估五場會議演講。人工口譯員在可理解度上得分為 84.84%,機器可理解度為 73.49%;機器輸出的資訊量得分為 74.63%,人工為 72.82%。這些是依照本研究評分規準得到的分數,不是通用的「準確率百分比」。作者也提醒,不要從這個小型語料庫推論到一般情況。
Tougas 及其同事研究了精神科訪談中的比喻語言。六位病人中,一次訪談由人工口譯員協助,另一次則以 AI 輔助口譯進行西班牙語訪談。兩種方式都經常把慣用語與其他比喻表達翻譯錯誤。由於兩次訪談的原始語句不同,這項研究適合用來找出一種困難的失敗模式,而不是用來做出乾淨的產品對口譯員準確率分數。
人工口譯品質也需要明確定義
Flores 及其同事分析了 57 次兒科急診會診,並在專業口譯、臨時口譯與無口譯三種情況下記錄了 1,884 個口譯錯誤。其中 18% 的錯誤可能具有臨床後果。相對應的比例在專業口譯員為 12%,臨時口譯員為 22%,沒有口譯員時為 20%。這些數字不是所有被正確翻譯語句的百分比。
在專業口譯員組中,具有潛在臨床後果的錯誤占比,在受訓至少 100 小時的口譯員為 2%,受訓時數較少者為 12%。這種關聯並不表示任一組的整體準確率是 98% 或 88%。它確實表示,採購方應該詢問訓練情況,以及如何辨識具後果性的錯誤,而不是把「人工」當成單一且一致的基準。
實用評估清單
- 配合情境。 測試你實際需要的語言、方言、音訊品質、輪替方式與專業術語。腳本化的耳鼻喉科對話,不能證明會議或急診表現。
- 定義分母。 分別計算原始發話、翻譯輸出、偵測到的錯誤與具後果性的錯誤。
- 評分不只看字詞。 讓合格的雙語審查者評估術語、語意保留、可理解度、遺漏與後果,最好不要讓他們知道每份輸出的來源。
- 記錄更正流程。 決定參與者何時可以質疑字幕、暫停、重述,或請來合格口譯員。
- 報告不確定性。 說明樣本數與各語言結果;不要把小型實驗變成適用所有語言的保證。
若要查看 AI 工具彼此之間的指標,請參閱我們的 即時翻譯準確度指南。若要看書面紀錄而非即時跨語言語音,請參閱 轉錄準確度比較。這些頁面回答的問題,與安排人工口譯員不同。
MirrorCaption 的定位
MirrorCaption 提供即時轉錄與翻譯,讓人們可以並排檢視原文與譯文。Speak Translations 可以朗讀翻譯後的語音。這些功能有助於一般會議與對話,但本文引用的研究並未評估 MirrorCaption。這項產品不是合格的人類口譯員,也不是臨床口譯服務。
對於臨床決策與其他高風險對話,請依相關機構的語言服務流程安排適當資格的口譯員。HHS 語言服務指引說明了合格口譯員,以及機器翻譯文件的不同規則;後者不應被解讀為對未經監督的 AI 語音口譯的認可。請在選擇工作流程前,確認最新政策與特定溝通情境。
常見問題
與人工口譯員相比,AI 口譯的準確度有多高?
沒有一個可通用的百分比。已發表的結果會因系統、語言、任務與評分方法而異。在一項腳本化英語—西班牙語研究中,AI 在語意與術語上達到門檻,但在清晰度與語音表達門檻上未達標;另一項六語言臨床語音測試則發現,該應用程式的臨床錯誤輸出多於合格口譯員。
82–88% 的 AI 對 98–99% 的人工數字是從哪裡來的?
一篇產業文章把這組數字歸因於一項 Stanford NLP 研究,卻沒有附上研究連結或定義準確度。我們無法驗證來源。在引用這些數字之前,請先索取原始論文與評分方法。
受過訓練的人類口譯員有 99% 的準確度嗎?
Flores 研究並沒有報告一般性的 99% 準確率。它發現,在 1,884 個被記錄的口譯錯誤中,有 18% 可能具有臨床後果;在專業口譯員中,具有潛在後果的錯誤占比會因訓練時數而不同。
AI 能在醫療門診中取代合格口譯員嗎?
這些研究並未證明它可以。對於有後果的臨床溝通,請使用照護機構的語言服務流程。在適當情況下,AI 可以作為輔助,但仍應有明確途徑可轉接到合格的人類口譯與審查。
團隊應該如何比較 AI 與人工口譯?
測試你需要的語言與真實任務。報告原始發話與輸出的數量,分別評分語意與可理解度,辨識具後果性的錯誤,並記錄參與者如何取得更正或合格口譯員。