Độ chính xác AI so với Phiên dịch viên con người: Nghiên cứu đo gì

Độ chính xác của phiên dịch AI so với phiên dịch viên con người là bao nhiêu? Các so sánh đã công bố không đưa ra một tỷ lệ phần trăm nào có thể áp dụng chung. Kết quả của chúng phụ thuộc vào cặp ngôn ngữ, việc nhiệm vụ là lời nói trực tiếp hay tài liệu ghi âm, ai là người phiên dịch, và liệu người đánh giá có tính đến từ sai, cách truyền đạt không rõ ràng hay những lỗi có thể làm thay đổi một quyết định hay không.

Vì sao một tỷ lệ chính xác duy nhất lại gây hiểu lầm

Một bài viết trong ngành trích dẫn 82–88% cho AI và 98–99% cho phiên dịch viên con người, đồng thời gán cặp số này cho một nghiên cứu NLP của Stanford nhưng không dẫn liên kết hay định nghĩa “độ chính xác”. Chúng tôi không thể xác minh trích dẫn đó. Đừng dùng những tỷ lệ phần trăm này làm chuẩn nếu không có nghiên cứu gốc, phương pháp chấm điểm và mẫu của nó.

Ngay cả một con số có nguồn cũng có thể trả lời sai câu hỏi. Tỷ lệ lỗi ở cấp độ từ không cho bạn biết người nghe có hiểu một cảnh báo hay không. Tỷ lệ lỗi có thể gây hậu quả lâm sàng không cho bạn biết bao nhiêu phần trăm trong toàn bộ phát ngôn là sai. Các nghiên cứu dưới đây đo những kết quả khác nhau, nên các tỷ lệ phần trăm của chúng không thể gộp lại hay xếp hạng như thể chúng là cùng một bài kiểm tra.

Bốn so sánh đã công bố thực sự phát hiện điều gì

Các bài báo này bao quát những hệ thống và bối cảnh khác nhau. Ba bài so sánh trực tiếp đầu ra; nghiên cứu về ngôn ngữ hình tượng so sánh hai phương pháp phỏng vấn với cùng sáu bệnh nhân, nên không tách riêng được công cụ dịch trên cùng các phát ngôn giống hệt nhau.

Lỗi lâm sàng: hãy kiểm tra mẫu số

Feinberg và các cộng sự bắt đầu với 14 đoạn lời nói thực tế của bác sĩ. Mỗi đoạn được dịch sang sáu ngôn ngữ bởi một ứng dụng ở chế độ giọng nói và bởi các phiên dịch viên y khoa đủ trình độ, tạo ra 84 bản dịch ở mỗi điều kiện. Bảng báo cáo 28 bản dịch AI sai về mặt lâm sàng so với bốn bản dịch của phiên dịch viên. Bản thảo gốc gọi đây là “14 đoạn” mà không giải thích mẫu số 84 đầu ra, khiến các tỷ lệ phần trăm trông rộng hơn hoặc hẹp hơn so với so sánh thực tế. Hiệu suất cũng khác nhau giữa các ngôn ngữ: hàng tiếng Tây Ban Nha ghi nhận hai đầu ra ứng dụng sai về mặt lâm sàng và không có đầu ra nào của phiên dịch viên sai, trên tổng số 14 ở mỗi bên. Kết quả này không nên áp dụng cho mọi sản phẩm AI hay mọi ngôn ngữ.

Ý nghĩa và cách truyền đạt có thể khác nhau

Trong nghiên cứu LingualAI của Singh và cộng sự, các bác sĩ lưỡng ngữ chấm điểm âm thanh đã ẩn danh từ các kịch bản ENT Anh–Tây Ban Nha theo mẫu. Với biên không kém hơn 0.30 điểm được xác định trước trên thang năm điểm, hệ thống nội bộ đạt ngưỡng về thuật ngữ (chênh lệch 0.07) và mức độ đầy đủ của ý nghĩa (0.13), nhưng không đạt về độ rõ ràng (0.50). Độ trôi chảy, ngữ điệu và nhịp độ cũng không đạt biên này. Chất lượng tổng thể và sự tin cậy lâm sàng nghiêng về phía phiên dịch viên. Nghiên cứu dùng chín người chấm với mức tham gia không đồng đều và báo cáo mức độ đồng thuận giữa các người chấm ở mức vừa phải (alpha của Krippendorff 0.31). Đây là mô phỏng, không phải bằng chứng về hiệu suất trong chăm sóc không theo kịch bản.

Lời nói hội nghị và ngôn ngữ hình tượng

Fantinuoli và Prandi đánh giá năm bài phát biểu hội nghị bằng một khung tập trung vào khả năng dễ hiểu và mức độ cung cấp thông tin. Phiên dịch viên con người đạt 84.84% so với 73.49% về khả năng dễ hiểu của máy; đầu ra máy đạt 74.63% so với 72.82% về mức độ cung cấp thông tin của con người. Đây là các điểm số theo thang chấm của nghiên cứu này, không phải một “tỷ lệ chính xác” chung. Các tác giả cảnh báo không nên khái quát hóa từ kho dữ liệu nhỏ.

Tougas và các cộng sự nghiên cứu ngôn ngữ hình tượng trong các cuộc phỏng vấn tâm thần. Sáu bệnh nhân có một cuộc phỏng vấn qua phiên dịch viên con người và một cuộc phỏng vấn khác bằng tiếng Tây Ban Nha với phiên dịch hỗ trợ AI. Cả hai phương pháp đều thường xuyên chuyển các thành ngữ và các biểu đạt hình tượng khác một cách không chính xác. Vì các phát ngôn nguồn khác nhau giữa các cuộc phỏng vấn, nghiên cứu này hữu ích để tìm ra một kiểu lỗi khó, chứ không phải để có một điểm số chính xác sạch giữa sản phẩm và phiên dịch viên.

Chất lượng của phiên dịch viên con người cũng cần được định nghĩa

Flores và các cộng sự phân tích 57 cuộc gặp cấp cứu nhi khoa và ghi nhận 1,884 lỗi phiên dịch trong các điều kiện có phiên dịch viên chuyên nghiệp, phiên dịch viên tình huống và không có phiên dịch viên. Mười tám phần trăm trong số các lỗi đó có thể gây hậu quả lâm sàng. Các tỷ lệ tương ứng là 12% đối với phiên dịch viên chuyên nghiệp, 22% đối với phiên dịch viên tình huống và 20% khi không có phiên dịch viên. Những con số này không phải là tỷ lệ phần trăm của toàn bộ lời nói được dịch đúng.

Trong nhóm phiên dịch viên chuyên nghiệp, tỷ lệ lỗi có thể gây hậu quả lâm sàng là 2% đối với những phiên dịch viên có ít nhất 100 giờ đào tạo và 12% đối với những người có ít giờ hơn. Mối liên hệ này không có nghĩa là một trong hai nhóm có tỷ lệ chính xác tổng thể 98% hay 88%. Nó có nghĩa là người mua nên hỏi về đào tạo và cách xác định các lỗi có hậu quả, thay vì coi “con người” là một chuẩn nền đồng nhất.

Danh sách kiểm tra đánh giá thực tế

1. Khớp với bối cảnh. Kiểm tra đúng ngôn ngữ, phương ngữ, chất lượng âm thanh, cách luân phiên lượt nói và thuật ngữ kỹ thuật mà bạn thực sự dùng. Một đoạn hội thoại ENT theo kịch bản không chứng minh được hiệu suất trong hội nghị hay cấp cứu.
2. Xác định mẫu số. Đếm riêng số phát ngôn nguồn, đầu ra đã dịch, lỗi được phát hiện và lỗi có hậu quả.
3. Chấm nhiều hơn là từ ngữ. Hãy để các người đánh giá song ngữ đủ trình độ xem xét thuật ngữ, ý nghĩa được giữ nguyên, khả năng dễ hiểu, phần bị bỏ sót và hậu quả, tốt nhất là không biết nguồn của từng đầu ra.
4. Ghi lại các đường xử lý sửa lỗi. Quyết định khi nào người tham gia có thể phản đối một phụ đề, tạm dừng, lặp lại một phát biểu hoặc mời một phiên dịch viên đủ trình độ.
5. Báo cáo độ không chắc chắn. Nêu rõ cỡ mẫu và kết quả theo từng ngôn ngữ; đừng biến một thí nghiệm nhỏ thành lời bảo đảm cho mọi ngôn ngữ.

Đối với các chỉ số công cụ AI với công cụ AI, xem hướng dẫn độ chính xác dịch theo thời gian thực của chúng tôi. Đối với bản ghi chép thay vì lời nói trực tiếp xuyên ngôn ngữ, xem so sánh độ chính xác chép lời. Những trang đó trả lời các câu hỏi khác với việc bố trí một phiên dịch viên con người.

MirrorCaption phù hợp ở đâu

MirrorCaption cung cấp chép lời và dịch trực tiếp để mọi người có thể xem bản gốc và bản dịch cạnh nhau. Speak Translations có thể đọc to lời đã dịch. Những tính năng này có thể hữu ích trong các cuộc họp và trò chuyện thông thường, nhưng các nghiên cứu trong bài này không đánh giá MirrorCaption. Sản phẩm này không phải là phiên dịch viên con người đủ trình độ hay một dịch vụ phiên dịch lâm sàng.

Đối với các quyết định lâm sàng và những cuộc trò chuyện có mức độ rủi ro cao khác, hãy sắp xếp một phiên dịch viên đủ trình độ phù hợp theo quy trình tiếp cận ngôn ngữ của tổ chức liên quan. Hướng dẫn tiếp cận ngôn ngữ của HHS mô tả phiên dịch viên đủ trình độ và các quy tắc riêng cho tài liệu được dịch bằng máy; phần sau không nên được hiểu là sự chấp thuận cho phiên dịch lời nói bằng AI không có giám sát. Hãy kiểm tra chính sách hiện hành và tình huống giao tiếp cụ thể trước khi chọn quy trình làm việc.

Câu hỏi thường gặp

Độ chính xác của phiên dịch AI so với phiên dịch viên con người là bao nhiêu?

Không có một tỷ lệ phần trăm nào có thể áp dụng chung. Kết quả đã công bố khác nhau theo hệ thống, ngôn ngữ, nhiệm vụ và phương pháp chấm điểm. Trong một nghiên cứu Anh–Tây Ban Nha theo kịch bản, AI đạt ngưỡng về ý nghĩa và thuật ngữ nhưng không đạt ngưỡng về độ rõ ràng và cách truyền đạt lời nói; một bài kiểm tra lời nói lâm sàng bằng sáu ngôn ngữ riêng biệt lại phát hiện nhiều đầu ra sai về mặt lâm sàng hơn từ ứng dụng của nó so với từ các phiên dịch viên đủ trình độ.

Con số 82–88% cho AI so với 98–99% cho con người đến từ đâu?

Một bài viết trong ngành gán cặp số này cho một nghiên cứu NLP của Stanford mà không dẫn liên kết nghiên cứu hay định nghĩa độ chính xác. Chúng tôi không thể xác minh nguồn đó. Hãy yêu cầu bài báo gốc và phương pháp chấm điểm trước khi trích dẫn các con số này.

Phiên dịch viên con người được đào tạo có chính xác 99% không?

Nghiên cứu của Flores không báo cáo một tỷ lệ chính xác chung 99%. Nghiên cứu cho thấy 18% trong số 1,884 lỗi phiên dịch được ghi nhận có thể gây hậu quả lâm sàng; trong nhóm phiên dịch viên chuyên nghiệp, tỷ lệ lỗi có thể gây hậu quả khác nhau theo số giờ đào tạo.

AI có thể thay thế phiên dịch viên đủ trình độ trong một cuộc hẹn y tế không?

Các nghiên cứu này không chứng minh rằng nó có thể. Hãy dùng quy trình tiếp cận ngôn ngữ của tổ chức chăm sóc cho giao tiếp lâm sàng có hậu quả. AI có thể hỗ trợ khi phù hợp, với một lộ trình rõ ràng để có phiên dịch viên con người đủ trình độ và xem xét lại.

Nhóm nên so sánh phiên dịch AI và phiên dịch con người như thế nào?

Hãy kiểm tra các ngôn ngữ và nhiệm vụ thực tế mà bạn cần. Báo cáo số lượng phát ngôn nguồn và đầu ra, chấm riêng ý nghĩa và khả năng dễ hiểu, xác định các lỗi có hậu quả, và ghi lại cách một người tham gia nhận được sửa lỗi hoặc một phiên dịch viên đủ trình độ.