Dịch cuộc họp theo thời gian thực
chính xác đến đâu?

Các công cụ dịch cuộc họp theo thời gian thực đạt độ chính xác chuyển giọng nói thành văn bản 85–95% với âm thanh tiếng Anh sạch, và giảm xuống 65–80% trong các cuộc gọi đa ngôn ngữ có tiếng ồn nền. Dịch thuật thêm một biến số thứ hai: các cặp EN-ES và EN-FR đạt khoảng 88–92% trên các pipeline LLM hiện đại; EN-ZH và EN-JA giảm xuống 75–82%. Dưới đây là ý nghĩa thực tế của những con số đó, và cách bốn công cụ hàng đầu so sánh với nhau.

Ba phút sau khi cuộc gọi bắt đầu, khách hàng ở Tokyo của bạn nói 「ちょっと難しいです」. Phụ đề hiển thị: "Một chút khó." Bạn gật đầu và chuyển sang slide tiếp theo. Bốn mươi bảy phút sau, bạn mới biết họ thực ra muốn nói "Điều này sẽ không phù hợp với chúng tôi." Không phải lỗi dịch thuật. Chỉ là lỗi ngữ cảnh mà một mô hình độ chính xác tốt hơn có thể đã bắt được. Đó chính là khoảng trống mà bài viết này nói đến.

Các tuyên bố về độ chính xác xuất hiện ở khắp nơi. Các benchmark đã xác minh, dành riêng cho họp, bao phủ toàn bộ pipeline từ giọng nói đến văn bản rồi đến dịch thuật thì gần như không có. Chúng tôi đã chạy một cuộc gọi kinh doanh song ngữ EN+ZH dài 30 phút qua bốn công cụ lớn và kết hợp kết quả với dữ liệu công khai từ WMT 2024 và bộ dữ liệu thử thách CHiME-6. Đây là những gì chúng tôi tìm thấy.

Độ chính xác dịch theo thời gian thực được đo như thế nào

Word Error Rate: Benchmark cho STT

Word Error Rate (WER) đo tỷ lệ từ mà hệ thống nhận dạng giọng nói làm sai. WER 5% trên một câu 100 từ nghĩa là có 5 từ bị sai, thay thế hoặc thiếu. Các hệ thống hàng đầu đạt WER 5–8% trên âm thanh sạch, được kiểm soát. Âm thanh cuộc họp thì khó hơn.

Theo kết quả CHiME-6 trên dữ liệu cuộc họp tự nhiên, tiếng ồn nền, nhiều người nói, micro laptop và giọng không phải bản ngữ liên tục đẩy WER lên 15–25% trong điều kiện họp thực tế. Đó là khoảng cách giữa "phê duyệt ngân sách" và "chứng minh vết bầm", những lỗi mà phần dịch phía sau sẽ kế thừa.

STT streaming thêm một lớp nữa. Các hệ thống thời gian thực chốt các token tạm thời trước khi câu hoàn tất, rồi sửa lại khi có thêm âm thanh. Việc tự hiệu chỉnh từng từ đó khiến streaming có cảm giác nhanh, nhưng cũng có nghĩa là phụ đề ở giây thứ 2 có thể khác phụ đề ở giây thứ 4. Văn bản cuối cùng đã chốt là thứ các benchmark đo lường; bản đọc trực tiếp là thứ cuộc họp của bạn phụ thuộc vào.

Điểm BLEU và chất lượng dịch máy

Điểm BLEU (Bilingual Evaluation Understudy) đo mức độ bản dịch máy khớp với bản tham chiếu do con người tạo ra. Thang điểm từ 0 đến 100. Bất kỳ mức nào trên 50 đều được xem là mạnh; hầu hết hệ thống MT doanh nghiệp đạt 40–60 trên các cặp ngôn ngữ phổ biến tại WMT 2024.

EN-ES và EN-FR thường xuyên đạt 52–60 BLEU trên các pipeline LLM hiện đại. EN-ZH và EN-JA nằm ở mức 35–48, không phải vì dịch AI kém hơn, mà vì khác biệt cấu trúc (trật tự từ, không có khoảng trắng giữa các ký tự, nghĩa phụ thuộc ngữ cảnh) khiến việc chấm điểm tự động phạt những bản dịch hợp lệ nhưng không khớp từng từ với bản tham chiếu.

Có một điểm tinh tế quan trọng khi dùng theo thời gian thực: BLEU được tính ở cấp tài liệu. Dịch streaming làm việc trên các mảnh câu, đôi khi chỉ là từng từ. Chất lượng hiệu dụng ở cấp câu thường thấp hơn 10–15 điểm so với benchmark cấp tài liệu gợi ý. Những gì đạt điểm cao trong phòng lab thường gặp khó ở phút thứ tư của một cuộc gọi bán hàng tốc độ cao.

Vấn đề pipeline mà không ai nói tới

Dịch cuộc họp gồm hai bước: giọng nói thành văn bản, rồi văn bản thành bản dịch. Lỗi ở bước một lan sang bước hai. WER 10% nghĩa là khoảng một từ trong mười bị sai. Khi từ sai đó là tên riêng, con số, hoặc phủ định, "không được phê duyệt" thành "được phê duyệt", bản dịch sẽ kế thừa lỗi và thường còn khuếch đại nó.

Chúng tôi ước tính rằng WER STT 10% có thể tạo ra mức suy giảm ngữ nghĩa 20–30% ở đầu ra dịch đối với từ vựng kinh doanh, vì mô hình MT không có cách nào biết từ nguồn đã bị sai. Đó là lý do vì sao benchmark STT và MT tách rời nhau là bỏ lỡ vấn đề. Con số quan trọng là chất lượng pipeline kết hợp trên âm thanh cuộc họp thực tế.

5 yếu tố ảnh hưởng đến độ chính xác dịch theo thời gian thực

1. Chất lượng âm thanh và tiếng ồn nền

Tiếng ồn nền là yếu tố tác động lớn nhất đến độ chính xác, còn hơn cả việc chọn engine STT nào. Trong thử nghiệm của chúng tôi, chuyển từ tai nghe USB sang micro laptop tích hợp trong phòng yên tĩnh làm WER tăng 5–8 điểm phần trăm. Thêm tiếng ồn văn phòng mở điển hình đẩy mức đó lên cao hơn baseline 15–20 điểm.

Loa hội nghị trong phòng họp đặc biệt khó xử lý. Âm thanh phản xạ từ tường, nhiều người nói chồng lên nhau, và micro đặt xa từng người. WER trong các điều kiện này thường vượt 25% ngay cả với những engine STT mạnh nhất. Một chiếc tai nghe USB giá 30 € giúp cải thiện độ chính xác nhiều hơn việc nâng cấp lên công cụ cao cấp khi dùng micro kém.

2. Tốc độ nói và giọng vùng miền

Người nói nhanh, trên 180 từ mỗi phút, gây áp lực lên STT streaming vì bộ đệm không thể chốt đoạn trước khi luồng âm thanh tiếp theo đến. Độ chính xác với giọng nói nhanh giảm 5–10% so với tốc độ hội thoại bình thường. Giảm tốc 15–20% ở các điểm quan trọng là cách cải thiện độ chính xác dễ nhất mà không cần thay đổi phần mềm.

Tiếng Anh có giọng vùng miền cho thấy một mô hình tinh tế hơn. Các hệ thống STT lớn đã cải thiện đáng kể với các giọng không phải bản ngữ phổ biến trong hai năm qua. Các benchmark STT streaming của chúng tôi đặc biệt tốt với tiếng Anh có giọng châu Á so với Whisper, điều này phù hợp với trường hợp sử dụng chính của MirrorCaption là các cuộc họp EN-ZH và EN-JA. Giọng vùng miền nặng và việc chuyển ngôn ngữ giữa câu vẫn khó với tất cả hệ thống.

3. Độ khó của cặp ngôn ngữ

Không phải cặp nào cũng khó dịch theo thời gian thực như nhau:

• Cặp dễ (EN-ES, EN-FR, EN-DE, EN-PT): ~88–92% trên các pipeline GPT-4. Gốc từ vựng chung, cấu trúc câu tương tự, dữ liệu huấn luyện dồi dào.
• Cặp trung bình (EN-RU, EN-AR, EN-HI): ~80–86%. Hệ chữ khác nhau hoặc trật tự từ khác tạo ra mơ hồ; dữ liệu huấn luyện về từ vựng kinh doanh ít hơn.
• Cặp khó (EN-ZH, EN-JA, EN-KO): ~75–82%. Hệ chữ biểu ý hoặc chắp dính, không có khoảng trắng giữa các từ, hệ thống kính ngữ phong phú, và khác biệt cấu trúc đòi hỏi ngữ cảnh toàn câu để hiểu đúng.

Các hệ thống thời gian thực bị phạt nặng hơn ở các cặp khó vì chúng phải chốt bản dịch khi chỉ có ngữ cảnh một phần, làm việc từ một mảnh câu chứ không phải một phát ngôn hoàn chỉnh. Đây là nơi khoảng cách giữa streaming và batch lớn nhất.

4. Đánh đổi giữa streaming và batch

Các công cụ sau cuộc họp như Otter.ai xử lý toàn bộ âm thanh với ngữ cảnh đầy đủ của cả câu sau khi cuộc gọi kết thúc. Đó là lý do Otter đạt độ chính xác 90–95% trên tiếng Anh sạch, vì nó chờ mọi thứ trước khi chốt. Các công cụ streaming thời gian thực chốt trong vòng 500ms. Đó là sự đánh đổi, và là một đánh đổi có thật.

Nhưng hãy xem phương án thay thế. Priya phụ trách các cuộc gọi bán hàng xuyên biên giới giữa đội ngũ ở Mumbai và khách hàng doanh nghiệp Nhật Bản. Sau một cuộc gọi đặc biệt khó hiểu, cô bắt đầu dùng công cụ transcript sau cuộc họp. Nó cho cô một bản tóm tắt trau chuốt, chính xác về những gì đã đi sai từ trước đó. Phản đối về giá mà cô bỏ lỡ đã nằm trong transcript ở phút 12. Cô đọc nó ở phút 75, sau khi cuộc gọi đã kết thúc.

Một transcript chính xác 92% nhưng chỉ đến sau cuộc gọi thì không thể giúp bạn phản hồi phản đối về giá ở phút 12. Một phụ đề chính xác 84% xuất hiện khi người nói vẫn đang nói thì có thể. Độ chính xác không phải là chỉ số chính cho quyết định trực tiếp. Thời điểm mới là.

5. Đưa ngữ cảnh và từ vựng chuyên ngành vào mô hình

Các mô hình dịch LLM tổng quát gặp khó với từ vựng kinh doanh kỹ thuật, tên sản phẩm, thuật ngữ tài chính, cụm từ pháp lý. "Strike" có nghĩa khác nhau trong bóng chày, luật lao động và bowling; ngữ cảnh quyết định nghĩa nào đúng. Dịch một câu thường mặc định theo cách diễn đạt phổ biến nhất và dễ sai.

MirrorCaption đưa 3–5 đoạn hội thoại trước đó vào mỗi lần gọi dịch. Cửa sổ ngữ cảnh đó giúp mô hình biết bạn đang nói về "striking a deal" trong bối cảnh bán hàng hay "strike action" trong bối cảnh lao động. Kiểm thử nội bộ của chúng tôi cho thấy cách tiếp cận này cải thiện độ chính xác từ vựng chuyên ngành khoảng ~15–20% so với dịch một câu đơn lẻ trên cùng âm thanh. Việc đưa ngữ cảnh vào quan trọng nhất khi chuyển mã ngôn ngữ, khoảnh khắc người nói đổi từ ngôn ngữ này sang ngôn ngữ khác ngay giữa cuộc trò chuyện chính là nơi MT không có ngữ cảnh sụp đổ nhanh nhất.

Benchmark các công cụ dịch thời gian thực lớn trong năm 2026

Chất lượng dịch = pipeline STT+MT kết hợp trên âm thanh cuộc họp kinh doanh. Nguồn: kết quả shared task WMT 2024, dữ liệu thử thách CHiME-6, kiểm thử thực tế. Độ chính xác STT của Otter trên tiếng Anh sạch (sau xử lý) là ~90–95%, N/A phản ánh việc không có dịch thời gian thực, chứ không phải chất lượng STT.

Zoom AI Companion

Zoom AI Companion cung cấp dịch trực tiếp cho một tập hợp hạn chế các cặp ngôn ngữ, khoảng năm tổ hợp bao gồm EN-ES, EN-FR, EN-JA và EN-ZH. Độ chính xác STT trên tiếng Anh sạch khá cạnh tranh, khoảng 86–90% trong thử nghiệm của chúng tôi. Chất lượng dịch EN-ES khá tốt, khoảng 89%. EN-ZH giảm khi gặp từ vựng kinh doanh, đặc biệt là danh từ riêng và tên sản phẩm xuất hiện không nhất quán.

Ràng buộc lớn là bị khóa vào nền tảng. Zoom AI Companion chỉ hoạt động bên trong Zoom. Nếu đối tác của bạn dùng Teams, hoặc bạn đang trò chuyện trực tiếp với khách hàng, bạn cần một công cụ khác. Dịch thuật cũng yêu cầu các gói trả phí cụ thể, không có ở giấy phép cơ bản.

Google Meet Live Translation

Dịch trực tiếp của Google Meet nhanh, miễn phí trong Google Workspace, và mạnh với các cặp ngôn ngữ châu Âu phổ biến. Chất lượng EN-ES và EN-FR trong thử nghiệm của chúng tôi khoảng 88%. EN-ZH đạt 76–80% với các cụm kinh doanh chung, và giảm thêm với từ vựng kỹ thuật và danh từ riêng. Mô hình của Google mặc định theo cách diễn đạt phổ biến nhất của các cụm mơ hồ, gây ra vấn đề khi tên công ty hoặc thuật ngữ sản phẩm trùng với một từ tiếng Quan Thoại thông dụng.

Hạn chế chính là phụ đề chỉ tồn tại tạm thời. Không có transcript xuất được, không có gán người nói, và không có tóm tắt AI. Những gì xuất hiện trong cửa sổ phụ đề ba phút trước đã biến mất. Nếu bạn cần xem lại nội dung đã nói, tìm một cụm từ, hoặc chia sẻ bản ghi với đồng nghiệp không tham gia cuộc gọi, Google Meet không giúp được.

Otter.ai

Độ chính xác STT tiếng Anh sau cuộc họp của Otter.ai rất xuất sắc, 90–95% trên âm thanh sạch, tốt nhất trong danh sách này, vì nó chờ toàn bộ bản ghi trước khi chốt. Chất lượng thể hiện rõ. Transcript của Otter được trau chuốt và dễ đọc theo cách mà đầu ra streaming thời gian thực không có được.

Nhưng Otter không cung cấp dịch thời gian thực. Dịch thuật là một tiện ích bổ sung chạy sau cuộc họp, tạo ra phiên bản dịch của transcript tiếng Anh. Với bản tóm tắt nội bộ chỉ bằng tiếng Anh, Otter rất xuất sắc. Với một cuộc họp song ngữ nơi bạn cần phản hồi ngay những gì đang được nói, nó không giúp được. Xem phần so sánh MirrorCaption vs. Otter.ai đầy đủ để có đối chiếu tính năng chi tiết.

MirrorCaption (Streaming STT + GPT-4)

Pipeline của MirrorCaption chạy STT streaming WebSocket của chúng tôi cho phần phiên âm và GPT-4 cho phần dịch, với 3–5 đoạn hội thoại trước đó được đưa vào làm ngữ cảnh cho mỗi lần gọi. Độ trễ đầu-cuối dưới 500ms. Đầu ra từng từ xuất hiện khi người nói vẫn đang nói; các token tạm thời tự sửa khi có thêm ngữ cảnh.

Độ chính xác STT trong thử nghiệm của chúng tôi là ~88–92% trên âm thanh tiếng Anh sạch. Trên các đoạn EN+ZH có giọng pha, nó giảm xuống ~78–84%. Chất lượng dịch EN-ZH trên từ vựng kinh doanh: ~80–85%, thấp hơn các benchmark cụm từ riêng lẻ cho EN-ES, nhưng cao hơn trong ngữ cảnh kinh doanh nhiều lượt nói, nơi các đoạn trước đó có ý nghĩa. Hạn chế trung thực: với các cặp ngôn ngữ ít tài nguyên ngoài hơn 60 ngôn ngữ lớn được hỗ trợ, dịch dựa trên GPT không có đào tạo chuyên sâu theo miền như phần STT của chúng tôi ở phía âm thanh.

Tại sao các cặp ngôn ngữ châu Á cần một cách tiếp cận khác

Hiroshi quản lý một đội ngũ kỹ sư ở Tokyo báo cáo cho một trưởng nhóm sản phẩm ở Mỹ. Buổi họp đứng hàng tuần của họ diễn ra bằng tiếng Anh, ngôn ngữ thứ hai của Hiroshi, nói tốt nhưng không phải tiếng mẹ đẻ. Một ngày thứ Năm, trưởng nhóm ở Mỹ hỏi về thời hạn bàn giao tính năng. Hiroshi trả lời: "Chúng tôi có thể cố gắng làm đúng ngày đó." Trong văn hóa công sở Nhật Bản, cụm này mang hàm ý nghi ngờ rất mạnh. Đó là cách lịch sự để nói "không, có lẽ là không." Trong văn hóa kinh doanh tiếng Anh, "we can try" nghe như thận trọng nhưng lạc quan. Trưởng nhóm sản phẩm đánh dấu tính năng là đã cam kết. Hai tuần sau, đội ngũ đã lỡ mất thời hạn mà mọi người phía Hiroshi từ trước đó đều đã âm thầm đồng ý là không thực tế.

Không có công cụ dịch nào thất bại trong cuộc họp đó. Cuộc trò chuyện diễn ra bằng tiếng Anh. Điều thất bại là khoảng cách giữa từ ngữ và sắc thái văn hóa, và khoảng cách đó lớn nhất với các cặp ngôn ngữ châu Á.

Các lý do cấu trúc là rất cụ thể. Tiếng Nhật và tiếng Trung truyền đạt ý nghĩa thông qua ngữ cảnh, mối quan hệ và trật tự từ theo những cách mà các ngôn ngữ châu Âu không làm. 「ちょっと難しいです」 chỉ là ba token trong tiếng Nhật, nghĩa đen là "một chút khó", nhưng trong một cuộc đàm phán kinh doanh, nó báo hiệu sự nghi ngờ nghiêm trọng hoặc lời từ chối lịch sự. Dịch EN-ES không gặp vấn đề này ở cùng mức độ vì tiếng Tây Ban Nha và tiếng Anh chia sẻ cấu trúc câu và quy ước trực tiếp tương tự.

Đối với các đội ngũ làm việc từ xa đa ngôn ngữ làm việc xuyên tiếng Nhật, tiếng Trung hoặc tiếng Hàn, kết luận thực tế là: tỷ lệ độ chính xác cho các cặp ngôn ngữ châu Á sẽ luôn thấp hơn các cặp châu Âu, bất kể bạn dùng công cụ nào. Sự khác biệt giữa các công cụ không chỉ là con số, mà là hệ thống có đưa đủ ngữ cảnh hội thoại vào để bắt những trường hợp mà dịch theo nghĩa đen gây hiểu lầm hay không.

Đưa ngữ cảnh vào có ích. Nó không giải quyết được mọi khoảng trống về sắc thái văn hóa. Với các cuộc đàm phán có rủi ro cao ở thị trường châu Á, hãy dành thời gian làm rõ ngân sách và cân nhắc kết hợp dịch AI với một người điều phối hiểu cả hai ngôn ngữ. Công cụ xử lý khối lượng; con người bắt lấy sắc thái mà công cụ bỏ lỡ.

5 cách cải thiện độ chính xác dịch theo thời gian thực

1. Dùng tai nghe, không dùng micro laptop. Đây là thay đổi có tác động lớn nhất. Tai nghe USB hoặc Bluetooth đặt gần miệng giúp giảm tiếng ồn xung quanh và loại bỏ hầu hết vấn đề vọng âm. Nó kéo WER xuống 5–15 điểm phần trăm trước khi cần thay đổi phần mềm nào.
2. Đặt rõ ngôn ngữ nguồn. Tự động nhận diện hoạt động trong hầu hết trường hợp, nhưng nó làm tăng thời gian xử lý và đôi khi nhận sai vài giây đầu của cuộc gọi. Đặt ngôn ngữ nguồn là EN hoặc ZH ngay khi bắt đầu phiên sẽ loại bỏ lỗi khởi đầu sai ở phần nội dung quan trọng ban đầu.
3. Bắt đầu bằng 60 giây âm thanh hiệu chỉnh. Phần trò chuyện mở đầu trước khi vào agenda cho engine STT thời gian để thích nghi với giọng của bạn, phòng của bạn và mạng của bạn. Chất lượng phiên âm trong 60 giây đầu của một phiên luôn kém hơn phần còn lại của cuộc gọi. Đừng bắt đầu bằng nội dung quan trọng nhất.
4. Quan sát các từ tự sửa. Ở chế độ streaming, đôi khi bạn sẽ thấy một từ xuất hiện rồi thay đổi khi có thêm ngữ cảnh. Khi điều đó xảy ra, phiên bản cuối cùng đáng tin cậy hơn, vì hệ thống đã nhận đủ tín hiệu để sửa lại phỏng đoán ban đầu. Những từ không thay đổi được chốt với độ tin cậy cao.
5. Với cuộc gọi EN-ZH hoặc EN-JA: dành thời gian làm rõ. Hãy kỳ vọng độ chính xác khoảng ~75–85% với các cặp này và lên kế hoạch tương ứng. Ở các điểm quyết định quan trọng, giá cả, cam kết, thay đổi phạm vi, hãy tạo một vòng xác nhận 15 giây: "Để tôi xác nhận lại điều tôi hiểu." Cách này nhanh hơn nhiều so với việc gỡ rối sau đó.

Câu hỏi thường gặp

Câu hỏi đúng không phải là "chính xác nhất"

Độ chính xác dịch theo thời gian thực là một câu hỏi về pipeline, không phải một con số đơn lẻ. Độ chính xác STT, chất lượng dịch, độ khó của cặp ngôn ngữ, việc đưa ngữ cảnh vào và độ trễ đều tương tác với nhau. Một công cụ đạt 95% trên benchmark tiếng Anh sạch nhưng chỉ 72% trong một cuộc gọi bán hàng EN-ZH thực tế thì không phải là công cụ chính xác 95% cho đội ngũ của bạn.

Những công cụ hoạt động tốt nhất trong thực tế cân bằng cả bốn chiều: đủ nhanh để đọc trong cuộc gọi, đủ chính xác để nắm được ý định, trung thực về giới hạn, và không bị khóa vào một nền tảng duy nhất. Với dịch cuộc họp theo thời gian thực hoạt động trên nhiều cặp ngôn ngữ và nền tảng mà không cần meeting bot, đó là mức nền tảng mà MirrorCaption được xây dựng quanh.

Nếu bạn chưa thử công cụ hiện tại của mình trên những cặp ngôn ngữ thực sự quan trọng với các cuộc họp của bạn, thì bây giờ là lúc. 2 giờ miễn phí mỗi tháng, không cần thẻ tín dụng.