Phiên âm tiếng Hàn có thể trông chính xác ở một khía cạnh nhưng lại yếu ở khía cạnh khác. Một hệ thống trong nghiên cứu KsponSpeech đạt 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), và 21.9% word error rate (WER) trên bộ Eval-clean. Những con số này đo các đơn vị khác nhau; chúng không phải là ba tuyên bố cạnh tranh về sản phẩm. Dưới đây là cách đọc chúng và kiểm tra một công cụ trên chính âm thanh tiếng Hàn mà bạn đang có.
Điểm chính
- Hãy hỏi về metric, bộ kiểm thử và mô hình đứng sau mọi tuyên bố về độ chính xác tiếng Hàn.
- Xem xét khoảng cách và ý nghĩa, không chỉ khớp ký tự.
- Kiểm tra chuyển đổi Hàn-Anh và chính tên riêng của bạn trên âm thanh đại diện.
CER, sWER và WER đo lường điều gì
Nghiên cứu KsponSpeech đã đánh giá một Transformer với SpecAugment trên lời nói tự phát tiếng Hàn. Kết quả Eval-clean cho thấy vì sao metric lại quan trọng:
| Metric | Eval-clean | Điều thay đổi |
|---|---|---|
| CER | 8.0% | Đếm các chỉnh sửa ở cấp ký tự. |
| sWER | 14.2% | Giảm ảnh hưởng của khác biệt về khoảng cách giữa các từ. |
| WER | 21.9% | Đếm các chỉnh sửa ở cấp từ sau khi đã xác định ranh giới từ. |
Đây là các phép đo của một mô hình nghiên cứu và một bộ đánh giá, không phải ước tính độ chính xác cho MirrorCaption hay một dịch vụ khác. WER và sWER dùng cách token hóa khác nhau, nên khoảng chênh 7.7 điểm cho thấy khoảng trắng ảnh hưởng đến điểm số; nó không cho biết chính xác có bao nhiêu lỗi nhận dạng do khoảng trắng gây ra. Bài so sánh độ chính xác phiên âm của chúng tôi giải thích rõ hơn các giới hạn rộng hơn của tỷ lệ lỗi.
Khoảng trắng có thể làm đổi nghĩa mà không đổi ký tự
Hãy xét 아버지가방에들어가신다. Cách ngắt 아버지가 방에 들어가신다 có nghĩa là “Bố đi vào phòng,” trong khi 아버지 가방에 들어가신다 có nghĩa là “Bố đi vào cái túi.” Các ký tự là giống hệt nhau. Một phép so sánh ở cấp ký tự bỏ qua khoảng trắng không thể cho biết câu dự định có được khôi phục hay không.
Với ghi chú cuộc họp, hãy xem xét tên, chức danh và ranh giới câu cũng như điểm tổng hợp. Nếu một vai trò hoặc tên công ty còn mơ hồ, hãy đối chiếu bản chép với bản ghi âm và ngữ cảnh. Các tác giả KsponSpeech có bàn về việc khoảng trắng không nhất quán trong các bản tham chiếu lời nói tự phát; ví dụ này cho thấy vì sao chỉ CER thôi không thể kết luận ý nghĩa.
Kiểm tra chuyển đổi Hàn-Anh riêng biệt
Nghiên cứu HiKE đã thu thập 1,121 câu nói Hàn-Anh từ 13 người song ngữ. Nghiên cứu này đánh giá lời nói pha trộn bằng mixed error rate (MER) và point of interest error rate (PIER), tập trung vào các điểm chuyển đổi. Trong bảng của bài báo, GPT-4o Transcribe đạt 2.5% CER trên một bộ FLEURS tiếng Hàn đơn ngữ riêng biệt và 25.8% PIER cho chuyển đổi ở cấp từ trên HiKE. Các giá trị này dùng âm thanh và metric khác nhau, nên không thể đọc như một mức giảm trực tiếp trước-sau.
Các nhà nghiên cứu chấp nhận từ mượn viết bằng Hangul hoặc chữ Latin khi cả hai đều hợp lệ, qua đó giảm lỗi đo được trên bộ dữ liệu của họ. Hãy đưa các từ viết tắt tiếng Anh, từ mượn và tên riêng vào bất kỳ thử nghiệm sản phẩm nào. Bài hướng dẫn phiên âm đa ngôn ngữ của chúng tôi phân biệt giữa ghi lại nguyên ngữ và dịch thuật.
Kiểm tra đúng mô hình và quy trình
Tuyên bố hỗ trợ tiếng Hàn của một nhà cung cấp không áp dụng cho mọi mô hình. Danh sách mô hình của Deepgram bao gồm ko/ko-KR cho Nova-3 nhưng không liệt kê tiếng Hàn trong Flux speech-to-text. Bảng của Google Cloud liệt kê ko-KR cùng thông tin về mô hình và khu vực. Hãy kiểm tra danh sách hiện tại cho đúng đường dẫn trực tiếp hoặc tệp tải lên mà bạn định dùng.
MirrorCaption liệt kê tiếng Hàn trong các ngôn ngữ phiên âm trực tiếp và cung cấp gợi ý từ vựng tùy chỉnh cho các thuật ngữ dự kiến. Những hỗ trợ này không đảm bảo chọn đúng từ đồng âm hay cách ngắt khoảng trắng. MirrorCaption không công bố CER tiếng Hàn, không có bộ chọn phương ngữ hay khoảng trắng, và không phải là dịch vụ phiên âm được chứng nhận. Hãy dùng rà soát của con người khi hồ sơ có hệ quả pháp lý, y tế hoặc các hệ quả quan trọng khác.
Thử nghiệm phiên âm tiếng Hàn trong năm phút
- Chọn âm thanh đại diện với micro thông thường, tiếng ồn nền và các đoạn chuyển Hàn-Anh.
- Ghi lại những tên và cụm từ mà ý nghĩa phải được giữ nguyên. Thêm gợi ý từ vựng được hỗ trợ.
- Đối chiếu đầu ra với bản tham chiếu do con người tạo, rồi nghe lại các lỗi làm thay đổi ý nghĩa. Ghi riêng các lựa chọn về khoảng trắng và chữ viết.
- Xác nhận mô hình chính xác, quy trình trực tiếp hoặc qua tệp, định dạng đầu ra và mức giá hiện tại trong tài liệu của nhà cung cấp.
Để thử trực tiếp trên trình duyệt, mở MirrorCaption và kiểm tra chính giọng nói tiếng Hàn của bạn. Một giờ miễn phí cho phép bạn xem kết quả trước khi quyết định quy trình có phù hợp hay không. Với tệp đã ghi âm, hãy dùng Transcriber tải lên riêng và xác minh các tùy chọn ngôn ngữ và xuất cho công việc của bạn.
Câu hỏi thường gặp
Phiên âm tiếng Hàn chính xác đến mức nào?
Không có một con số độ chính xác duy nhất. Trên bộ KsponSpeech Eval-clean, một hệ thống nghiên cứu ghi nhận 8.0% character error rate, 14.2% space-independent word error rate và 21.9% word error rate. Đây là kết quả nghiên cứu, không phải bảo đảm cho một công cụ thương mại.
Vì sao CER và WER tiếng Hàn khác nhau?
Chúng đếm các đơn vị khác nhau. Word error rate tiêu chuẩn nhạy với ranh giới từ; space-independent WER giảm ảnh hưởng của việc ngắt khoảng trắng không nhất quán. Character error rate có thể bỏ sót một thay đổi về nghĩa khi cùng các ký tự Hangul nhưng được ngắt khoảng trắng khác nhau.
Công cụ có thể phiên âm tiếng Hàn và tiếng Anh trong cùng một bản ghi không?
Một số mô hình hỗ trợ nhận dạng đa ngôn ngữ, nhưng hãy kiểm tra đúng mô hình trên chính giọng nói của bạn. Nghiên cứu HiKE phát hiện lỗi tại các điểm chuyển Hàn-Anh; kết quả đơn ngữ và đa ngôn ngữ của nó dùng âm thanh và metric khác nhau, nên không phải là một phép so sánh độ chính xác trực tiếp.
Mọi mô hình từ một nhà cung cấp có hỗ trợ tiếng Hàn đều hỗ trợ tiếng Hàn sao?
Không. Deepgram hiện liệt kê tiếng Hàn cho Nova-3, trong khi danh sách ngôn ngữ speech-to-text của Flux không bao gồm tiếng Hàn. Hãy kiểm tra tài liệu mô hình hiện tại cho quy trình ghi âm hoặc trực tiếp của bạn.
Tôi nên kiểm tra một công cụ phiên âm tiếng Hàn như thế nào?
Hãy dùng một bản ghi năm phút đại diện với tên riêng, các chỗ mơ hồ về khoảng trắng và thuật ngữ tiếng Anh. Đối chiếu với bản tham chiếu do con người tạo, xem lại các lỗi làm thay đổi ý nghĩa, và kiểm tra mô hình, định dạng xuất và mức giá hiện tại trước khi quyết định.
Thử Phiên Âm Tiếng Hàn trên Âm Thanh của Bạn
Hãy dùng một giờ miễn phí để xem xét tên riêng, khoảng trắng và lời nói pha trộn ngôn ngữ trong một bản ghi thực.
Bắt đầu miễn phí