Tai nghe dịch thuật thu âm giọng nói qua micro, gửi âm thanh đến điện thoại hoặc bộ xử lý khác, chuyển thành văn bản, dịch nó và phát đầu ra bằng giọng nói. Đó là quy trình phổ biến, nhưng vị trí xử lý và kết nối âm thanh phụ thuộc vào từng mẫu. Độ trễ bạn nghe được là tổng thời gian của việc phát hiện lượt nói, nhận dạng, dịch thuật, tổng hợp giọng nói, di chuyển qua mạng khi cần và phát lại. Một con số tốc độ được quảng cáo đơn lẻ hiếm khi mô tả toàn bộ hành trình đó.
Điểm chính
- Hãy hỏi từng bước chạy ở đâu: trong tai nghe, điện thoại, bộ trung tâm chuyên dụng hay dịch vụ đám mây.
- Trên một máy chủ Bluetooth Classic, việc mở micro của tai nghe có thể chuyển âm thanh từ phát stereo A2DP sang chế độ rảnh tay mono. Điều này mô tả chế độ âm thanh; nó không đo độ trễ dịch thuật.
- Phát hiện lượt nói có thể thêm một khoảng dừng, nhưng cài đặt của nó khác nhau giữa các hệ thống giọng nói. Thời gian chờ đóng luồng 500 ms của Google Cloud không phải là mức tối thiểu kết thúc lượt nói phổ quát.
- Hãy kiểm tra toàn bộ khoảng thời gian từ khi kết thúc một lượt nói đến khi nghe được đầu ra dịch thuật, trong điều kiện tiếng ồn và kết nối mà bạn dự định sử dụng.
Năm giai đoạn của tai nghe dịch thuật
- Thu âm: micro thu giọng nói của người nói. Vị trí đặt, tiếng ồn trong phòng và khử nhiễu đều ảnh hưởng đến đầu vào.
- Truyền tải: âm thanh đến điện thoại, hộp sạc hoặc bộ trung tâm. Một số sản phẩm dùng Bluetooth; âm thanh trả về của chúng có thể dùng cùng kết nối đó.
- Nhận dạng: một hệ thống giọng nói chuyển âm thanh thành văn bản. Các hệ thống phát trực tuyến có thể hiển thị từ một phần trước khi quyết định rằng một lượt nói đã hoàn tất.
- Dịch thuật: phần mềm tạo ra văn bản ở ngôn ngữ đích. Một dịch vụ có thể dịch một lượt nói hoàn chỉnh hoặc bắt đầu từ các đoạn ngắn hơn.
- Phát lại: chuyển văn bản thành giọng nói tạo ra âm thanh và sản phẩm gửi nó đến loa hoặc tai nghe.
Các giai đoạn này có thể chồng lấp trong một số cách triển khai. Ví dụ, một bộ nhận dạng phát trực tuyến có thể chuẩn bị văn bản trong khi ai đó vẫn đang nói. Câu hỏi quan trọng là sản phẩm chờ điều gì trước khi phát bản dịch. Dịch thuật không thể bắt đầu nếu không có nội dung nguồn có thể dùng được, nhưng hệ thống không nhất thiết phải chờ đến khi cả đoạn văn được chốt hoàn toàn. Những sản phẩm dịch các đoạn ngắn có thể phản hồi sớm hơn nhưng có nguy cơ sửa lại sau đó hoặc tạo ranh giới cụm từ gượng gạo.
Trang này giải thích cơ chế. Để quyết định mua hàng còn cân nhắc cả phép lịch sự khi dùng chung tai nghe, cuộc gọi video và chi phí, hãy xem so sánh tai nghe dịch thuật với ứng dụng của chúng tôi.
Bluetooth thay đổi điều gì
Bluetooth Classic dùng các cấu hình khác nhau cho phát nhạc và cuộc gọi bằng tai nghe. tài liệu âm thanh Bluetooth Classic của Microsoft mô tả A2DP là phát stereo không có kênh micro và HFP là thu và phát mono đồng thời. Trên Windows, việc dùng micro của tai nghe sẽ chọn HFP, với các chế độ băng hẹp 8 kHz hoặc băng rộng 16 kHz đã được ghi nhận. Đây là một ví dụ hữu ích về điều có thể xảy ra khi tai nghe cung cấp cả đầu vào lẫn đầu ra; một sản phẩm hoặc máy chủ khác có thể dùng đường đi khác.
| Đường đi | Vai trò điển hình | Micro | Cần kiểm tra gì |
|---|---|---|---|
| Classic A2DP | Âm thanh stereo đến tai nghe | Không có kênh micro tai nghe | Việc phát lại có đổi chế độ khi micro mở hay không |
| Classic HFP | Âm thanh tai nghe hai chiều | Thu mono | Chế độ giọng nói đang hoạt động của máy chủ và thiết bị |
| LE Audio | Kiến trúc âm thanh mới hơn dùng LC3 | Tùy cấu hình | Hỗ trợ trên cả hai thiết bị và chế độ dịch thuật thực tế |
Một đường âm thanh hẹp hơn có thể làm mất chi tiết giọng nói, nhưng riêng tần số lấy mẫu không thể dự đoán độ chính xác nhận dạng hay độ trễ. Chất lượng micro của tai nghe, khử nhiễu, độ vừa vặn, ngôn ngữ nói và môi trường xung quanh cũng đều quan trọng. Hãy thử một cuộc hội thoại thực tế thay vì cho rằng nhãn codec hay mức tần số lấy mẫu tối đa đảm bảo bản chép tốt hơn.
Vì sao bản dịch có thể tạm dừng
Một hệ thống giọng nói phải quyết định khi nào đã có đủ từ để dịch. tài liệu endpointing của Deepgram cho thấy một cách tiếp cận: một khoảng im lặng có thể cấu hình trước khi bản chép được đánh dấu là speech-final. Giá trị mặc định được ghi nhận của nó là 10 ms, với các ví dụ ở 300 và 500 ms. Những giá trị đó mô tả cài đặt của Deepgram, không phải chuẩn đo độ trễ của tai nghe dịch thuật. Một sản phẩm có thể dùng phát hiện lượt nói khác, dịch tăng dần hoặc điều khiển thủ công.
tài liệu voice-activity của Google Cloud mô tả một thời gian chờ stream-closing kết thúc giọng nói có thể cấu hình, lớn hơn 500 ms sau một sự kiện kết thúc giọng nói. Điều đó không chứng minh rằng mọi bộ nhận dạng đều phải chờ nửa giây trước khi tạo văn bản. Xem cài đặt đó như một độ trễ dịch thuật phổ quát sẽ làm lẫn lộn quản lý luồng với việc hoàn tất nhận dạng.
Sau khi phát hiện một lượt nói, ứng dụng vẫn có thể cần hoàn tất nhận dạng, gửi yêu cầu lên đám mây, tổng hợp âm thanh và gửi nó đến người nghe. Điều kiện mạng và thiết kế sản phẩm có thể làm thay đổi tổng thời gian. Ngược lại, một hệ thống tăng dần có thể bắt đầu một số bước sớm hơn. Nếu không có phép đo đầu-cuối cho một thiết bị và chế độ cụ thể, không có cơ sở vững chắc để nói rằng Bluetooth, endpointing hay mô hình dịch thuật chiếm phần lớn độ trễ của nó.
Một phép đo hữu ích: ghi lại thời điểm người nói kết thúc một câu và thời điểm người nghe nghe thấy âm thanh đã dịch. Lặp lại với lượt nói ngắn và dài, phòng yên tĩnh và tiếng ồn thực tế, cùng cả kết nối mạnh lẫn yếu. Ghi chú xem sản phẩm đang ở chế độ trực tuyến hay ngoại tuyến. Cách này so sánh trải nghiệm bạn cần thay vì thời gian xử lý riêng lẻ của một nhà cung cấp.
Quá trình xử lý chạy ở đâu
Ứng dụng điện thoại với dịch vụ đám mây
Một số mẫu gửi giọng nói đã thu qua ứng dụng đồng hành đến các dịch vụ nhận dạng và dịch thuật trực tuyến. Hãy kiểm tra xem kết nối có bắt buộc cho các ngôn ngữ và chế độ bạn định dùng hay không. Xử lý trên đám mây làm phát sinh phụ thuộc mạng, nhưng tự nó không cho biết tổng độ trễ.
Ứng dụng điện thoại với mô hình ngoại tuyến
Các sản phẩm khác cung cấp gói ngôn ngữ tải xuống trên điện thoại. Nhãn ngoại tuyến có thể chỉ áp dụng cho một số cặp ngôn ngữ hoặc tính năng. Hãy kiểm tra danh sách chế độ ngoại tuyến của nhà cung cấp và thử với chế độ máy bay bật trước khi phụ thuộc vào nó.
Bộ trung tâm chuyên dụng hoặc thiết bị kết nối
Một bộ riêng có thể xử lý hoặc cung cấp kết nối di động riêng. Điều đó có thể thay đổi yêu cầu ghép nối và kết nối. Nó không chứng minh rằng dịch thuật chạy cục bộ hay tai nghe hoạt động ngoại tuyến. hướng dẫn thiết bị dịch thuật so với ứng dụng điện thoại của chúng tôi so sánh lựa chọn phần cứng rộng hơn này.
LE Audio và LC3 có thể cải thiện điều gì
thông số kỹ thuật LE Audio của Bluetooth SIG mô tả một kiến trúc mới hơn với codec LC3 và các cấu hình cho media và điện thoại. tổng quan LC3 của SIG liệt kê các tần số lấy mẫu codec được hỗ trợ từ 8 đến 48 kHz. Đó là khả năng của codec, không phải lời hứa rằng một ứng dụng dịch thuật thu micro ở 48 kHz.
Cả máy chủ lẫn tai nghe đều phải hỗ trợ tính năng này, và cấu hình giọng nói đang hoạt động cũng rất quan trọng. Hãy hỏi nhà sản xuất xem tính năng dịch thuật của họ thực sự dùng chế độ âm thanh nào. LE Audio có thể mang lại sự linh hoạt thiết kế lớn hơn, trong khi hiệu năng vẫn phụ thuộc vào micro, phần mềm và chuỗi dịch vụ.
Câu hỏi nên hỏi trước khi mua
- Tuyên bố độ trễ đo điều gì? Hãy tìm khoảng thời gian từ khi một lượt nói hoàn tất đến khi nghe được đầu ra dịch thuật, bao gồm cả mọi cuộc gọi lên đám mây.
- Nhận dạng chạy ở đâu? Kiểm tra yêu cầu về điện thoại, bộ trung tâm và đám mây cho các ngôn ngữ bạn chọn.
- Chế độ âm thanh nào đang hoạt động trong lúc dịch? Định dạng tối đa được hỗ trợ của codec khác với luồng micro thực tế.
- Nó quyết định lượt nói đã kết thúc như thế nào? Phát hiện im lặng tự động, điều khiển chạm và đầu ra tăng dần cho cảm giác khác nhau trong hội thoại.
- Bạn có thể thử trong bối cảnh của mình không? Hãy thử người nói chồng lấn, tiếng ồn nền và kết nối mà bạn thực sự sẽ có.
Câu hỏi thường gặp
Vì sao có một khoảng dừng trước khi tai nghe dịch thuật nói?
Một sản phẩm có thể chờ để phát hiện kết thúc lượt nói, hoàn tất nhận dạng giọng nói, dịch văn bản, tổng hợp âm thanh và gửi lại để phát lại. Độ lớn của từng bước thay đổi theo sản phẩm và kết nối.
Tai nghe dịch thuật có cần điện thoại để hoạt động không?
Nhiều mẫu dùng ứng dụng điện thoại đồng hành, nhưng một số dùng bộ trung tâm riêng hoặc kết nối riêng của chúng. Hãy kiểm tra mẫu và chế độ cụ thể; chỉ nhìn vào tai nghe thôi không cho bạn biết quá trình xử lý chạy ở đâu.
Bluetooth có ảnh hưởng đến độ chính xác dịch thuật không?
Có thể. Khi micro của tai nghe Bluetooth Classic đang hoạt động, máy chủ có thể dùng cấu hình rảnh tay mono thay vì cấu hình phát lại chất lượng cao hơn. Vị trí micro, tiếng ồn và chế độ âm thanh được chọn cũng đều quan trọng.
Sự khác nhau giữa HFP và LE Audio đối với tai nghe dịch thuật là gì?
Bluetooth Classic HFP hỗ trợ thu micro mono và phát lại đồng thời. LE Audio cung cấp một kiến trúc mới hơn và codec LC3, nhưng định dạng âm thanh và các tính năng đang hoạt động phụ thuộc vào cả hai thiết bị và cấu hình của chúng.
Tai nghe dịch thuật có hoạt động khi không có kết nối internet không?
Chỉ khi thiết bị cụ thể hoặc ứng dụng đồng hành hỗ trợ các mô hình ngôn ngữ ngoại tuyến cần thiết. Một mẫu phụ thuộc vào dịch vụ đám mây sẽ cần kết nối, ngay cả khi tai nghe vẫn có thể ghép nối qua Bluetooth.
Hãy thử micro của điện thoại hoặc laptop
MirrorCaption cung cấp phiên âm và dịch trực tiếp trên trình duyệt với một giờ miễn phí và không cần thẻ tín dụng. Hãy dùng micro bạn đang có để so sánh quy trình thu âm trực tiếp với thiết lập tai nghe của bạn.
Bắt đầu miễn phí