OpenAI Whisper là một mô hình chuyển giọng nói thành văn bản miễn phí, mã nguồn mở, có thể chuyển âm thanh lời nói thành văn bản viết trên 99 ngôn ngữ. Để chạy được nó, bạn cần cài Python trên máy tính, ít nhất một thư viện bổ sung tên là ffmpeg, và dung lượng trống từ 150 MB đến 3 GB tùy theo mức chất lượng bạn muốn. Nó không phiên âm theo thời gian thực. Đây là những факт mà các bản tin hào hứng thường bỏ qua.

🏫 Một tình huống thực tế

Priya phụ trách quan hệ đối tác tại một công ty fintech ở Singapore. Đầu năm 2026, cô đọc được rằng Whisper có thể đạt "độ chính xác phiên âm ngang tầm con người" và hoàn toàn miễn phí. Cô tìm trang GitHub, lướt qua phần hướng dẫn, và cảm thấy lạc quan như một người chưa từng gặp cụm từ "pip install ffmpeg." Ba giờ sau, cô gặp lỗi tương thích CUDA khó hiểu, không có bản ghi nào, và phải tự tay ghi lại phần còn lại của cuộc họp. Công cụ này thực sự rất xuất sắc. Chỉ là nó được tạo ra cho một người khác với Priya.

Whisper được thiết kế cho nhà phát triển và nhà nghiên cứu. Điều đó không có nghĩa nó là một công cụ tệ — mà là nó không phù hợp với những người chỉ muốn phiên âm cuộc họp đứng thứ Năm bằng tiếng Quan Thoại mà không phải viết một dòng mã nào.

Bài viết này giải thích OpenAI Whisper thực sự hoạt động như thế nào bằng ngôn ngữ dễ hiểu, nó làm tốt điều gì, về bản chất nó không thể làm gì, và lựa chọn nào hợp lý hơn nếu bạn cần phiên âm cuộc họp trực tiếp ngay hôm nay.

Điểm chính

OpenAI Whisper là gì?

OpenAI Whisper là một mô hình nhận dạng giọng nói được phát hành mã nguồn mở vào tháng 9 năm 2022. OpenAI đã huấn luyện nó trên 680.000 giờ âm thanh thu thập từ internet — bài giảng, podcast, phỏng vấn, video YouTube, sách nói — trên hàng chục ngôn ngữ. Quy mô dữ liệu huấn luyện là một phần lớn lý do khiến độ chính xác của nó rất cao.

Nó có thể làm hai việc: phiên âm, tức chuyển âm thanh sang văn bản cùng ngôn ngữ, và dịch, tức chuyển âm thanh bằng ngôn ngữ nước ngoài sang văn bản tiếng Anh. Lưu ý rằng nó chỉ dịch sang tiếng Anh, chứ không dịch giữa các cặp ngôn ngữ bất kỳ.

Bạn có thể truy cập Whisper theo hai cách. Thứ nhất, bạn có thể tải trọng số mô hình miễn phí từ GitHub và chạy nó trên phần cứng của mình — không tốn phí API, không giới hạn tốc độ, nhưng bạn phải tự thiết lập. Thứ hai, bạn có thể gọi OpenAI Whisper API với giá $0.006 mỗi phút âm thanh, giúp giảm phần lớn công đoạn cài đặt nhưng vẫn xử lý âm thanh dưới dạng tải tệp lên chứ không phải luồng trực tiếp.

Nếu bạn cần thứ gì đó hoạt động mà không cần dòng lệnh, hãy bỏ qua đến phần các lựa chọn không cần code. Nếu bạn muốn hiểu vì sao Whisper hoạt động theo cách đó, hãy đọc tiếp — điều này rất quan trọng để biết nó có thể và không thể làm gì.

OpenAI Whisper hoạt động như thế nào — Giải thích dễ hiểu

Bạn không cần hiểu toán học để dùng Whisper hiệu quả. Nhưng hiểu bốn bước mà nó thực hiện sẽ giúp giải thích vì sao nó có những giới hạn như vậy.

Bước 1: Âm thanh được đưa vào dưới dạng tệp

Bạn đưa cho Whisper một tệp âm thanh đã ghi — MP3, WAV, M4A, hoặc hầu hết các định dạng phổ biến khác. Theo mặc định, nó không thể đọc luồng từ micro trực tiếp. Âm thanh nằm trên ổ đĩa của bạn chờ được xử lý.

Bước 2: Whisper chuyển âm thanh thành một dấu vân tay trực quan

Whisper biến dạng sóng âm thanh thành một mel spectrogram — hãy hình dung nó như một bản đồ nhiệt của âm thanh, trong đó trục ngang là thời gian và trục dọc cho biết những tần số nào xuất hiện ở từng thời điểm. Giọng nói trông khác với âm nhạc, và khác với tiếng ồn nền. Biểu diễn trực quan này là thứ mà AI thực sự đọc.

Bước 3: Một mô hình AI đọc dấu vân tay và dự đoán từ ngữ

Một mô hình transformer — cùng loại kiến trúc nền tảng của GPT — đọc spectrogram và dự đoán chuỗi từ có khả năng cao nhất. Một phần của mô hình mã hóa mẫu âm thanh; phần khác giải mã nó thành văn bản, từng token một. Bộ giải mã dùng ngữ cảnh từ phần âm thanh trước đó để đưa ra dự đoán tốt hơn khi nó tiến hành.

Bước 4: Văn bản được xuất ra, có dấu câu và viết hoa

Whisper xuất ra văn bản đã định dạng với dấu câu phù hợp câu và chữ cái viết hoa được áp dụng sẵn. Bạn nhận được một bản ghi có thể dùng ngay, chứ không phải một khối từ toàn chữ thường.

Cửa sổ 30 giây — và vì sao nó quan trọng. Whisper chia âm thanh của bạn thành các đoạn 30 giây và xử lý tuần tự. Cách chia nhỏ này là lý do cốt lõi khiến Whisper không thể phát phụ đề trực tiếp. Không có kết quả từng phần sau mỗi từ. Chỉ có một đoạn hoàn chỉnh sau khi mỗi khối 30 giây xử lý xong. Với một cuộc họp 60 phút, điều đó có nghĩa là bạn nhận được phần bản ghi đầu tiên 30 giây sau khi cuộc gọi kết thúc — và bản ghi đầy đủ chỉ khi tất cả các đoạn đã xong.

Whisper làm tốt điều gì

Trong phạm vi thiết kế của nó, Whisper thực sự rất ấn tượng.

Nếu ưu tiên của bạn là độ chính xác sau khi đã ghi âm trên một tệp âm thanh lưu sẵn, Whisper rất khó bị vượt qua. Đây là công cụ phù hợp để phiên âm phỏng vấn đã ghi, tập podcast, bài giảng, hoặc bất kỳ âm thanh nào bạn đã thu lại.

Whisper không thể làm gì — Phần mà không ai giải thích

Phần lớn bài viết về Whisper được viết bởi nhà phát triển cho nhà phát triển. Họ nhắc đến các giới hạn một cách lướt qua. Ở đây, chúng được dành sự chú ý xứng đáng.

Nó không phiên âm theo thời gian thực

Nếu bạn bắt đầu một cuộc gọi Zoom và hướng Whisper vào đó, bạn sẽ nhận được bản ghi khi cuộc gọi kết thúc — chứ không phải trong lúc nó đang diễn ra. Độ trễ giữa lúc nói và lúc thấy văn bản dao động từ vài giây với các đoạn ngắn đến vài phút với một cuộc họp dài, tùy thuộc vào phần cứng và kích thước mô hình của bạn.

Đây không phải là lỗi. Đây là một lựa chọn thiết kế. Độ chính xác của Whisper một phần đến từ việc xử lý từng đoạn âm thanh với đầy đủ ngữ cảnh. Phiên âm trực tiếp đòi hỏi phải gửi kết quả từng phần ngay lập tức, trước khi có đủ ngữ cảnh. Hai cách tiếp cận này có một sự đánh đổi cơ bản, và Whisper được xây dựng để tối đa hóa độ chính xác thay vì giảm độ trễ.

Nó không thể biết ai đang nói

Theo mặc định, Whisper tạo ra một bản ghi phẳng, không gắn nhãn. Mỗi câu xuất hiện trong một khối liên tục mà không có dấu hiệu cho biết người tham gia nào đã nói gì. Trong một cuộc gọi bán hàng hai người, bạn sẽ không biết dòng nào là của bạn và dòng nào là của khách hàng tiềm năng. Trong một buổi standup mười người, đầu ra hoàn toàn không có ghi nhận người nói.

Có những tiện ích mã nguồn mở (pyannote.audio là phổ biến nhất) thêm phân tách người nói lên trên Whisper. Chúng hoạt động khá ổn nhưng cần thêm gói Python, tải mô hình, và cấu hình. Thời gian thiết lập gần như tăng gấp đôi.

Chạy cục bộ đòi hỏi thiết lập kỹ thuật

Để dùng Whisper trên máy tính của riêng bạn, bạn cần:

🏫 Một tình huống thực tế

Miguel dẫn dắt một đội chăm sóc khách hàng gồm 12 người tại một startup ở Barcelona. Nhóm của anh xử lý các cuộc gọi bằng tiếng Tây Ban Nha, Catalan và tiếng Anh. Vào tháng 1 năm 2026, anh nhờ trưởng nhóm phát triển của mình "thiết lập Whisper cho cả đội." Người phát triển đã dành trọn một cuối tuần để cài các phụ thuộc, gặp xung đột phiên bản CUDA mất bốn giờ để giải quyết, rồi xây một giao diện tải lên nhỏ để đồng đội có thể gửi bản ghi mà không cần chạm vào terminal. Tổng thời gian thiết lập: khoảng 14 giờ công kỹ thuật. Giờ thì công cụ hoạt động tốt. Miguel biết ơn. Anh cũng thừa nhận rằng hầu hết các đội không có một nhà phát triển rảnh cả cuối tuần để dành cho việc này.

OpenAI API dễ hơn — nhưng vẫn không phải trực tiếp

OpenAI Whisper API loại bỏ vấn đề cài đặt cục bộ. Bạn gửi một tệp âm thanh đến máy chủ của OpenAI qua một yêu cầu HTTP đơn giản và nhận lại bản ghi, thường chỉ trong vài giây với các đoạn ngắn. Chi phí là $0.006 mỗi phút — một bản ghi cuộc họp 60 phút tốn khoảng $0.36.

Điều này giảm đáng kể rào cản kỹ thuật. Nhưng API vẫn là mô hình tải tệp lên, không phải luồng trực tiếp. Bạn gửi bản ghi đã hoàn tất sau khi cuộc gọi kết thúc. Bản ghi sẽ đến ngay sau đó. Nếu mục tiêu của bạn là đọc phụ đề trong lúc ai đó vẫn đang nói, API không thay đổi được ràng buộc cốt lõi này.

Các kích thước mô hình Whisper trong nháy mắt

Whisper có năm mức chất lượng. Mô hình càng lớn thì càng chính xác nhưng cũng chậm hơn và nặng hơn. Trên một laptop tiêu dùng điển hình không có GPU, mô hình "small" thường là giới hạn thực tế về tốc độ.

Mô hình Kích thước tệp Tốc độ CPU (so với âm thanh) Phù hợp nhất cho
tiny 75 MB ~nhanh hơn 10× Kiểm thử nhanh, bản demo
base 150 MB ~nhanh hơn 7× Sử dụng thông thường, lặp nhanh
small ★ 490 MB ~nhanh hơn 4× Cân bằng tốt giữa chất lượng/tốc độ trên laptop
medium 1.5 GB ~nhanh hơn 2× Độ chính xác cao hơn, khuyến nghị GPU
large-v3 3 GB ~1× (thời gian thực trên GPU) Độ chính xác tối đa, cần GPU để dùng thực tế

Bắt đầu với "small" nếu bạn đang thử trên laptop. Chuyển sang "large-v3" nếu bạn có GPU NVIDIA tương thích và cần độ chính xác tốt nhất cho âm thanh không phải tiếng Anh. Bước nhảy từ small lên large-v3 về độ chính xác là rất rõ. Bước nhảy về thời gian xử lý trên CPU thì rất lớn.

Cách dùng Whisper mà không cần viết code

Có ba lựa chọn thực tế cho người không phải nhà phát triển, mỗi lựa chọn đánh đổi khác nhau giữa công sức, chi phí và thời điểm.

Lựa chọn 1: OpenAI Whisper API

Tải tệp âm thanh của bạn lên qua giao diện của OpenAI hoặc qua một HTTP client không cần code như Postman. Bạn sẽ nhận lại bản ghi sạch trong vài giây đến vài phút tùy độ dài. Chi phí: $0.006/phút. Đây là con đường ít ma sát nhất nếu bạn thỉnh thoảng mới có bản ghi và không muốn cài đặt gì cả. Nhược điểm: bạn vẫn đang xử lý bản ghi sau khi sự việc đã xảy ra, chứ không phải ghi nhận lời nói trực tiếp.

Lựa chọn 2: Ứng dụng máy tính xây trên Whisper

Một số nhà phát triển đã bọc Whisper trong giao diện có thể bấm. MacWhisper (chỉ dành cho Mac) và Buzz (đa nền tảng, miễn phí) cho phép bạn kéo thả một tệp âm thanh và nhận bản ghi mà không cần mở terminal. Đây thực sự hữu ích cho phiên âm sau cuộc gọi. Chúng có cùng một ràng buộc kiến trúc — không có phụ đề trực tiếp, không có nhãn người nói nếu không cấu hình thêm.

Lựa chọn 3: Công cụ streaming trên trình duyệt cho cuộc họp trực tiếp

Nếu mục tiêu của bạn là đọc phụ đề trong lúc cuộc trò chuyện đang diễn ra — chứ không phải lấy bản ghi sau khi nó kết thúc — bạn cần một cách tiếp cận hoàn toàn khác. Các công cụ trên trình duyệt dùng speech-to-text streaming sẽ thu âm từ micro hoặc tab trình duyệt của bạn và gửi kết quả từng phần theo từng từ khi mọi người nói. Không cài đặt, không Python, không phải chờ hậu xử lý.

Nhóm này bao gồm các công cụ như các lựa chọn thay thế Whisper dành cho người không rành kỹ thuật, vốn đánh đổi một phần độ chính xác hậu kỳ của Whisper để lấy sự tức thời mà các cuộc trò chuyện trực tiếp đòi hỏi. Sự lựa chọn giữa chúng không phải là cái nào "tốt hơn" — mà là bạn cần phiên âm về một cuộc họp hay trong một cuộc họp.

Whisper vs. Phiên âm cuộc họp trực tiếp — Hai kiến trúc khác nhau

Hiểu vì sao Whisper không thể phát phụ đề trực tiếp đòi hỏi phải hiểu sự khác biệt giữa speech-to-text theo lô và streaming.

Whisper là mô hình theo lô. Nó chờ một đoạn âm thanh hoàn chỉnh, xử lý với đầy đủ ngữ cảnh, rồi trả về kết quả. Lợi thế về độ chính xác đến từ ngữ cảnh đầy đủ đó: mô hình có thể nhìn thấy phần cuối của một câu trước khi xác nhận phần đầu đã nói gì. Nó giống như đọc một đoạn văn hai lần trước khi tóm tắt.

Speech-to-text streaming hoạt động khác. Nó gửi kết quả từng phần ngay khi mỗi từ xuất hiện, rồi tự sửa khi ngữ cảnh tích lũy thêm. Các công cụ như MirrorCaption, được xây dựng trên công cụ STT streaming của riêng chúng tôi, có thể hiển thị từ đầu tiên của phụ đề trong vòng 300–500 mili giây sau khi ai đó nói ra. Đổi lại là một chút giảm độ chính xác với những từ mơ hồ mà xử lý theo lô sẽ bắt được nhờ nhìn lại toàn cảnh.

Đây không phải là so sánh chất lượng. Whisper có thể chính xác hơn trên âm thanh đã ghi chính xác vì nó xử lý nhiều ngữ cảnh hơn. STT streaming chấp nhận một mức giảm nhỏ về độ chính xác để đổi lấy sự tức thời. Với cuộc họp trực tiếp, sự tức thời chính là toàn bộ sản phẩm.

🏫 Một tình huống thực tế

Kenji làm việc ở Tokyo cho một nhà sản xuất bán hàng cho khách hàng châu Âu. Các cuộc gọi vào thứ Năm của anh với một đội ở Munich trước đây phải dựa vào một đồng nghiệp song ngữ để phiên dịch các cụm từ quan trọng. Khi đồng nghiệp đó rời đi, Kenji bắt đầu dùng một công cụ phiên âm streaming trên trình duyệt. Anh đọc phụ đề tiếng Đức theo thời gian thực trong cuộc gọi. Không tải xuống, không Python, không phải chờ bản ghi xuất hiện sau khi cuộc họp kết thúc. Sự khác biệt với Whisper không nằm ở độ chính xác. Mà là ở khả năng nghe thấy điều gì đó, hiểu nó, và phản hồi — tất cả trong cùng một cuộc gọi 60 phút.

Cần phụ đề trực tiếp, không phải bản ghi sau cuộc gọi? MirrorCaption phát trực tuyến phiên âm và dịch trong bất kỳ trình duyệt nào, ngay trong cuộc họp của bạn. Không cần cài đặt.

Dùng thử miễn phí →

Câu hỏi thường gặp

OpenAI Whisper có miễn phí không?

Có. Trọng số mô hình Whisper được tải xuống và sử dụng miễn phí theo giấy phép MIT, cho phép ứng dụng thương mại. Chạy Whisper cục bộ không tốn gì ngoài phần cứng và điện của bạn. OpenAI Whisper API tính phí $0.006 mỗi phút âm thanh — một bản ghi cuộc họp 60 phút tốn khoảng $0.36.

Whisper có thể phiên âm cuộc gọi Zoom theo thời gian thực không?

Không. Whisper xử lý âm thanh theo từng đoạn 30 giây sau khi âm thanh đã được ghi lại. Nó không thể hiển thị phụ đề từng từ trong lúc ai đó đang nói. Nếu bạn ghi lại cuộc gọi Zoom rồi chạy Whisper trên tệp đã lưu, bạn sẽ nhận được bản ghi sạch — nhưng chỉ sau khi cuộc họp kết thúc. Để có phụ đề Zoom trực tiếp, bạn cần một công cụ speech-to-text streaming, không phải Whisper. Tổng hợp phần mềm speech-to-text của chúng tôi so sánh các lựa chọn thời gian thực và sau cuộc họp trên các quy trình làm việc phổ biến.

OpenAI Whisper chính xác đến mức nào?

Whisper large-v3 đạt khoảng 2–3% tỷ lệ lỗi từ trên bộ benchmark LibriSpeech tiêu chuẩn cho tiếng Anh, tương đương với phiên âm chuyên nghiệp của con người trên âm thanh sạch. Độ chính xác giảm khi có nhiều tiếng ồn nền, nhiều người nói chồng lấn, tốc độ nói rất nhanh, hoặc micro chất lượng thấp. Các ngôn ngữ không phải tiếng Anh thường có tỷ lệ lỗi cao hơn tiếng Anh, dù vẫn vượt nhiều mô hình cũ theo từng khu vực. Để nhìn rộng hơn về các đánh đổi trong độ chính xác phiên âm, hãy xem các benchmark độ chính xác dịch theo thời gian thực của chúng tôi.

Whisper có hỗ trợ tiếng Trung và tiếng Nhật không?

Có. Whisper bao phủ 99 ngôn ngữ, bao gồm tiếng Trung Quan Thoại, Quảng Đông, Nhật, Hàn, Ả Rập, Hindi, và tất cả các ngôn ngữ châu Âu lớn. Với tiếng Quan Thoại và Quảng Đông, mô hình lớn của Whisper hoạt động tốt trên âm thanh nói rõ ràng, dù nó gặp khó khăn với giọng vùng miền nặng và việc trộn mã giữa tiếng Trung và tiếng Anh trong cùng một câu. Để so sánh rộng hơn các công cụ đa ngôn ngữ hiện có, hãy xem tổng hợp phần mềm speech-to-text của chúng tôi.

Có lựa chọn thay thế Whisper trên trình duyệt cho cuộc họp trực tiếp không?

Có. Các công cụ trên trình duyệt như MirrorCaption dùng speech-to-text streaming để phiên âm và dịch theo thời gian thực trong cuộc họp của bạn — không Python, không cài đặt, không phải chờ cuộc gọi kết thúc. Chúng hoạt động trên Chrome, Safari hoặc Edge trên mọi thiết bị. Đổi lại so với Whisper là độ chính xác hậu kỳ trên bản ghi lưu sẵn có thể thấp hơn một chút, nhưng với các cuộc trò chuyện trực tiếp thì sự tức thời mới là điều quan trọng. Bắt đầu với 1 giờ miễn phí, một lần duy nhất tại mirrorcaption.com/app.

Kết luận

OpenAI Whisper là một trong những hệ thống speech-to-text chính xác nhất từng được công bố rộng rãi. Nó cũng là một trong những hệ thống khó tiếp cận nhất đối với những người sẽ hưởng lợi nhiều nhất từ nó.

Nếu bạn có một tệp âm thanh đã lưu và đủ kiên nhẫn để thiết lập, Whisper — đặc biệt là qua OpenAI API — mang lại độ chính xác phiên âm gần như con người trên 99 ngôn ngữ với chi phí gần như bằng không. Đó là một thành tựu kỹ thuật đáng kinh ngạc.

Nếu bạn cần đọc những gì ai đó đang nói trong lúc họ đang nói — trong cuộc họp, chứ không phải sau đó — kiến trúc của Whisper không phù hợp. Các công cụ speech-to-text streaming tồn tại chính xác cho trường hợp sử dụng này. Chúng hoạt động trong một tab trình duyệt, khởi động trong vài giây, và không cần dòng lệnh.

Câu hỏi không phải là công cụ nào tốt hơn. Câu hỏi là công cụ nào phù hợp với yêu cầu về thời điểm của bạn. Đối với các công cụ speech-to-text tốt nhất năm 2026 trên mọi trường hợp sử dụng, bài tổng hợp đầy đủ của chúng tôi sẽ bao quát toàn cảnh.

Phiên âm cuộc họp trực tiếp, không cần thiết lập

MirrorCaption phát trực tuyến phiên âm và dịch từng từ trong suốt cuộc gọi của bạn. Hoạt động trên mọi trình duyệt và mọi nền tảng gọi video. 2 giờ miễn phí mỗi tháng, không cần thẻ tín dụng.

Dùng thử MirrorCaption miễn phí