การถอดเสียงภาษาเกาหลีอาจดูแม่นยำในด้านหนึ่ง แต่ยังอ่อนในอีกด้านหนึ่ง ระบบหนึ่งในการศึกษา KsponSpeech ได้คะแนน อัตราความผิดพลาดระดับอักขระ (CER) 8.0%, อัตราความผิดพลาดระดับคำแบบไม่ขึ้นกับการเว้นวรรค (sWER) 14.2% และอัตราความผิดพลาดระดับคำ (WER) 21.9% บนชุด Eval-clean ตัวเลขเหล่านี้เป็นการวัดคนละหน่วย ไม่ใช่คำกล่าวอ้างด้านผลิตภัณฑ์สามแบบที่แข่งขันกัน นี่คือวิธีอ่านค่าเหล่านี้และทดสอบเครื่องมือกับเสียงภาษาเกาหลีที่คุณมีจริง

ประเด็นสำคัญ

CER, sWER และ WER วัดอะไร

การศึกษา KsponSpeech ประเมิน Transformer ที่ใช้ SpecAugment กับคำพูดภาษาเกาหลีแบบสนทนาธรรมชาติ ผลลัพธ์บน Eval-clean แสดงให้เห็นว่าทำไมเมตริกจึงสำคัญ:

เมตริกEval-cleanสิ่งที่เปลี่ยนไป
CER8.0%นับการแก้ไขระดับอักขระ
sWER14.2%ลดผลกระทบจากความแตกต่างของการเว้นวรรคระหว่างคำ
WER21.9%นับการแก้ไขระดับคำหลังจากกำหนดขอบเขตคำแล้ว

นี่คือการวัดของโมเดลวิจัยหนึ่งและชุดประเมินหนึ่ง ไม่ใช่ค่าประมาณความแม่นยำสำหรับ MirrorCaption หรือบริการอื่น WER และ sWER ใช้การแบ่งหน่วยข้อความต่างกัน ดังนั้นช่องว่าง 7.7 จุดจึงแสดงว่าการเว้นวรรคมีผลต่อคะแนน ไม่ได้บอกอย่างแม่นยำว่ามีข้อผิดพลาดในการรู้จำกี่รายการที่เกิดจากช่องว่าง บทความ เปรียบเทียบความแม่นยำของการถอดเสียง ของเราอธิบายข้อจำกัดที่กว้างกว่าของอัตราความผิดพลาด

การเว้นวรรคสามารถเปลี่ยนความหมายได้โดยไม่เปลี่ยนตัวอักษร

ลองพิจารณา 아버지가방에들어가신다 การเว้นวรรค 아버지가 방에 들어가신다 หมายถึง “พ่อเข้าไปในห้อง” ขณะที่ 아버지 가방에 들어가신다 หมายถึง “พ่อเข้าไปในกระเป๋า” ตัวอักษรเหมือนกันทุกประการ การเปรียบเทียบระดับอักขระที่ไม่สนใจช่องว่างจึงบอกไม่ได้ว่าประโยคที่ตั้งใจไว้ถูกกู้คืนมาหรือไม่

สำหรับบันทึกการประชุม ให้ตรวจสอบชื่อ ตำแหน่ง และขอบเขตประโยคควบคู่ไปกับคะแนนรวม หากบทบาทหรือชื่อบริษัทกำกวม ให้เปรียบเทียบทรานสคริปต์กับเสียงบันทึกและบริบท ผู้เขียน KsponSpeech กล่าวถึงการเว้นวรรคที่ไม่สม่ำเสมอในข้อมูลอ้างอิงจากคำพูดแบบสนทนา ตัวอย่างนี้แสดงให้เห็นว่าทำไม CER เพียงอย่างเดียวจึงตัดสินความหมายไม่ได้

ทดสอบการสลับภาษาเกาหลี-อังกฤษแยกต่างหาก

การศึกษา HiKE รวบรวมคำพูดภาษาเกาหลี-อังกฤษ 1,121 รายการจากผู้พูดสองภาษาจำนวน 13 คน โดยประเมินคำพูดแบบผสมด้วย mixed error rate (MER) และ point of interest error rate (PIER) ซึ่งเน้นจุดที่มีการสลับภาษา ในตารางของบทความ GPT-4o Transcribe ได้ 2.5% CER บน ชุด FLEURS ภาษาเกาหลีแบบโมโนลิงกวลแยกต่างหาก และ 25.8% PIER สำหรับการสลับระดับคำบน HiKE ค่าทั้งสองใช้เสียงและเมตริกคนละชุด จึงไม่สามารถอ่านเป็นการสูญเสียก่อน-หลังโดยตรงได้

นักวิจัยยอมรับคำยืมที่เขียนด้วยอักษรฮันกึลหรืออักษรละตินเมื่อทั้งสองแบบใช้ได้ ทำให้ค่าความผิดพลาดที่วัดได้บนชุดข้อมูลของพวกเขาลดลง ให้รวมตัวย่อภาษาอังกฤษ คำยืม และชื่อเฉพาะไว้ในการทดลองใช้ผลิตภัณฑ์ทุกครั้ง คู่มือ การถอดเสียงหลายภาษา ของเราแยกความแตกต่างระหว่างการจับข้อความต้นฉบับกับการแปล

ตรวจสอบโมเดลและเวิร์กโฟลว์ที่แน่นอน

คำกล่าวอ้างว่ารองรับภาษาเกาหลีของผู้ให้บริการไม่ได้ครอบคลุมทุกโมเดล รายการโมเดลของ Deepgram ระบุ ko/ko-KR สำหรับ Nova-3 แต่ไม่รวมภาษาเกาหลีใน Flux speech-to-text ตารางของ Google Cloud ระบุ ko-KR พร้อมข้อมูลโมเดลและภูมิภาค ตรวจสอบรายการปัจจุบันสำหรับเส้นทางแบบสดหรืออัปโหลดที่คุณวางแผนจะใช้ให้ตรงกับจริง

MirrorCaption ระบุภาษาเกาหลีไว้ในภาษาที่รองรับการถอดเสียงแบบสด และมีคำใบ้คำศัพท์แบบกำหนดเองสำหรับคำที่คาดว่าจะพบ เครื่องมือช่วยเหล่านี้ไม่ได้รับประกันว่าจะเลือกคำพ้องเสียงหรือการเว้นวรรคได้ถูกต้อง MirrorCaption ไม่ได้เผยแพร่ค่า CER สำหรับภาษาเกาหลี ไม่มีตัวเลือกสำหรับสำเนียงหรือการเว้นวรรค และไม่ใช่บริการถอดเสียงที่ได้รับการรับรอง ใช้การตรวจทานโดยมนุษย์เมื่อบันทึกมีผลทางกฎหมาย การแพทย์ หรือผลกระทบสูงด้านอื่นๆ

การทดลองถอดเสียงภาษาเกาหลีในห้านาที

  1. เลือกเสียงที่เป็นตัวแทนจริง โดยมีไมโครโฟนทั่วไป เสียงรบกวนพื้นหลัง และการสลับภาษาเกาหลี-อังกฤษ
  2. จดชื่อและวลีที่ความหมายต้องคงอยู่ไว้ เพิ่มคำใบ้คำศัพท์ที่รองรับ
  3. เปรียบเทียบผลลัพธ์กับข้อมูลอ้างอิงจากมนุษย์ แล้วฟังซ้ำเพื่อหาข้อผิดพลาดที่เปลี่ยนความหมาย บันทึกการเว้นวรรคและการเลือกสคริปต์แยกกัน
  4. ยืนยันโมเดลที่แน่นอน เวิร์กโฟลว์แบบสดหรือไฟล์ รูปแบบผลลัพธ์ และราคาปัจจุบันในเอกสารของผู้ให้บริการ

สำหรับการทดลองใช้งานแบบสดในเบราว์เซอร์ เปิด MirrorCaption และตรวจสอบเสียงภาษาเกาหลีของคุณเอง ชั่วโมงฟรีของคุณช่วยให้ตรวจดูผลลัพธ์ก่อนตัดสินใจว่าเวิร์กโฟลว์เหมาะกับคุณหรือไม่ สำหรับไฟล์ที่บันทึกไว้ ให้ใช้ Transcriber สำหรับอัปโหลดแยกต่างหาก และตรวจสอบตัวเลือกภาษาและการส่งออกให้ตรงกับงานของคุณ

คำถามที่พบบ่อย

การถอดเสียงภาษาเกาหลีแม่นยำแค่ไหน?

ไม่มีตัวเลขความแม่นยำเพียงค่าเดียว บนชุด KsponSpeech Eval-clean ระบบวิจัยหนึ่งบันทึกอัตราความผิดพลาดระดับอักขระ 8.0% อัตราความผิดพลาดระดับคำแบบไม่ขึ้นกับการเว้นวรรค 14.2% และอัตราความผิดพลาดระดับคำ 21.9% ตัวเลขเหล่านี้เป็นผลการวิจัย ไม่ใช่การรับประกันสำหรับเครื่องมือเชิงพาณิชย์

ทำไม CER และ WER ของภาษาเกาหลีจึงต่างกัน?

เพราะนับหน่วยต่างกัน อัตราความผิดพลาดระดับคำมาตรฐานไวต่อขอบเขตคำ ส่วน WER แบบไม่ขึ้นกับการเว้นวรรคจะลดผลของการเว้นวรรคที่ไม่สม่ำเสมอ อัตราความผิดพลาดระดับอักขระอาจมองไม่เห็นการเปลี่ยนความหมายเมื่ออักษรฮันกึลชุดเดียวกันถูกเว้นวรรคต่างกัน

เครื่องมือหนึ่งสามารถถอดเสียงภาษาเกาหลีและอังกฤษในไฟล์เดียวกันได้ไหม?

บางโมเดลรองรับการรู้จำหลายภาษา แต่ควรทดสอบโมเดลที่แน่นอนกับเสียงของคุณเอง การศึกษา HiKE พบข้อผิดพลาดที่จุดสลับภาษาเกาหลี-อังกฤษ ผลลัพธ์แบบโมโนลิงกวลและแบบคำพูดผสมใช้เสียงและเมตริกคนละชุด จึงไม่ใช่การเปรียบเทียบความแม่นยำโดยตรง

ทุกโมเดลจากผู้ให้บริการที่รองรับภาษาเกาหลีจะรองรับภาษาเกาหลีหรือไม่?

ไม่ใช่ ปัจจุบัน Deepgram ระบุภาษาเกาหลีสำหรับ Nova-3 ขณะที่รายการภาษาสำหรับ Flux speech-to-text ไม่ได้รวมภาษาเกาหลี ตรวจสอบเอกสารโมเดลปัจจุบันสำหรับการบันทึกหรือเวิร์กโฟลว์แบบสดของคุณ

ฉันควรทดสอบเครื่องมือถอดเสียงภาษาเกาหลีอย่างไร?

ใช้การบันทึกห้านาทีที่เป็นตัวแทนจริง โดยมีชื่อ ความกำกวมเรื่องการเว้นวรรค และคำภาษาอังกฤษ เปรียบเทียบกับข้อมูลอ้างอิงจากมนุษย์ ตรวจทานข้อผิดพลาดที่เปลี่ยนความหมาย และตรวจสอบโมเดล รูปแบบการส่งออก และราคาปัจจุบันก่อนตัดสินใจใช้งาน

ลองถอดเสียงภาษาเกาหลีจากเสียงของคุณ

ใช้ชั่วโมงฟรีของคุณเพื่อตรวจชื่อ การเว้นวรรค และคำพูดหลายภาษาในบันทึกจริง

เริ่มใช้ฟรี