ความแม่นยำของการแปลความด้วย AI เมื่อเทียบกับล่ามมนุษย์เป็นอย่างไร? การเปรียบเทียบที่เผยแพร่แล้วไม่ได้ให้เปอร์เซ็นต์เดียวที่นำไปใช้ได้กับทุกกรณี ผลลัพธ์ขึ้นอยู่กับคู่ภาษา ว่างานนั้นเป็นการพูดสดหรือสื่อที่บันทึกไว้ ใครเป็นผู้แปล และผู้ประเมินนับคำผิด การสื่อสารที่ไม่ชัดเจน หรือข้อผิดพลาดที่อาจเปลี่ยนการตัดสินใจหรือไม่
ประเด็นสำคัญ
- ขอทราบงาน ตัวหาร และนิยามของข้อผิดพลาดก่อนจะใช้ตัวเลขความแม่นยำของ AI เทียบกับมนุษย์ใดๆ
- การศึกษา จำลองภาษาอังกฤษ–สเปนทางคลินิกในปี 2026 พบว่า AI ภายในองค์กรของตนไม่ด้อยกว่าในด้านคำศัพท์เฉพาะและความหมาย แต่ไม่ผ่านในด้านความชัดเจนหรือการถ่ายทอดเสียง
- ในการ เปรียบเทียบการพูดทางคลินิก 6 ภาษา อีกงานหนึ่ง พบคำแปลที่ผิดทางคลินิก 28 จาก 84 ผลลัพธ์ของ AI และ 4 จาก 84 ผลลัพธ์ของล่าม นี่เป็นผลลัพธ์ของแอปและตัวอย่างชุดนั้น ไม่ใช่อัตราความแม่นยำของ AI โดยทั่วไป
- ประสิทธิภาพของมนุษย์ก็แปรผันเช่นกัน ใน 57 การพบปะในห้องฉุกเฉินเด็ก การฝึกอบรมสัมพันธ์กับสัดส่วนของข้อผิดพลาดของล่ามที่อาจมีผลทางคลินิก
ทำไมเปอร์เซ็นต์ความแม่นยำเพียงตัวเดียวจึงทำให้เข้าใจผิด
บทความในอุตสาหกรรม อ้างตัวเลข 82–88% สำหรับ AI และ 98–99% สำหรับล่ามมนุษย์ โดยระบุว่าเป็นผลจากการศึกษา Stanford NLP แต่ไม่ได้ลิงก์งานนั้นหรือให้นิยามคำว่า “accuracy” เราไม่สามารถยืนยันการอ้างอิงนั้นได้ อย่านำเปอร์เซ็นต์เหล่านั้นไปใช้เป็นเกณฑ์มาตรฐานโดยไม่มีงานวิจัยต้นฉบับ วิธีให้คะแนน และตัวอย่างข้อมูล
แม้แต่ตัวเลขที่มีแหล่งอ้างอิงก็อาจตอบคำถามผิดได้ อัตราความผิดพลาดระดับคำไม่ได้บอกว่าผู้ฟังเข้าใจคำเตือนได้หรือไม่ สัดส่วนของข้อผิดพลาดที่อาจมีผลทางคลินิกไม่ได้บอกว่าสัดส่วนของถ้อยคำทั้งหมดที่ผิดมีเท่าไร งานศึกษาด้านล่างวัดผลลัพธ์คนละแบบ ดังนั้นเปอร์เซ็นต์ของพวกเขาจึงไม่สามารถนำมารวมกันหรือจัดอันดับราวกับเป็นการทดสอบเดียวได้
ตรวจสอบต้นฉบับควบคู่กับคำแปล
MirrorCaption แสดงการถอดเสียงและการแปลแบบสดเคียงข้างกัน
การเปรียบเทียบที่เผยแพร่ 4 งานพบอะไรจริงๆ
บทความเหล่านี้ครอบคลุมระบบและบริบทที่ต่างกัน 3 งานเปรียบเทียบผลลัพธ์โดยตรง ส่วนงานเกี่ยวกับภาษาภาพพจน์เปรียบเทียบวิธีสัมภาษณ์ 2 แบบกับผู้ป่วยชุดเดียวกัน 6 ราย จึงไม่ได้แยกเอ็นจินการแปลออกมาในถ้อยคำที่เหมือนกัน
| การศึกษา | งานและตัวอย่าง | ผลที่พบ | ข้อจำกัด |
|---|---|---|---|
| Feinberg et al., 2026 | ช่วงคำพูดของแพทย์ที่บันทึกไว้ 14 ช่วง แปลเป็น 6 ภาษา; 84 ผลลัพธ์ต่อเงื่อนไข | ผิดทางคลินิก: แอป AI 28/84 (33.3%); ล่ามที่มีคุณสมบัติ 4/84 (4.8%) | การทดสอบเชิงสำรวจของแอปผู้บริโภคหนึ่งตัว; ชุดต้นทางมีขนาดเล็ก |
| Singh et al., 2026 | บทสนทนา ENT ภาษาอังกฤษ–สเปนที่เขียนสคริปต์ไว้ ประเมินโดยแพทย์สองภาษาจำนวน 9 คน | LingualAI ผ่านเกณฑ์ non-inferiority สำหรับคำศัพท์เฉพาะและความหมาย แต่ไม่ผ่านด้านความชัดเจน ความคล่องแคล่ว น้ำเสียง และจังหวะ | ระบบภายในองค์กร; การพบปะแบบจำลองและความสอดคล้องระหว่างผู้ประเมินอยู่ในระดับปานกลาง |
| Fantinuoli & Prandi, 2021 | สุนทรพจน์ในที่ประชุม 5 ชุด; ผลลัพธ์จากเครื่องและล่ามพร้อมกันมืออาชีพ | มนุษย์ได้คะแนนความเข้าใจได้สูงกว่า; ผลลัพธ์จากเครื่องได้คะแนนความให้ข้อมูลสูงกว่าเล็กน้อย | คอร์ปัสขนาดเล็ก; ไม่ใช่การทดสอบความปลอดภัยทางคลินิก |
| Tougas et al., 2022 | ผู้ป่วย 6 รายแต่ละรายถูกสัมภาษณ์ภายใต้วิธีสัมภาษณ์จิตเวช 2 แบบที่ต่างกัน | ภาษาภาพพจน์มักถูกแปลผิดในทั้งสองวิธี | การสัมภาษณ์ต่างกันและตัวอย่างสะดวกขนาดเล็ก |
ข้อผิดพลาดทางคลินิก: ตรวจสอบตัวหาร
Feinberg และคณะ เริ่มจากช่วงคำพูดของแพทย์จริง 14 ช่วง แต่ละช่วงถูกแปลเป็น 6 ภาษาโดยแอปในโหมดเสียงและโดยล่ามการแพทย์ที่มีคุณสมบัติ ทำให้ได้คำแปล 84 รายการในแต่ละเงื่อนไข ตารางรายงานคำแปล AI ที่ผิดทางคลินิก 28 รายการ เทียบกับคำแปลของล่าม 4 รายการ ฉบับร่างต้นฉบับเรียกสิ่งนี้ว่า “14 segments” โดยไม่อธิบายตัวหาร 84 ผลลัพธ์ ทำให้เปอร์เซ็นต์ดูเหมือนกว้างหรือแคบกว่าการเปรียบเทียบจริง ประสิทธิภาพยังแตกต่างกันไปตามภาษา: แถวภาษาสเปนบันทึกผลลัพธ์ของแอปที่ผิดทางคลินิก 2 รายการและของล่าม 0 รายการ จากทั้งหมด 14 รายการเท่ากัน ผลลัพธ์นี้ไม่ควรนำไปใช้กับผลิตภัณฑ์ AI หรือทุกภาษา
ความหมายและการถ่ายทอดอาจแยกจากกัน
ในการศึกษา LingualAI ของ Singh และคณะ แพทย์สองภาษาประเมินเสียงที่ไม่ระบุตัวตนจากสถานการณ์ ENT ภาษาอังกฤษ–สเปนที่เขียนสคริปต์ไว้ ด้วยค่าขอบเขต non-inferiority ที่กำหนดล่วงหน้า 0.30 คะแนนบนสเกล 5 คะแนน ระบบภายในองค์กรผ่านเกณฑ์สำหรับคำศัพท์เฉพาะ (ความต่าง 0.07) และความเพียงพอของความหมาย (0.13) แต่ไม่ผ่านสำหรับความชัดเจน (0.50) ความคล่องแคล่ว น้ำเสียง และจังหวะก็ไม่ผ่านขอบเขตเช่นกัน คุณภาพโดยรวมและความมั่นใจทางคลินิกเอนเอียงไปทางล่าม งานนี้ใช้ผู้ประเมิน 9 คนที่มีการมีส่วนร่วมไม่เท่ากัน และรายงานความสอดคล้องระหว่างผู้ประเมินในระดับปานกลาง (Krippendorff’s alpha 0.31) นี่เป็นการจำลอง ไม่ใช่หลักฐานว่าทำงานได้จริงในการดูแลที่ไม่ได้เขียนสคริปต์
สุนทรพจน์ในที่ประชุมและภาษาภาพพจน์
Fantinuoli และ Prandi ประเมินสุนทรพจน์ในที่ประชุม 5 ชุดโดยใช้กรอบที่เน้นความเข้าใจได้และความให้ข้อมูล ล่ามมนุษย์ได้ 84.84% เทียบกับ 73.49% สำหรับความเข้าใจได้ของเครื่อง; ผลลัพธ์จากเครื่องได้ 74.63% เทียบกับ 72.82% สำหรับความให้ข้อมูลของมนุษย์ นี่คือคะแนนภายใต้เกณฑ์ของงานวิจัยนี้ ไม่ใช่ “เปอร์เซ็นต์ความแม่นยำ” ทั่วไป ผู้เขียนเตือนว่าไม่ควรสรุปทั่วไปจากคอร์ปัสขนาดเล็ก
Tougas และคณะ ศึกษาภาษาภาพพจน์ในบทสัมภาษณ์จิตเวช ผู้ป่วย 6 รายมีการสัมภาษณ์หนึ่งครั้งโดยมีล่ามมนุษย์เป็นสื่อกลาง และอีกครั้งเป็นภาษาสเปนด้วยการแปลความช่วยเหลือจาก AI ทั้งสองวิธีถ่ายทอดสำนวนและสำนวนภาพพจน์อื่นๆ ได้ไม่ถูกต้องบ่อยครั้ง เนื่องจากถ้อยคำต้นทางแตกต่างกันระหว่างการสัมภาษณ์ งานนี้จึงมีประโยชน์ในการหาจุดล้มเหลวที่ยาก ไม่ใช่สำหรับคะแนนความแม่นยำแบบเปรียบเทียบผลิตภัณฑ์กับล่ามอย่างสะอาดชัดเจน
คุณภาพของล่ามมนุษย์ก็ต้องมีนิยามเช่นกัน
Flores และคณะ วิเคราะห์การพบปะในห้องฉุกเฉินเด็ก 57 ครั้ง และบันทึกข้อผิดพลาดในการแปลความ 1,884 ครั้งในเงื่อนไขที่มีล่ามมืออาชีพ มีล่ามเฉพาะกิจ และไม่มีล่าม ร้อยละ 18 ของ ข้อผิดพลาด เหล่านั้นอาจมีผลทางคลินิก สัดส่วนที่สอดคล้องกันคือ 12% สำหรับล่ามมืออาชีพ 22% สำหรับล่ามเฉพาะกิจ และ 20% เมื่อไม่มีล่าม ตัวเลขเหล่านี้ไม่ใช่เปอร์เซ็นต์ของถ้อยคำทั้งหมดที่แปลถูกต้อง
ภายในกลุ่มล่ามมืออาชีพ สัดส่วนของข้อผิดพลาดที่อาจมีผลทางคลินิกคือ 2% สำหรับล่ามที่มีการฝึกอบรมอย่างน้อย 100 ชั่วโมง และ 12% สำหรับผู้ที่มีชั่วโมงน้อยกว่า ความสัมพันธ์นี้ไม่ได้หมายความว่ากลุ่มใดมีอัตราความแม่นยำโดยรวม 98% หรือ 88% แต่หมายความว่าผู้ซื้อควรถามเรื่องการฝึกอบรมและวิธีระบุข้อผิดพลาดที่มีผลกระทบ แทนที่จะมองคำว่า “มนุษย์” เป็นฐานอ้างอิงเดียวที่เหมือนกันทั้งหมด
เช็กลิสต์การประเมินแบบใช้งานได้จริง
- ให้ตรงกับบริบท. ทดสอบภาษาจริง สำเนียง คุณภาพเสียง การผลัดกันพูด และคำศัพท์เทคนิคที่คุณใช้จริง บทสนทนา ENT ที่เขียนสคริปต์ไว้ไม่ได้ยืนยันประสิทธิภาพในที่ประชุมหรือเหตุฉุกเฉิน
- กำหนดตัวหารให้ชัด. นับถ้อยคำต้นทาง ผลลัพธ์ที่แปล ข้อผิดพลาดที่ตรวจพบ และข้อผิดพลาดที่มีผลกระทบ แยกจากกัน
- ให้คะแนนมากกว่าคำ. ให้ผู้ประเมินสองภาษาที่มีคุณสมบัติประเมินคำศัพท์เฉพาะ ความหมายที่คงไว้ ความเข้าใจได้ การตกหล่น และผลกระทบ โดยควรไม่รู้ที่มาของแต่ละผลลัพธ์
- บันทึกเส้นทางการแก้ไข. ตัดสินใจว่าผู้เข้าร่วมสามารถทักท้วงคำบรรยาย หยุด พูดซ้ำ หรือเรียกล่ามที่มีคุณสมบัติเมื่อใด
- รายงานความไม่แน่นอน. ระบุขนาดตัวอย่างและผลลัพธ์แยกตามภาษา อย่าเปลี่ยนการทดลองขนาดเล็กให้กลายเป็นการรับประกันสำหรับทุกภาษา
สำหรับตัวชี้วัด AI เทียบกับ AI ดู คู่มือความแม่นยำของการแปลแบบเรียลไทม์ ของเรา หากต้องการบันทึกเป็นลายลักษณ์อักษรแทนการพูดข้ามภาษาแบบสด ดู การเปรียบเทียบความแม่นยำของการถอดเสียง หน้าเหล่านั้นตอบคำถามคนละแบบกับการจัดหาล่ามมนุษย์
MirrorCaption เหมาะกับตรงไหน
MirrorCaption ให้บริการการถอดเสียงและการแปลแบบสด เพื่อให้ผู้ใช้ตรวจสอบต้นฉบับและข้อความแปลเคียงข้างกันได้ Speak Translations สามารถอ่านเสียงที่แปลแล้วออกมาได้ ฟีเจอร์เหล่านี้ช่วยได้ในการประชุมและการสนทนาทั่วไป แต่การศึกษาที่กล่าวถึงในบทความนี้ไม่ได้ประเมิน MirrorCaption ผลิตภัณฑ์นี้ไม่ใช่ล่ามมนุษย์ที่มีคุณสมบัติหรือบริการแปลความทางคลินิก
สำหรับการตัดสินใจทางคลินิกและการสนทนาที่มีความเสี่ยงสูงอื่นๆ ให้จัดหาล่ามที่มีคุณสมบัติเหมาะสมตามกระบวนการเข้าถึงภาษาขององค์กรที่เกี่ยวข้อง แนวทางการเข้าถึงภาษาของ HHS อธิบายล่ามที่มีคุณสมบัติและกฎแยกต่างหากสำหรับเอกสารที่แปลด้วยเครื่อง; ข้อหลังไม่ควรถูกตีความว่าเป็นการรับรองการแปลความด้วย AI แบบไม่มีการกำกับดูแล ตรวจสอบนโยบายปัจจุบันและการสื่อสารเฉพาะกรณีก่อนเลือกเวิร์กโฟลว์
คำถามที่พบบ่อย
การแปลความด้วย AI เมื่อเทียบกับล่ามมนุษย์แม่นยำแค่ไหน?
ไม่มีเปอร์เซ็นต์เดียวที่นำไปใช้ได้กับทุกกรณี ผลลัพธ์ที่เผยแพร่แตกต่างกันตามระบบ ภาษา งาน และวิธีให้คะแนน ในการศึกษาอังกฤษ–สเปนแบบเขียนสคริปต์งานหนึ่ง AI ผ่านเกณฑ์ด้านความหมายและคำศัพท์เฉพาะ แต่ไม่ผ่านเกณฑ์ด้านความชัดเจนและการถ่ายทอดคำพูด; การทดสอบการพูดทางคลินิก 6 ภาษาอีกงานพบผลลัพธ์ที่ผิดทางคลินิกจากแอปมากกว่าจากล่ามที่มีคุณสมบัติ
ตัวเลข 82–88% สำหรับ AI เทียบกับ 98–99% สำหรับมนุษย์มาจากไหน?
บทความในอุตสาหกรรมระบุตัวเลขคู่นี้ว่าเป็นของการศึกษา Stanford NLP โดยไม่ลิงก์งานวิจัยหรือให้นิยามความแม่นยำ เราไม่สามารถยืนยันแหล่งที่มาได้ ขอให้อ่านงานต้นฉบับและวิธีให้คะแนนก่อนอ้างตัวเลขเหล่านี้
ล่ามมนุษย์ที่ผ่านการฝึกอบรมแม่นยำ 99% หรือไม่?
การศึกษา Flores ไม่ได้รายงานอัตราความแม่นยำทั่วไป 99% แต่พบว่า 18% ของข้อผิดพลาดในการแปลความ 1,884 ครั้งที่บันทึกไว้มีผลทางคลินิกที่อาจเกิดขึ้นได้; ในกลุ่มล่ามมืออาชีพ สัดส่วนของข้อผิดพลาดที่อาจมีผลแตกต่างกันไปตามชั่วโมงการฝึกอบรม
AI สามารถแทนล่ามที่มีคุณสมบัติในการนัดหมายทางการแพทย์ได้หรือไม่?
งานศึกษาเหล่านี้ไม่ได้แสดงว่าทำได้ ใช้กระบวนการเข้าถึงภาษาขององค์กรดูแลสุขภาพสำหรับการสื่อสารทางคลินิกที่มีผลกระทบ AI อาจช่วยได้ในกรณีที่เหมาะสม โดยมีเส้นทางที่ชัดเจนไปสู่การแปลความโดยมนุษย์ที่มีคุณสมบัติและการทบทวน
ทีมควรเปรียบเทียบการแปลความของ AI และมนุษย์อย่างไร?
ทดสอบภาษาจริงและงานจริงที่คุณต้องการ รายงานจำนวนถ้อยคำต้นทางและผลลัพธ์ ให้คะแนนความหมายและความเข้าใจได้แยกกัน ระบุข้อผิดพลาดที่มีผลกระทบ และบันทึกว่าผู้เข้าร่วมจะขอแก้ไขหรือขอล่ามที่มีคุณสมบัติได้อย่างไร
ติดตามบทสนทนาในชีวิตประจำวัน
ดูคำพูดต้นฉบับและคำแปลสดเคียงข้างกัน ลองใช้ฟรี 1 ชั่วโมงแบบครั้งเดียว
เริ่มใช้ฟรี