Ketepatan AI vs Jurubahasa Manusia: Apa yang Diukur

Sejauh mana ketepatan tafsiran AI berbanding dengan jurubahasa manusia? Perbandingan yang diterbitkan tidak memberikan satu peratusan yang boleh dipindahkan. Hasilnya bergantung pada pasangan bahasa, sama ada tugas itu pertuturan langsung atau bahan rakaman, siapa yang mentafsir, dan sama ada penilai mengira perkataan yang salah, penyampaian yang tidak jelas atau kesilapan yang boleh mengubah keputusan.

Mengapa Satu Peratusan Ketepatan Mengelirukan

Satu artikel industri memetik 82–88% untuk AI dan 98–99% untuk jurubahasa manusia sambil mengaitkan pasangan angka itu kepada kajian Stanford NLP tanpa memautkannya atau mentakrifkan “ketepatan.” Kami tidak dapat mengesahkan petikan itu. Jangan gunakan peratusan tersebut sebagai penanda aras tanpa kajian asal, kaedah pemarkahannya dan sampelnya.

Walaupun angka yang bersumber boleh menjawab soalan yang salah. Kadar ralat pada tahap perkataan tidak memberitahu anda sama ada pendengar memahami amaran. Bahagian ralat dengan kemungkinan akibat klinikal tidak memberitahu anda berapa bahagian daripada semua ujaran yang salah. Kajian di bawah mengukur hasil yang berbeza, jadi peratusannya tidak boleh digabungkan atau disusun seolah-olah ia satu ujian.

Apa yang Sebenarnya Ditemui oleh Empat Perbandingan yang Diterbitkan

Kertas-kertas ini merangkumi sistem dan tetapan yang berbeza. Tiga membandingkan output secara langsung; kajian bahasa kiasan membandingkan dua kaedah temu bual dengan enam pesakit yang sama, jadi ia tidak mengasingkan enjin terjemahan pada ujaran yang sama.

Ralat klinikal: semak penyebut

Feinberg dan rakan-rakan bermula dengan 14 segmen pertuturan doktor sebenar. Setiap satu diterjemahkan ke dalam enam bahasa oleh aplikasi dalam mod suara dan oleh jurubahasa perubatan bertauliah, menghasilkan 84 terjemahan dalam setiap keadaan. Jadual itu melaporkan 28 terjemahan AI yang salah dari segi klinikal berbanding empat terjemahan jurubahasa. Draf asal memanggil ini “14 segmen” tanpa menerangkan penyebut 84 output, menjadikan peratusan kelihatan lebih luas atau lebih sempit daripada perbandingan sebenar. Prestasi juga berbeza mengikut bahasa: baris Sepanyol merekodkan dua output aplikasi yang salah dari segi klinikal dan sifar output jurubahasa daripada 14 setiap satu. Hasil ini tidak sepatutnya digunakan untuk setiap produk AI atau bahasa.

Makna dan penyampaian boleh berbeza

Dalam kajian LingualAI oleh Singh dan rakan-rakan, klinisi dwibahasa menilai audio tanpa nama daripada senario ENT Inggeris–Sepanyol berasaskan skrip. Dengan margin tidak kurang berkesan 0.30 mata yang telah ditetapkan pada skala lima mata, sistem dalaman itu memenuhi ambang untuk istilah (perbezaan 0.07) dan kecukupan makna (0.13), tetapi gagal untuk kejelasan (0.50). Kefasihan, prosodi dan rentak juga gagal mencapai margin. Kualiti keseluruhan dan keyakinan klinikal memihak kepada jurubahasa. Kajian itu menggunakan sembilan penilai dengan penyertaan yang tidak seimbang dan melaporkan persetujuan antara penilai yang sederhana (alpha Krippendorff 0.31). Ia ialah simulasi, bukan bukti prestasi dalam penjagaan tanpa skrip.

Pertuturan persidangan dan bahasa kiasan

Fantinuoli dan Prandi menilai lima ucapan persidangan menggunakan rangka kerja yang menumpukan pada kebolehfahaman dan kebermakluman. Jurubahasa manusia mendapat 84.84% berbanding 73.49% untuk kebolehfahaman mesin; output mesin mendapat 74.63% berbanding 72.82% untuk kebermakluman manusia. Ini ialah skor mengikut rubrik kajian ini, bukan “peratusan ketepatan” umum. Para penulis memberi amaran supaya tidak membuat generalisasi daripada korpus kecil itu.

Tougas dan rakan-rakan mengkaji bahasa kiasan dalam temu bual psikiatri. Enam pesakit mempunyai satu temu bual yang dimediasi oleh jurubahasa manusia dan satu lagi dalam bahasa Sepanyol dengan tafsiran dibantu AI. Kedua-dua kaedah kerap menterjemahkan simpulan bahasa dan ungkapan kiasan lain secara tidak tepat. Oleh sebab ujaran sumber berbeza antara temu bual, kajian ini berguna untuk mencari mod kegagalan yang sukar, bukan untuk skor ketepatan produk berbanding jurubahasa yang bersih.

Kualiti Jurubahasa Manusia Juga Perlu Definisi

Flores dan rakan-rakan menganalisis 57 pertemuan kecemasan pediatrik dan merekodkan 1,884 ralat tafsiran merentas keadaan jurubahasa profesional, ad hoc dan tanpa jurubahasa. Lapan belas peratus daripada ralat itu mempunyai potensi akibat klinikal. Bahagian yang sepadan ialah 12% untuk jurubahasa profesional, 22% untuk jurubahasa ad hoc dan 20% tanpa jurubahasa. Angka-angka ini bukan peratusan daripada semua pertuturan yang diterjemahkan dengan betul.

Dalam kumpulan profesional, bahagian ralat dengan potensi akibat klinikal ialah 2% untuk jurubahasa dengan sekurang-kurangnya 100 jam latihan dan 12% untuk mereka yang mempunyai jam yang lebih sedikit. Perkaitan ini tidak bermakna mana-mana kumpulan mempunyai kadar ketepatan keseluruhan 98% atau 88%. Ia bermakna pembeli harus bertanya tentang latihan dan bagaimana ralat yang membawa kesan dikenal pasti, bukannya menganggap “manusia” sebagai satu penanda aras yang seragam.

Senarai Semak Penilaian Praktikal

1. Padankan tetapan. Uji bahasa sebenar anda, dialek, kualiti audio, giliran bercakap dan perbendaharaan kata teknikal. Dialog ENT berasaskan skrip tidak membuktikan prestasi persidangan atau kecemasan.
2. Tentukan penyebut. Kira ujaran sumber, output terjemahan, ralat yang dikesan dan ralat yang membawa kesan secara berasingan.
3. Nilai lebih daripada perkataan. Minta penilai dwibahasa bertauliah menilai istilah, makna yang dikekalkan, kebolehfahaman, pengguguran dan akibat, sebaik-baiknya tanpa mengetahui sumber setiap output.
4. Rekod laluan pembetulan. Tentukan bila peserta boleh mencabar kapsyen, berhenti seketika, mengulangi kenyataan atau membawa masuk jurubahasa bertauliah.
5. Lapor ketidakpastian. Nyatakan saiz sampel dan hasil khusus bahasa; jangan jadikan eksperimen kecil sebagai jaminan untuk semua bahasa.

Untuk metrik alat AI ke alat AI, lihat panduan ketepatan terjemahan masa nyata kami. Untuk rekod bertulis dan bukannya pertuturan silang bahasa secara langsung, lihat perbandingan ketepatan transkripsi. Halaman tersebut menjawab soalan yang berbeza daripada menempatkan jurubahasa manusia.

Di Mana MirrorCaption Sesuai

MirrorCaption menawarkan transkripsi dan terjemahan langsung supaya orang boleh memeriksa teks asal dan terjemahan bersebelahan. Speak Translations boleh membacakan pertuturan yang diterjemahkan dengan kuat. Ciri-ciri ini boleh membantu dalam mesyuarat dan perbualan biasa, tetapi kajian dalam artikel ini tidak menilai MirrorCaption. Produk ini bukan jurubahasa manusia bertauliah atau perkhidmatan tafsiran klinikal.

Untuk keputusan klinikal dan perbualan berisiko tinggi yang lain, aturkan jurubahasa yang layak dengan sewajarnya di bawah proses akses bahasa organisasi yang berkaitan. Panduan akses bahasa HHS menerangkan jurubahasa bertauliah dan peraturan berasingan untuk dokumen yang diterjemahkan mesin; yang terakhir tidak boleh dibaca sebagai kelulusan untuk tafsiran pertuturan AI tanpa pengawasan. Semak dasar semasa dan komunikasi khusus sebelum memilih aliran kerja.

Soalan Lazim

Sejauh mana ketepatan tafsiran AI berbanding dengan jurubahasa manusia?

Tiada satu peratusan yang boleh dipindahkan. Hasil yang diterbitkan berbeza mengikut sistem, bahasa, tugas dan kaedah pemarkahan. Dalam satu kajian Inggeris–Sepanyol berasaskan skrip, AI memenuhi ambang makna dan istilah tetapi gagal pada ambang kejelasan dan penyampaian pertuturan; satu ujian pertuturan klinikal enam bahasa yang berasingan mendapati lebih banyak output yang salah dari segi klinikal daripada aplikasinya berbanding jurubahasa bertauliah.

Dari mana datangnya statistik 82–88% AI berbanding 98–99% manusia?

Satu artikel industri mengaitkan pasangan angka itu kepada kajian Stanford NLP tanpa memautkan kajian tersebut atau mentakrifkan ketepatan. Kami tidak dapat mengesahkan sumbernya. Minta kertas asal dan kaedah pemarkahan sebelum memetik angka tersebut.

Adakah jurubahasa manusia yang terlatih 99% tepat?

Kajian Flores tidak melaporkan kadar ketepatan umum 99%. Ia mendapati bahawa 18% daripada 1,884 ralat tafsiran yang direkodkan mempunyai kemungkinan akibat klinikal; dalam kalangan jurubahasa profesional, bahagian ralat dengan kemungkinan akibat berbeza mengikut jam latihan.

Bolehkah AI menggantikan jurubahasa bertauliah dalam temu janji perubatan?

Kajian-kajian ini tidak membuktikan bahawa ia boleh. Gunakan proses akses bahasa organisasi penjagaan untuk komunikasi klinikal yang membawa kesan. AI mungkin membantu apabila sesuai, dengan laluan yang jelas kepada tafsiran manusia bertauliah dan semakan.

Bagaimanakah pasukan harus membandingkan tafsiran AI dan manusia?

Uji bahasa dan tugas sebenar yang anda perlukan. Laporkan bilangan ujaran sumber dan output, nilai makna dan kebolehfahaman secara berasingan, kenal pasti ralat yang membawa kesan, dan dokumentasikan bagaimana peserta mendapat pembetulan atau jurubahasa bertauliah.