Akurasi AI vs Penerjemah Manusia: Apa yang Diukur Studi

Seberapa akurat interpretasi AI dibandingkan dengan penerjemah manusia? Perbandingan yang dipublikasikan tidak memberikan satu persentase yang bisa diterapkan secara umum. Hasilnya bergantung pada pasangan bahasa, apakah tugasnya berupa ucapan langsung atau materi rekaman, siapa yang melakukan interpretasi, dan apakah evaluator menghitung kata yang salah, penyampaian yang tidak jelas, atau kesalahan yang dapat mengubah keputusan.

Mengapa Satu Persentase Akurasi Menyesatkan

Sebuah artikel industri mengutip 82–88% untuk AI dan 98–99% untuk penerjemah manusia sambil mengaitkan pasangan angka itu ke studi Stanford NLP tanpa menautkannya atau mendefinisikan “akurasi.” Kami tidak dapat memverifikasi sitasi itu. Jangan gunakan persentase tersebut sebagai tolok ukur tanpa studi aslinya, metode penilaiannya, dan sampelnya.

Bahkan angka yang bersumber pun bisa menjawab pertanyaan yang salah. Tingkat kesalahan pada level kata tidak memberi tahu apakah pendengar memahami peringatan. Proporsi kesalahan dengan kemungkinan konsekuensi klinis tidak memberi tahu berapa proporsi seluruh ujaran yang salah. Studi-studi di bawah ini mengukur hasil yang berbeda, jadi persentasenya tidak dapat digabungkan atau diperingkat seolah-olah semuanya berasal dari satu tes.

Apa yang Sebenarnya Ditemukan Empat Perbandingan yang Dipublikasikan

Makalah-makalah ini mencakup sistem dan pengaturan yang berbeda. Tiga membandingkan keluaran secara langsung; studi bahasa figuratif membandingkan dua metode wawancara dengan enam pasien yang sama, jadi studi itu tidak mengisolasi mesin penerjemah pada ujaran yang identik.

Kesalahan klinis: periksa penyebutnya

Feinberg dan rekan-rekan memulai dengan 14 segmen ucapan dokter yang nyata. Masing-masing diterjemahkan ke dalam enam bahasa oleh aplikasi dalam mode suara dan oleh penerjemah medis tersertifikasi, menghasilkan 84 terjemahan pada setiap kondisi. Tabel tersebut melaporkan 28 terjemahan AI yang salah secara klinis versus empat terjemahan penerjemah. Draf asli menyebut ini “14 segmen” tanpa menjelaskan penyebut 84 keluaran, sehingga persentasenya tampak lebih luas atau lebih sempit daripada perbandingan sebenarnya. Kinerja juga berbeda antarbahasa: baris bahasa Spanyol mencatat dua keluaran aplikasi yang salah secara klinis dan nol keluaran penerjemah dari masing-masing 14. Hasil ini tidak boleh diterapkan pada setiap produk AI atau bahasa.

Makna dan penyampaian bisa berbeda

Dalam studi LingualAI oleh Singh dan rekan-rekan, klinisi dwibahasa menilai audio anonim dari skenario THT Inggris–Spanyol yang disusun naskahnya. Dengan margin non-inferioritas 0.30 poin yang telah ditentukan sebelumnya pada skala lima poin, sistem internal memenuhi ambang untuk terminologi (selisih 0.07) dan kecukupan makna (0.13), tetapi gagal untuk kejelasan (0.50). Kefasihan, prosodi, dan tempo juga tidak memenuhi margin. Kualitas keseluruhan dan keyakinan klinis lebih memihak penerjemah. Studi ini menggunakan sembilan penilai dengan partisipasi yang tidak merata dan melaporkan kesepakatan antarpenilai yang moderat (alpha Krippendorff 0.31). Ini adalah simulasi, bukan bukti kinerja dalam perawatan tanpa naskah.

Ucapan konferensi dan bahasa figuratif

Fantinuoli dan Prandi menilai lima pidato konferensi menggunakan kerangka yang berfokus pada keterpahaman dan informativeness. Penerjemah manusia mendapat skor 84.84% versus 73.49% untuk keterpahaman mesin; keluaran mesin mendapat skor 74.63% versus 72.82% untuk informativeness manusia. Ini adalah skor menurut rubrik studi ini, bukan “persentase akurasi” umum. Para penulis memperingatkan agar tidak menggeneralisasi dari korpus kecil.

Tougas dan rekan-rekan mempelajari bahasa figuratif dalam wawancara psikiatri. Enam pasien menjalani satu wawancara yang dimediasi oleh penerjemah manusia dan satu lagi dalam bahasa Spanyol dengan interpretasi berbantuan AI. Kedua metode sering menerjemahkan idiom dan ungkapan figuratif lainnya secara tidak akurat. Karena ujaran sumber berbeda antarwawancara, studi ini berguna untuk menemukan mode kegagalan yang sulit, bukan untuk skor akurasi produk-versus-penerjemah yang bersih.

Kualitas Penerjemah Manusia Juga Perlu Definisi

Flores dan rekan-rekan menganalisis 57 pertemuan gawat darurat pediatrik dan mencatat 1,884 kesalahan interpretasi di bawah kondisi penerjemah profesional, ad hoc, dan tanpa penerjemah. Delapan belas persen dari kesalahan tersebut memiliki potensi konsekuensi klinis. Proporsi yang sesuai adalah 12% untuk penerjemah profesional, 22% untuk penerjemah ad hoc, dan 20% tanpa penerjemah. Angka-angka ini bukan persentase dari seluruh ucapan yang diterjemahkan dengan benar.

Di dalam kelompok profesional, proporsi kesalahan dengan potensi konsekuensi klinis adalah 2% untuk penerjemah dengan setidaknya 100 jam pelatihan dan 12% untuk mereka yang jamnya lebih sedikit. Asosiasi ini tidak berarti salah satu kelompok memiliki tingkat akurasi keseluruhan 98% atau 88%. Artinya, pembeli harus menanyakan pelatihan dan bagaimana kesalahan yang berkonsekuensi diidentifikasi, alih-alih memperlakukan “manusia” sebagai satu baseline yang seragam.

Daftar Periksa Evaluasi Praktis

1. Sesuaikan dengan konteks. Uji bahasa, dialek, kualitas audio, pergantian giliran bicara, dan kosakata teknis yang benar-benar Anda gunakan. Dialog THT yang disusun naskahnya tidak membuktikan kinerja konferensi atau gawat darurat.
2. Tentukan penyebutnya. Hitung ujaran sumber, keluaran terjemahan, kesalahan yang terdeteksi, dan kesalahan yang berkonsekuensi secara terpisah.
3. Nilai lebih dari sekadar kata. Minta peninjau dwibahasa yang memenuhi syarat menilai terminologi, makna yang dipertahankan, keterpahaman, penghilangan, dan konsekuensi, sebaiknya tanpa mengetahui sumber setiap keluaran.
4. Catat jalur koreksi. Putuskan kapan peserta dapat menantang caption, menjeda, mengulangi pernyataan, atau menghadirkan penerjemah yang memenuhi syarat.
5. Laporkan ketidakpastian. Nyatakan ukuran sampel dan hasil spesifik bahasa; jangan mengubah eksperimen kecil menjadi jaminan untuk semua bahasa.

Untuk metrik alat AI ke alat AI, lihat panduan akurasi terjemahan waktu nyata kami. Untuk catatan tertulis alih-alih ucapan lintas bahasa langsung, lihat perbandingan akurasi transkripsi. Halaman-halaman itu menjawab pertanyaan yang berbeda dari penempatan penerjemah manusia.

Di Mana MirrorCaption Berperan

MirrorCaption menawarkan transkripsi dan terjemahan langsung sehingga orang dapat memeriksa teks asli dan terjemahan berdampingan. Speak Translations dapat membacakan ucapan terjemahan dengan suara keras. Fitur-fitur ini dapat membantu dalam rapat dan percakapan biasa, tetapi studi dalam artikel ini tidak mengevaluasi MirrorCaption. Produk ini bukan penerjemah manusia yang memenuhi syarat atau layanan interpretasi klinis.

Untuk keputusan klinis dan percakapan berisiko tinggi lainnya, atur penerjemah yang memenuhi kualifikasi yang sesuai melalui proses akses bahasa organisasi yang relevan. Panduan akses bahasa HHS menjelaskan penerjemah yang memenuhi syarat dan aturan terpisah untuk dokumen yang diterjemahkan mesin; yang terakhir tidak boleh dibaca sebagai persetujuan atas interpretasi ucapan AI tanpa pengawasan. Periksa kebijakan yang berlaku dan komunikasi tertentu sebelum memilih alur kerja.

Pertanyaan yang Sering Diajukan

Seberapa akurat interpretasi AI dibandingkan dengan penerjemah manusia?

Tidak ada satu persentase yang bisa diterapkan secara umum. Hasil yang dipublikasikan berbeda حسب sistem, bahasa, tugas, dan metode penilaian. Dalam satu studi Inggris–Spanyol yang disusun naskahnya, AI memenuhi ambang makna dan terminologi tetapi gagal pada ambang kejelasan dan penyampaian ucapan; uji ucapan klinis enam bahasa terpisah menemukan lebih banyak keluaran yang salah secara klinis dari aplikasinya dibandingkan dari penerjemah tersertifikasi.

Dari mana statistik 82–88% AI versus 98–99% manusia berasal?

Sebuah artikel industri mengaitkan pasangan angka itu ke studi Stanford NLP tanpa menautkan studi tersebut atau mendefinisikan akurasi. Kami tidak dapat memverifikasi sumbernya. Minta makalah asli dan metode penilaian sebelum mengutip angka-angka itu.

Apakah penerjemah manusia yang terlatih 99% akurat?

Studi Flores tidak melaporkan tingkat akurasi umum 99%. Studi itu menemukan bahwa 18% dari 1,884 kesalahan interpretasi yang tercatat memiliki kemungkinan konsekuensi klinis; di antara penerjemah profesional, proporsi kesalahan dengan kemungkinan konsekuensi berbeda menurut jam pelatihan.

Bisakah AI menggantikan penerjemah yang memenuhi syarat dalam janji medis?

Studi-studi ini tidak membuktikan bahwa AI bisa. Gunakan proses akses bahasa organisasi perawatan untuk komunikasi klinis yang berkonsekuensi. AI dapat membantu bila sesuai, dengan jalur yang jelas menuju interpretasi manusia yang memenuhi syarat dan peninjauan.

Bagaimana tim harus membandingkan interpretasi AI dan manusia?

Uji bahasa dan tugas nyata yang Anda butuhkan. Laporkan jumlah ujaran sumber dan keluaran, nilai makna dan keterpahaman secara terpisah, identifikasi kesalahan yang berkonsekuensi, dan dokumentasikan bagaimana peserta mendapatkan koreksi atau penerjemah yang memenuhi syarat.