কোরিয়ান ট্রান্সক্রিপশন এক দিক থেকে নির্ভুল দেখাতে পারে, আবার অন্য দিক থেকে দুর্বল হতে পারে। KsponSpeech গবেষণায় একটি সিস্টেম তার Eval-clean সেটে 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), and 21.9% word error rate (WER) স্কোর করেছে। এই সংখ্যাগুলো ভিন্ন ভিন্ন একক মাপে; এগুলো তিনটি প্রতিদ্বন্দ্বী পণ্যের দাবি নয়। এগুলো কীভাবে পড়তে হবে এবং আপনার হাতে থাকা কোরিয়ান অডিওতে একটি টুল কীভাবে পরীক্ষা করতে হবে, তা এখানে দেখানো হলো।
মূল বিষয়গুলো
- যেকোনো কোরিয়ান নির্ভুলতার দাবির পেছনে থাকা মেট্রিক, টেস্ট সেট এবং মডেল জানতে চান।
- শুধু অক্ষর মিল নয়, স্পেসিং এবং অর্থও পর্যালোচনা করুন।
- প্রতিনিধিত্বমূলক অডিওতে কোরিয়ান-ইংরেজি সুইচ এবং আপনার নিজের নামগুলো পরীক্ষা করুন।
CER, sWER এবং WER কী মাপে
KsponSpeech গবেষণা কোরিয়ান স্বতঃস্ফূর্ত বক্তৃতায় SpecAugment সহ একটি Transformer মূল্যায়ন করেছে। এর Eval-clean ফলাফল দেখায় কেন মেট্রিক গুরুত্বপূর্ণ:
| Metric | Eval-clean | What changes |
|---|---|---|
| CER | 8.0% | অক্ষর-স্তরের সম্পাদনা গণনা করে। |
| sWER | 14.2% | শব্দের ফাঁকজনিত পার্থক্যের প্রভাব কমায়। |
| WER | 21.9% | শব্দসীমা নির্ধারণের পর শব্দ-স্তরের সম্পাদনা গণনা করে। |
এগুলো একটি গবেষণা মডেল ও মূল্যায়ন সেটের পরিমাপ, MirrorCaption বা অন্য কোনো সেবার নির্ভুলতার অনুমান নয়। WER এবং sWER ভিন্ন টোকেনাইজেশন ব্যবহার করে, তাই 7.7-পয়েন্টের ব্যবধান দেখায় যে স্পেসিং স্কোরকে প্রভাবিত করে; এটি স্পেসের কারণে ঠিক কতটি স্বীকৃতি-ত্রুটি হয়েছে তা গণনা করে না। আমাদের ট্রান্সক্রিপশন নির্ভুলতা তুলনা ত্রুটির হারের বিস্তৃত সীমাবদ্ধতা ব্যাখ্যা করে।
অক্ষর না বদলিয়েও স্পেসিং অর্থ বদলাতে পারে
아버지가방에들어가신다 বিবেচনা করুন। 아버지가 방에 들어가신다 স্পেসিং-এর অর্থ “Father goes into the room,” আর 아버지 가방에 들어가신다 অর্থ “Father goes into the bag.” অক্ষরগুলো একই। স্পেস উপেক্ষা করে করা অক্ষর-স্তরের তুলনা বলতে পারে না উদ্দেশ্যকৃত বাক্যটি উদ্ধার হয়েছে কি না।
মিটিং নোটের ক্ষেত্রে, সামগ্রিক স্কোরের পাশাপাশি নাম, পদবি এবং বাক্যসীমাও পর্যালোচনা করুন। কোনো ভূমিকা বা কোম্পানির নাম অস্পষ্ট হলে, ট্রান্সক্রিপ্টকে রেকর্ডিং ও প্রসঙ্গের সঙ্গে মিলিয়ে দেখুন। KsponSpeech-এর লেখকেরা স্বতঃস্ফূর্ত বক্তৃতার রেফারেন্সে অসংগত স্পেসিং নিয়ে আলোচনা করেছেন; এই উদাহরণটি দেখায় কেন শুধু CER অর্থ নির্ধারণ করতে পারে না।
কোরিয়ান-ইংরেজি সুইচিং আলাদাভাবে পরীক্ষা করুন
HiKE গবেষণা 13 জন দ্বিভাষিক বক্তার কাছ থেকে 1,121টি কোরিয়ান-ইংরেজি উচ্চারণ সংগ্রহ করেছে। এটি mixed error rate (MER) এবং point of interest error rate (PIER) দিয়ে মিশ্র বক্তৃতা মূল্যায়ন করে, যেখানে PIER সুইচ পয়েন্টের ওপর জোর দেয়। প্রবন্ধের টেবিলে, GPT-4o Transcribe একটি separate monolingual Korean FLEURS set-এ 2.5% CER এবং HiKE-তে শব্দ-স্তরের সুইচিংয়ের জন্য 25.8% PIER পেয়েছে। এই মানগুলো ভিন্ন অডিও ও মেট্রিক ব্যবহার করে, তাই এগুলোকে সরাসরি আগে-পরে ক্ষতি হিসেবে পড়া যায় না।
গবেষকেরা উভয়ই বৈধ হলে হাঙ্গুল বা লাতিন লিপিতে ধার করা শব্দ গ্রহণ করেছেন, ফলে তাদের ডেটাসেটে মাপা ত্রুটি কমেছে। যেকোনো পণ্য পরীক্ষায় ইংরেজি সংক্ষিপ্ত রূপ, ধার করা শব্দ এবং সঠিক নাম অন্তর্ভুক্ত করুন। আমাদের বহুভাষিক ট্রান্সক্রিপশন গাইড মূল ভাষার ক্যাপচার এবং অনুবাদের পার্থক্য ব্যাখ্যা করে।
সঠিক মডেল এবং ওয়ার্কফ্লো যাচাই করুন
একজন বিক্রেতার কোরিয়ান সাপোর্টের দাবি সব মডেলকে অন্তর্ভুক্ত করে না। Deepgram-এর মডেল তালিকা Nova-3-এর জন্য ko/ko-KR অন্তর্ভুক্ত করে, কিন্তু Flux speech-to-text থেকে কোরিয়ান বাদ দেয়। Google Cloud-এর টেবিল মডেল ও অঞ্চল-সংক্রান্ত তথ্যসহ ko-KR তালিকাভুক্ত করে। আপনি যে লাইভ বা আপলোড করা পথ ব্যবহার করতে চান, তার জন্য বর্তমান তালিকা পরীক্ষা করুন।
MirrorCaption তার লাইভ ট্রান্সক্রিপশন ভাষার মধ্যে কোরিয়ান তালিকাভুক্ত করে এবং প্রত্যাশিত শব্দের জন্য কাস্টম ভোকাবুলারি হিন্ট দেয়। এই সহায়তাগুলো সঠিক homophone বা স্পেসিং পছন্দের নিশ্চয়তা দেয় না। MirrorCaption কোনো কোরিয়ান CER প্রকাশ করে না, কোনো dialect বা spacing selector নেই, এবং এটি সার্টিফায়েড ট্রান্সক্রিপশন সেবা নয়। কোনো রেকর্ডের আইনি, চিকিৎসা-সংক্রান্ত বা অন্য উচ্চ-ঝুঁকির প্রভাব থাকলে মানব পর্যালোচনা ব্যবহার করুন।
পাঁচ মিনিটের কোরিয়ান ট্রান্সক্রিপশন ট্রায়াল
- সাধারণ মাইক্রোফোন, ব্যাকগ্রাউন্ড নয়েজ এবং কোরিয়ান-ইংরেজি সুইচসহ প্রতিনিধিত্বমূলক অডিও বেছে নিন।
- যে নাম ও বাক্যাংশের অর্থ অক্ষুণ্ণ থাকতে হবে, সেগুলো লিখে রাখুন। সমর্থিত ভোকাবুলারি হিন্ট যোগ করুন।
- আউটপুটকে মানব রেফারেন্সের সঙ্গে তুলনা করুন, তারপর অর্থ বদলে দেয় এমন ত্রুটির জন্য আবার শুনুন। স্পেসিং এবং স্ক্রিপ্টের পছন্দ আলাদাভাবে নথিভুক্ত করুন।
- প্রোভাইডারের ডকুমেন্টেশনে সঠিক মডেল, লাইভ বা ফাইল ওয়ার্কফ্লো, আউটপুট ফরম্যাট এবং বর্তমান মূল্য নিশ্চিত করুন।
লাইভ ব্রাউজার ট্রায়ালের জন্য, MirrorCaption খুলুন এবং আপনার নিজের কোরিয়ান বক্তৃতা পরীক্ষা করুন। এর ফ্রি ঘণ্টা আপনাকে সিদ্ধান্ত নেওয়ার আগে ফলাফল পর্যালোচনা করতে দেয় যে ওয়ার্কফ্লোটি উপযুক্ত কি না। রেকর্ড করা ফাইলের জন্য, আলাদা আপলোড Transcriber ব্যবহার করুন এবং আপনার কাজের জন্য এর ভাষা ও এক্সপোর্ট অপশন যাচাই করুন।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
কোরিয়ান ট্রান্সক্রিপশন কতটা নির্ভুল?
একটি একক নির্ভুলতার সংখ্যা নেই। KsponSpeech Eval-clean সেটে, একটি গবেষণা সিস্টেম 8.0% character error rate, 14.2% space-independent word error rate এবং 21.9% word error rate রেকর্ড করেছে। এগুলো গবেষণার ফল, বাণিজ্যিক টুলের নিশ্চয়তা নয়।
কোরিয়ান CER এবং WER কেন আলাদা?
এগুলো ভিন্ন একক গণনা করে। স্ট্যান্ডার্ড word error rate শব্দসীমার প্রতি সংবেদনশীল; space-independent WER অসংগত স্পেসিংয়ের প্রভাব কমায়। একই হাঙ্গুল অক্ষর ভিন্নভাবে স্পেস করা হলে character error rate অর্থের পরিবর্তন ধরতে নাও পারে।
একটি টুল কি এক রেকর্ডিংয়ে কোরিয়ান এবং ইংরেজি ট্রান্সক্রাইব করতে পারে?
কিছু মডেল মিশ্র-ভাষার স্বীকৃতি সমর্থন করে, তবে আপনার নিজের বক্তৃতায় নির্দিষ্ট মডেলটি পরীক্ষা করুন। HiKE গবেষণায় কোরিয়ান-ইংরেজি সুইচ পয়েন্টে ত্রুটি পাওয়া গেছে; এর monolingual এবং mixed-speech ফলাফল ভিন্ন অডিও ও মেট্রিক ব্যবহার করে, তাই এগুলো সরাসরি নির্ভুলতার তুলনা নয়।
কোরিয়ান-সক্ষম বিক্রেতার প্রতিটি মডেল কি কোরিয়ান সমর্থন করে?
না। Deepgram বর্তমানে Nova-3-এর জন্য কোরিয়ান তালিকাভুক্ত করে, কিন্তু এর Flux speech-to-text ভাষা তালিকায় কোরিয়ান নেই। আপনার রেকর্ডিং বা লাইভ ওয়ার্কফ্লোর জন্য বর্তমান মডেল ডকুমেন্টেশন পরীক্ষা করুন।
কোরিয়ান ট্রান্সক্রিপশন টুল কীভাবে পরীক্ষা করা উচিত?
নাম, স্পেসিং-সংক্রান্ত অস্পষ্টতা এবং ইংরেজি শব্দসহ একটি প্রতিনিধিত্বমূলক পাঁচ মিনিটের রেকর্ডিং ব্যবহার করুন। মানব রেফারেন্সের সঙ্গে তুলনা করুন, অর্থ বদলে দেয় এমন ত্রুটি পর্যালোচনা করুন, এবং প্রতিশ্রুতি দেওয়ার আগে মডেল, এক্সপোর্ট ফরম্যাট ও বর্তমান মূল্য যাচাই করুন।
আপনার অডিওতে কোরিয়ান ট্রান্সক্রিপশন চেষ্টা করুন
বাস্তব রেকর্ডিংয়ে নাম, স্পেসিং এবং মিশ্র-ভাষার বক্তৃতা পর্যালোচনা করতে আপনার ফ্রি ঘণ্টা ব্যবহার করুন।
বিনামূল্যে শুরু করুন