韓国語の文字起こしは、ある指標では正確に見えても、別の指標では弱く見えることがあります。KsponSpeech の研究では、あるシステムが Eval-clean セットで 8.0% character error rate (CER), 14.2% space-independent word error rate (sWER), and 21.9% word error rate (WER) を記録しました。これらの数値は異なる単位を測るもので、3つの競合する製品の主張ではありません。ここでは、それらの読み方と、実際に手元にある韓国語音声でツールを試す方法を解説します。

Key Takeaways

CER、sWER、WER は何を測るのか

KsponSpeech の研究は、韓国語の自発話に対して SpecAugment を用いた Transformer を評価しました。Eval-clean の結果は、なぜ指標が重要なのかを示しています。

MetricEval-cleanWhat changes
CER8.0%文字の編集回数を数える。
sWER14.2%単語間スペースの違いによる影響を小さくする。
WER21.9%単語境界を設定した後の単語編集回数を数える。

これらは MirrorCaption や他のサービスの精度推定ではなく、1つの研究モデルと評価セットの測定値です。WER と sWER はトークン化が異なるため、7.7ポイントの差はスペースがスコアに影響することを示しています。スペースによって何件の認識エラーが生じたかを正確に数えているわけではありません。私たちの文字起こし精度比較では、エラー率のより広い限界を説明しています。

スペースは文字を変えずに意味を変えることがある

아버지가방에들어가신다 を考えてみましょう。スペースを入れた 아버지가 방에 들어가신다 は「父が部屋に入る」という意味ですが、아버지 가방에 들어가신다 は「父がかばんに入る」という意味になります。文字は同じです。スペースを無視した文字レベルの比較では、意図した文が復元されたかどうかは分かりません。

会議メモでは、総合スコアだけでなく、名前、肩書き、文の区切りも確認してください。役職名や会社名が曖昧な場合は、文字起こしを録音と文脈で照合しましょう。KsponSpeech の著者は、自発話の参照文におけるスペースの不一致について論じています。この例は、CER だけでは意味を判断できないことを示しています。

韓国語と英語の切り替えは別々にテストする

HiKE の研究は、13人のバイリンガル話者から 1,121 件の韓国語・英語発話を収集しました。これは、切り替え点に焦点を当てた mixed error rate (MER) と point of interest error rate (PIER) を用いて混在音声を評価しています。論文の表では、GPT-4o Transcribe は 別の単一言語の韓国語 FLEURS セット で 2.5% CER を記録し、HiKE では単語レベルの切り替えに対して 25.8% PIER を記録しました。これらの値は異なる音声と指標に基づくため、前後の損失を直接比較するものとして読むことはできません。

研究者は、両方が有効な場合にはハングル表記またはラテン文字表記の借用語を受け入れ、データセット上の測定誤差を減らしました。製品の試用では、英語の略語、借用語、固有名詞を必ず含めてください。私たちの多言語文字起こしガイドでは、原言語の取得と翻訳を区別しています。

正確なモデルとワークフローを確認する

ベンダーの韓国語対応の主張は、すべてのモデルに当てはまるわけではありません。Deepgram のモデル一覧では Nova-3 に ko/ko-KR が含まれていますが、Flux speech-to-text には韓国語がありません。Google Cloud の表には、モデルとリージョン情報付きで ko-KR が掲載されています。実際に使う予定のライブ処理またはアップロード処理の、現在の一覧を確認してください。

MirrorCaption は、ライブ文字起こしの言語に韓国語を含めており、想定される用語に対するカスタム語彙ヒントも提供しています。ただし、これらの補助機能が正しい同音異義語やスペースの選択を保証するわけではありません。MirrorCaption は韓国語 CER を公開しておらず、方言やスペースの選択機能もなく、認定された文字起こしサービスでもありません。記録が法的、医療的、またはその他の重大な影響を持つ場合は、人による確認を行ってください。

5分でできる韓国語文字起こし試験

  1. 通常のマイク、背景ノイズ、韓国語と英語の切り替えを含む代表的な音声を選びます。
  2. 意味を正しく残す必要がある名前やフレーズを書き出します。対応する語彙ヒントを追加します。
  3. 出力を人手の参照文と比較し、その後、意味を変える誤りをもう一度聞き直します。スペースと表記の選択は別々に記録します。
  4. ベンダーのドキュメントで、正確なモデル、ライブまたはファイルのワークフロー、出力形式、現在の価格を確認します。

ブラウザでのライブ試用なら、MirrorCaption を開いてご自身の韓国語音声を確認してください。無料の1時間で、ワークフローが合うかどうかを判断する前に結果を確認できます。録音ファイルの場合は、別のアップロード用 Transcriber を使い、その言語設定とエクスポートオプションが用途に合っているか確認してください。

よくある質問

韓国語の文字起こしの精度はどのくらいですか?

単一の精度指標はありません。KsponSpeech の Eval-clean セットでは、ある研究システムが 8.0% character error rate、14.2% space-independent word error rate、21.9% word error rate を記録しました。これらは研究結果であり、商用ツールの保証ではありません。

なぜ韓国語の CER と WER は異なるのですか?

数える単位が異なるからです。標準的な word error rate は単語境界の影響を受けやすく、space-independent WER は不一致なスペースの影響を小さくします。character error rate では、同じハングル文字でもスペースの入れ方が違うと意味の変化を見逃すことがあります。

1つの録音で韓国語と英語を文字起こしできますか?

一部のモデルは混在言語認識をサポートしていますが、必ずご自身の音声でそのモデルを試してください。HiKE の研究では、韓国語と英語の切り替え点で誤りが見つかりました。単一言語と混在音声の結果は異なる音声と指標を使っているため、直接の精度比較にはなりません。

韓国語対応ベンダーのすべてのモデルが韓国語をサポートしていますか?

いいえ。Deepgram は現在 Nova-3 に韓国語を掲載していますが、Flux speech-to-text の言語一覧には韓国語がありません。録音またはライブ処理に使う現在のモデル文書を確認してください。

韓国語文字起こしツールはどのようにテストすればよいですか?

名前、スペースの曖昧さ、英語用語を含む代表的な5分の録音を使ってください。人手の参照文と比較し、意味を変える誤りを確認し、導入前にモデル、エクスポート形式、現在の価格をチェックしましょう。

音声で韓国語文字起こしを試す

無料の1時間を使って、実際の録音で名前、スペース、混在言語の音声を確認しましょう。

Get Started Free