音声エンジンは、別々の録音で何十もの言語を認識できても、1人の話者が文の途中で言語を切り替えると苦戦することがあります。多言語音声文字起こしでは、次の3つを確認してください。モデルはどの言語を認識できるのか、どのように言語を選ぶのか、そして1つの録音内での切り替えを保持できるのか。 宣伝されている言語数が1つだけでは、この3つすべてには答えられません。
このガイドでは、特定のモデル構成について文書化された挙動を比較し、見落とされた切り替えを明らかにする短いテストも紹介します。ライブツールと録音ツールをより広く比較したい場合は、多言語文字起こしガイドをご覧ください。
- 言語対応範囲は、そのモデルがサポートする言語の集合です。1つのファイル内であらゆる組み合わせが動作する保証ではありません。
- 自動言語検出は、話されているすべての言語を文字起こししなくても、候補の中から最適なものを選べます。
- コードスイッチングとは、文中の変化を含め、文字起こし結果に言語の切り替えを残すことです。正確なモデルと設定を確認してください。
- 自分の録音で各切り替え箇所の出力を測定してください。ベンダーのベンチマークではこの確認に代わりません。
確認すべき3つの仕様
対応範囲は、そのモデルがその言語をそもそもサポートしているかを示します。検出は、リクエストに対して候補言語の中からどのように選ぶかを示します。コードスイッチングは、そのリクエスト内での変化に追従できるかを示します。これらは別々の挙動であり、モデルのバージョンはベンダー名と同じくらい重要です。
たとえば、Google Cloud Speech-to-Text の自動言語認識ガイドでは、最大3つの候補言語を指定でき、サービスはそのリストから最適な言語を使うと説明されています。ここでの3つは選択候補の数を意味し、1つの文字起こしで3つすべてが正しく現れることを約束するものではありません。Google のページでは、この機能が特定のモデルとリージョンに限定されていることも示されています。
モデルのドキュメントが実際に述べていること
| モデルまたは設定 | 文書化された挙動 | テストすべき प्रश्न |
|---|---|---|
| オープンソース Whisper のデフォルト文字起こし | 言語が指定されていない場合、最初の30秒までの範囲から言語を検出し、その言語でデコードします。 | ファイルの後半で言語が変わったらどうなりますか？ |
| Google Cloud Speech-to-Text V2 自動認識 | 最大3つの候補から最適な言語を選択します。これは言語選択であり、公開されたコードスイッチング保証ではありません。 | 出力は切り替え箇所で両方の言語を保持しますか？ |
| AssemblyAI のコードスイッチング設定 | 文書化された手動の言語コード設定は最大2つのコードを受け付け、そのうち1つは英語です。自動コードスイッチング設定では最大2つを検出できます。 | 選択したモデルと言語の組み合わせはこの設定でサポートされていますか？ |
| AssemblyAI Universal-3.5 Pro | サポートされる18言語にわたるネイティブなコードスイッチングを文書化しています。18はサポート対象の集合を示すもので、1ファイルあたりの上限として明記されたものではありません。 | クリップ内のすべての言語はその18言語に含まれていますか。また、切り替えの精度はどの程度ですか？ |
| Deepgram Nova-2 multilingual | 文書化された多言語モードは、英語とスペイン語のコードスイッチングをサポートします。 | 録音はこの正確な組み合わせとモードを使っていますか？ |
| Deepgram Nova-3 multilingual | Deepgram は、language=multi を使って10言語にわたるコードスイッチングを文書化しています。10はモデルの言語集合であり、録音あたりの公開された言語上限ではありません。 | 設定したモードは、対象言語での短い切り替えを保持しますか？ |
これらの行は、異なる種類の制限を示しています。あたかも同じものを測っているかのように、数字を並べ替えないでください。特に、Google の候補数と、Universal-3.5 Pro および Nova-3 のサポート対象集合は、ファイルごとの上限として比較できません。OpenAI のホスト型ファイル文字起こし APIも、上記のオープンソース Whisper コードとは別製品です。現在のモデルを個別にテストしてください。
多言語録音のテスト方法
- 参照クリップを作成する。 実際の話者で2分間録音します。対象言語をそれぞれ含め、複数回の切り替え、文中の切り替え、そしてチームにとって重要な名前も入れてください。
- 手動の参照文字起こしを用意する。 各言語の切り替えと固有名詞を記録し、何が見落とされたかを正確に確認できるようにします。
- 本番と同じ設定を使う。 モデルのバージョンを固定し、ベンダーが文書化している多言語モードまたはコードスイッチングモードを有効にします。リクエスト設定は結果と一緒に保存してください。
- すべての切り替え箇所を読む。 単語の欠落、誤った文字体系への書き換え、文字起こしを求めたのに翻訳されていること、音声より遅れて表示される言語ラベルを確認します。
- 最も難しい組み合わせで繰り返す。 ノイズや第3言語を追加するのは、それらの条件が実際の録音で起こる場合だけにしてください。同じ参照と比較し、重要な用途では人による確認を手配します。
ベンダーの精度指標は、異なる言語、話者、採点ルールを使っている場合があります。この手順なら、その出力があなたの音声に対して機能するかが分かります。ワークフローに翻訳も必要な場合は、翻訳ツールガイドでその別工程を扱っています。
MirrorCaption の位置づけ
MirrorCaption のライブ経路は、会話中の字幕と翻訳のために構築されています。現在のクライアントは、言語識別を有効にした状態で言語ヒントを送信します。片方向翻訳では、設定されたサービスがサポートする検出済みのソース言語を受け付けられます。自動検出によって、サポートされていない言語が使えるようになるわけではありません。その設定は、あらゆる言語ペアや文中のあらゆる切り替えに対する測定済みの保証ではありません。依存する前に、実際の話者でライブセッションをテストしてください。ライブのワークフローについては、多言語コールセンターガイドをご覧ください。
現在のファイルアップロードUIは、選択したソース言語ヒントを1つ送信します。ライブ設定から、アップロードした録音も同じ多言語処理を受けると推測しないでください。複数の言語を含む完成済みの録音については、アップロード結果をテストし、重要な箇所を見落とす場合は専門のコードスイッチングサービスまたは人による確認を使ってください。
新規アカウントには、クレジットカードなしで1回だけ使える無料1時間が含まれます。現在の年間プランは年間110時間で€54.99です。購入前に現在の料金を確認してください。
よくある質問
99言語の一覧があるなら、1つの録音に99言語すべてを含められるという意味ですか？
いいえ。サポートされる言語一覧は、そのモデルが認識できる言語を示すだけです。1つの録音内での自動検出とコードスイッチングについては、別のドキュメントを確認してください。
3つの候補言語を選ぶことは、コードスイッチングと同じですか？
いいえ。Google Cloud Speech-to-Text のドキュメントでは、自動認識が最大3つの候補から最適な言語を選ぶと説明されています。その設定は、多言語の文字起こしを約束するものではありません。
オープンソース Whisper は言語の切り替えを自動で追従できますか？
Whisper のデフォルトの文字起こし経路は、最初の30秒までを使って言語を検出し、その選択をデコードに使います。ファイル途中での自動切り替えは想定しないでください。多言語クリップをテストするか、意図的に分割してください。
MirrorCaption は多言語録音を扱えますか？
MirrorCaption のライブセッションでは、言語識別と言語ヒントを使います。現在のファイルアップロードUIは、選択したソース言語ヒントを1つ送信します。多言語のアップロード結果に頼る前に、代表的な録音でテストしてください。
モデルに主張を証明させる
実際に必要な言語ペアとワークフローに合うモデルを選んでください。コードスイッチングのドキュメントを確認し、正確な設定を保存し、実際の切り替え箇所を含むクリップをテストします。長い言語一覧は最初の絞り込みにすぎず、購入の判断材料になるのは文字起こし結果そのものです。