语音引擎可能在不同录音中识别出数十种语言,但当一位说话者在句中途切换语言时,仍然会吃力。对于多语言音频转写,请问三个不同的问题:模型能识别哪些语言,它如何选择语言,以及它是否能保留同一段录音中的切换? 单一的宣传语言数量无法回答这三点。
本指南比较了特定模型配置的文档化行为,并提供一个能暴露遗漏切换的简短测试。若要更全面地比较实时与录制工具,请参阅我们的多语言转写指南。
- 语言覆盖范围是模型支持的语言集合。它并不保证每一种组合都能在一个文件中正常工作。
- 自动语言检测可以从候选语言中选出最匹配的一种,而不必转写所说的每一种语言。
- 代码切换指的是在转写稿中保留语言变化,包括句子内部的变化。请核实具体模型和设置。
- 请在你自己的录音上测量每个切换点的输出;厂商基准无法替代这一步检查。
需要询问的三个规格
覆盖范围回答的是模型是否支持某种语言。检测回答的是它如何在请求的可能语言之间做选择。代码切换回答的是它是否能跟随该请求中的语言变化。这些是不同的行为,模型版本与厂商名称同样重要。
例如,Google Cloud Speech-to-Text 的自动语言识别指南允许最多三个候选语言,并说明服务会从该列表中使用最匹配的语言。这里的三个指的是用于选择的候选项;它并不承诺这三种语言都会在同一份转写中正确出现。Google 的页面还将此功能限制在特定模型和地区。
模型文档实际说明了什么
| 模型或设置 | 文档化行为 | 要测试的问题 |
|---|---|---|
| 开源 Whisper 默认转写 | 在未提供语言时,会从前 30 秒内检测一种语言,然后用该语言进行解码。 | 当文件后面语言发生变化时会怎样? |
| Google Cloud Speech-to-Text V2 自动识别 | 从最多三个候选语言中选择最匹配的一种。这是语言选择,而不是公开的代码切换保证。 | 输出是否会在切换点保留两种语言? |
| AssemblyAI 代码切换配置 | 其文档化的手动语言代码设置最多接受两个代码,其中一个必须是英语;其自动代码切换设置可检测最多两种语言。 | 你选择的模型和语言对是否受此配置支持? |
| AssemblyAI Universal-3.5 Pro | 文档说明其可在 18 种受支持语言之间原生代码切换。18 指的是受支持的集合,而不是每个文件的明确上限。 | 你片段中的所有语言是否都在这 18 种之内,切换准确度如何? |
| Deepgram Nova-2 多语言 | 文档化的多语言模式支持英语和西班牙语代码切换。 | 你的录音是否正好使用这对语言和该模式? |
| Deepgram Nova-3 多语言 | Deepgram 文档说明,使用 language=multi 可在十种语言集合之间进行代码切换。十指的是模型的语言集合,而不是每段录音可包含语言数量的公开上限。 | 所配置的模式是否能保留你目标语言中的短切换? |
这些行描述的是不同类型的限制。不要把它们的数字当作同一种指标来排序。尤其是,Google 的候选数量,以及 Universal-3.5 Pro 和 Nova-3 的受支持集合,并不是可相互比较的单文件上限。OpenAI 的托管文件转写 API也与上面链接的开源 Whisper 代码是不同的产品;请单独测试其当前模型。
如何测试混合语言录音
- 制作参考片段。 用真实说话者录制两分钟。包含每种目标语言、若干次切换、一次句中切换,以及对你团队重要的名称。
- 保留人工参考转写稿。 标记每一次语言变化和专有名词,这样你就能准确看出遗漏了什么。
- 使用完全相同的生产设置。 锁定模型版本,并启用厂商文档中说明的多语言或代码切换模式。将请求设置与结果一并保存。
- 逐一检查每个切换点。 查找被漏掉的词、被改写成错误文字系统的词、你要求转写却被翻译的内容,以及滞后于语音的语言标签。
- 用最难的一对语言重复测试。 只有在真实录音中会出现这些条件时,才加入噪声或第三种语言。将结果与同一份参考稿比较,并为有后果的用途安排人工复核。
厂商的准确率数字可能使用不同的语言、说话者和评分规则。这个流程能告诉你它的输出是否适用于你的音频。如果你的工作流还需要翻译,我们的翻译工具指南涵盖了那一步。
MirrorCaption 的适用位置
MirrorCaption 的实时路径是为对话中的字幕和翻译而构建的。当前客户端在启用语言识别时会发送语言提示;单向翻译可以接受配置服务所支持的已检测源语言。自动检测不会为不受支持的语言增加支持。该配置并不能为每一种语言对或每一次句中切换提供可测量的保证。在依赖它之前,请先用你的真实说话者进行一次实时会话测试。我们的多语言呼叫中心指南涵盖了实时工作流。
当前的文件上传界面会发送一个已选择的源语言提示。不要从实时配置推断上传录音也会获得相同的多语言处理。对于包含多种语言的成品录音,请测试上传结果;如果它遗漏了重要片段,请使用专门的代码切换服务或人工复核。
每个新账户都包含一次免费的 1 小时,不需要信用卡。当前的年度计划为 €54.99,包含每年 110 小时;购买前请查看当前价格。
常见问题
99 种语言的列表是否意味着一段录音可以包含全部 99 种?
不可以。受支持语言列表只说明模型可以识别哪些语言。请查看关于单次录音内自动检测和代码切换的单独文档。
选择三个候选语言是否等同于代码切换?
不是。Google Cloud Speech-to-Text 文档说明,其自动识别会从最多三个候选项中选择最匹配的语言。该设置并不承诺生成混合语言转写稿。
开源 Whisper 能自动跟随语言切换吗?
默认的 Whisper 转写路径会使用前 30 秒内的内容检测一种语言,并用该选择进行解码。不要假设它会在文件中途自动切换;请测试一段混合语言片段,或者有意将其分段。
MirrorCaption 能处理多语言录音吗?
MirrorCaption 的实时会话使用语言识别和语言提示。当前文件上传界面会发送一个已选择的源语言提示。在依赖混合语言上传输出之前,请先测试一段具有代表性的录音。
让模型证明它的说法
为你实际拥有的语言对和工作流选择模型。查看它的代码切换文档,保存准确的设置,并测试包含真实切换点的片段。长语言列表只是初筛;转写结果本身才是购买证据。