评估¶

使用标准 TTS 指标评估 VoiceStudio 模型：WER（可懂度）、SIM-o（说话人相似度）和 UTMOS（自然度）。

支持的测试集¶

先决条件¶

pip install omnivoice[eval]
# 或
uv sync --extra eval

快速开始¶

cd examples
bash run_eval.sh
# run_eval.sh 将
# (1) 下载所有必需的测试集和测试模型；
# (2) 对每个测试集进行推理和评估。

指标说明¶

WER（词错误率）¶

通过使用 ASR 模型对生成的语音进行转写，并与参考文本进行比较，来衡量生成语音的可懂度。数值越低越好。请注意，某些语言实际上使用 CER（字符错误率）。

• LibriSpeech-PC：基于 HuBERT 的 ASR
• Seed-TTS：Whisper（英语）或 Paraformer（中文）
• MiniMax：非中文使用 Whisper，中文使用 Paraformer
• FLEURS：Omnilingual-ASR 多语言模型

说话人相似度¶

参考音频与生成音频之间说话人嵌入（ECAPA-TDNN + WavLM）的余弦相似度。数值越高越好。

UTMOS（预测 MOS）¶

根据音频预测平均意见得分的神经网络。数值越高越好。