引擎指南¶
每个引擎一个页面:它的用途、需要什么、如何启用,以及它的特殊之处。在 Model Catalogue 中选择引擎(或使用 Ctrl/Cmd+E 快速切换),也可以通过 OMNIVOICE_TTS_BACKEND / OMNIVOICE_ASR_BACKEND 固定使用某个引擎。
当某个引擎报告自身不可用时,展开其所在行的 为什么? 面板,并使用 了解更多 直接跳转到该引擎的页面。行内消息有意保持通用——可用性探测可能携带本地路径或凭据,因此绝不会原样显示——实际的要求和设置步骤都写在下面的页面中。
计算设备(CUDA/ROCm/MPS/CPU)会自动检测;如果自动检测选择错误,可在 设置 → 性能与设备(或 OMNIVOICE_DEVICE)中固定——参见 性能。
实测速度/VRAM 数据见 基准测试;每个引擎在表现力方面的能力见 表现性语音;附带磁盘占用见 磁盘占用;新引擎必须达到的标准见 引擎验收。
第一次使用 VoiceStudio?请先安装应用——macOS(首次启动需要一次性右键点击 → 打开 来获得 Gatekeeper 批准),Windows,Linux,Docker。
文本转语音¶
| 引擎 | 指南 | 运行平台 | 克隆 | 启用方式 |
|---|---|---|---|---|
| VoiceStudio (OmniVoice) — 默认 | omnivoice | CUDA · MPS · CPU | ✅ | 默认安装 |
| VoxCPM2 | voxcpm2 | CUDA · MPS · CPU | ✅ + 声音设计 | pip install "voxcpm>=2.0.3" |
| MOSS-TTS-Nano | moss-tts-nano | CUDA · CPU | ✅(仅参考) | 克隆 + uv pip install -e . |
| KittenTTS | kittentts | CPU | —(8 种预设音色) | pip install kittentts |
| MLX-Audio (Kokoro, CSM, Dia, …) | mlx-audio | Apple Silicon | 因模型而异 | pip install mlx-audio |
| CosyVoice 3 | cosyvoice | CUDA · CPU | ✅ | 克隆 + 安装依赖 |
| GPT-SoVITS | gpt-sovits | 外部服务器 | ✅ | 它自己的 API 服务器 |
| Sherpa-ONNX | sherpa-onnx | CUDA · CPU | — | pip install sherpa-onnx + 模型目录 |
| IndexTTS 2.5 | indextts | CUDA · CPU | ✅ + 情感 | 一键 sidecar 安装 |
| OmniVoice GGUF | omnivoice-gguf | CUDA · MPS · CPU | ✅ | 原生二进制文件,随桌面安装程序捆绑提供(Intel Mac 除外) |
| Supertonic-3 | supertonic3 | CPU | —(7 种预设音色) | uv sync --extra supertonic + 许可证 |
| MOSS-TTS-v1.5 (8B) | moss-tts-v15 | CUDA · CPU | ✅ | 克隆 + 环境变量 |
| dots.tts (2B) | dots-tts | CUDA · CPU(不支持 Windows;请使用 audio.cpp dots.tts) | ✅ | 克隆 + 环境变量 |
| OmniVoice (subprocess) | omnivoice-subprocess | CUDA · MPS · CPU | ✅ | 非 MPS 上为可选启用;MPS 上则通过默认 OmniVoice 自动使用 |
| PocketTTS (Kyutai) | pockettts | CPU(不支持 Intel Mac) | ✅ | uv sync --extra pockettts + 许可证 |
| Confucius4-TTS | confucius4-tts | CUDA · CPU | ✅ | 克隆 + 环境变量 |
| audio.cpp (Breeze-TTS-2) | audio-cpp | CPU + Vulkan/Metal/CUDA/HIP/ROCm(视编译支持而定) | ✅ + 声音设计 | 预构建二进制文件 + 环境变量(权重仅限研究/非商业用途) |
| audio.cpp (dots.tts SOAR) | audio-cpp | CPU + Vulkan/Metal/CUDA/HIP/ROCm(视编译支持而定,包括 Windows) | ✅ | 运行时 + 来自 Model Catalogue 的权重(Apache-2.0) |
| CosyVoice 3 GGUF | cosyvoice-gguf | CPU + Vulkan(原生运行时构建) | ✅ 参考克隆 + 指令控制 | 用户自行构建的原生运行时 + Model Catalogue |
参考片段时长¶
语音克隆接受最长 75 秒的片段,并建议提供 5–15 秒的干净语音。较长的片段中有多少会进入模型,取决于引擎;语音克隆界面会说明适用哪种方式,GET /engines 会按引擎将其报告为 max_ref_seconds 和 ref_strategy。
| 引擎 | 使用时长 | 较长片段的处理方式 |
|---|---|---|
| VoiceStudio (OmniVoice), OmniVoice (subprocess) | 最多 20 秒 | 选择语音最密集的 15 秒片段并进行转写(best_window) |
| VoxCPM2 | 最多 30 秒 | 在去除边缘静音后保留前 30 秒(head) |
| 其他引擎 | 未验证 | 片段被原样传递(null) |
整个片段的转写文本无法与引擎截取出的片段匹配,因此当片段超过限制时,自动转写和已保存的转写文本都会被忽略。对于超过 20 秒的 OmniVoice 片段,无论是上传还是已保存的声音,通过 /generate 请求附带的转写文本都会被以 [clone_ref_too_long] 拒绝:请将两者修剪到同一片段,或者不提供转写文本。当引擎在其自身环境中运行时,这些限制同样适用。
语音转文本¶
| 引擎 | 指南 | 运行平台 | 擅长领域 | 启用方式 |
|---|---|---|---|---|
| WhisperX | whisperx | CUDA · CPU | 配音(词级时间戳 + 说话人分离) | 默认安装 |
| Faster-Whisper | faster-whisper | CUDA · CPU | 通用转写 | 默认安装 |
| Faster-Whisper (isolated) | faster-whisper-isolated | CUDA · CPU | 无人值守批量处理 | 可选择启用 |
| MLX Whisper | mlx-whisper | Apple Silicon | Mac 默认 | pip install mlx-whisper |
| PyTorch Whisper | pytorch-whisper | CUDA · MPS · CPU | ROCm 主机 | 默认安装 |
| whisper.cpp | whisper-cpp | CPU · Vulkan · CUDA · Metal | AMD GPU、原生 CLI | 你自己的 whisper-cli + GGML 模型 |
| Parakeet TDT (NeMo) | nemo-parakeet | CUDA · CPU | 25 种语言,CPU 上快速 | 独立的 venv(绝不要用应用自带的) |
| Parakeet TDT (MLX) | parakeet-mlx | Apple Silicon | 听写、25 种欧盟语言 | mac-ARM 源码安装时的默认选项 |
| Moonshine | moonshine | CPU | 边缘/低功耗设备,无时间戳 | pip install(见指南) |
| FunASR (SenseVoice) | funasr | CUDA · CPU | 50+ 种语言,内联说话人分离 | pip install funasr |
| Sherpa-ONNX 听写 | sherpa-onnx-asr | CPU | 实时流式听写 | 精选模型下载 |
| OpenAI 兼容(本地或远程) | openai-compatible-asr | 网络 | 已配置的端点;回环保持本地 | Model Catalogue |
说话人分离并非独立的引擎注册项——dub 流水线使用 pyannote(受 HF 门控;参见 diarization),而 FunASR 可以通过其 cam++ 说话人模型进行内联说话人分离。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio