跳转至

引擎指南

每个引擎一个页面:它的用途、需要什么、如何启用,以及它的特殊之处。在 Model Catalogue 中选择引擎(或使用 Ctrl/Cmd+E 快速切换),也可以通过 OMNIVOICE_TTS_BACKEND / OMNIVOICE_ASR_BACKEND 固定使用某个引擎。

当某个引擎报告自身不可用时,展开其所在行的 为什么? 面板,并使用 了解更多 直接跳转到该引擎的页面。行内消息有意保持通用——可用性探测可能携带本地路径或凭据,因此绝不会原样显示——实际的要求和设置步骤都写在下面的页面中。

计算设备(CUDA/ROCm/MPS/CPU)会自动检测;如果自动检测选择错误,可在 设置 → 性能与设备(或 OMNIVOICE_DEVICE)中固定——参见 性能。

实测速度/VRAM 数据见 基准测试;每个引擎在表现力方面的能力见 表现性语音;附带磁盘占用见 磁盘占用;新引擎必须达到的标准见 引擎验收。

第一次使用 VoiceStudio?请先安装应用——macOS(首次启动需要一次性右键点击 → 打开 来获得 Gatekeeper 批准),Windows,Linux,Docker。

文本转语音

引擎 指南 运行平台 克隆 启用方式
VoiceStudio (OmniVoice) — 默认 omnivoice CUDA · MPS · CPU ✅ 默认安装
VoxCPM2 voxcpm2 CUDA · MPS · CPU ✅ + 声音设计 pip install "voxcpm>=2.0.3"
MOSS-TTS-Nano moss-tts-nano CUDA · CPU ✅(仅参考) 克隆 + uv pip install -e .
KittenTTS kittentts CPU —(8 种预设音色) pip install kittentts
MLX-Audio (Kokoro, CSM, Dia, …) mlx-audio Apple Silicon 因模型而异 pip install mlx-audio
CosyVoice 3 cosyvoice CUDA · CPU ✅ 克隆 + 安装依赖
GPT-SoVITS gpt-sovits 外部服务器 ✅ 它自己的 API 服务器
Sherpa-ONNX sherpa-onnx CUDA · CPU — pip install sherpa-onnx + 模型目录
IndexTTS 2.5 indextts CUDA · CPU ✅ + 情感 一键 sidecar 安装
OmniVoice GGUF omnivoice-gguf CUDA · MPS · CPU ✅ 原生二进制文件,随桌面安装程序捆绑提供(Intel Mac 除外)
Supertonic-3 supertonic3 CPU —(7 种预设音色) uv sync --extra supertonic + 许可证
MOSS-TTS-v1.5 (8B) moss-tts-v15 CUDA · CPU ✅ 克隆 + 环境变量
dots.tts (2B) dots-tts CUDA · CPU(不支持 Windows;请使用 audio.cpp dots.tts) ✅ 克隆 + 环境变量
OmniVoice (subprocess) omnivoice-subprocess CUDA · MPS · CPU ✅ 非 MPS 上为可选启用;MPS 上则通过默认 OmniVoice 自动使用
PocketTTS (Kyutai) pockettts CPU(不支持 Intel Mac) ✅ uv sync --extra pockettts + 许可证
Confucius4-TTS confucius4-tts CUDA · CPU ✅ 克隆 + 环境变量
audio.cpp (Breeze-TTS-2) audio-cpp CPU + Vulkan/Metal/CUDA/HIP/ROCm(视编译支持而定) ✅ + 声音设计 预构建二进制文件 + 环境变量(权重仅限研究/非商业用途)
audio.cpp (dots.tts SOAR) audio-cpp CPU + Vulkan/Metal/CUDA/HIP/ROCm(视编译支持而定,包括 Windows) ✅ 运行时 + 来自 Model Catalogue 的权重(Apache-2.0)
CosyVoice 3 GGUF cosyvoice-gguf CPU + Vulkan(原生运行时构建) ✅ 参考克隆 + 指令控制 用户自行构建的原生运行时 + Model Catalogue

参考片段时长

语音克隆接受最长 75 秒的片段,并建议提供 5–15 秒的干净语音。较长的片段中有多少会进入模型,取决于引擎;语音克隆界面会说明适用哪种方式,GET /engines 会按引擎将其报告为 max_ref_seconds 和 ref_strategy。

引擎 使用时长 较长片段的处理方式
VoiceStudio (OmniVoice), OmniVoice (subprocess) 最多 20 秒 选择语音最密集的 15 秒片段并进行转写(best_window)
VoxCPM2 最多 30 秒 在去除边缘静音后保留前 30 秒(head)
其他引擎 未验证 片段被原样传递(null)

整个片段的转写文本无法与引擎截取出的片段匹配,因此当片段超过限制时,自动转写和已保存的转写文本都会被忽略。对于超过 20 秒的 OmniVoice 片段,无论是上传还是已保存的声音,通过 /generate 请求附带的转写文本都会被以 [clone_ref_too_long] 拒绝:请将两者修剪到同一片段,或者不提供转写文本。当引擎在其自身环境中运行时,这些限制同样适用。

语音转文本

引擎 指南 运行平台 擅长领域 启用方式
WhisperX whisperx CUDA · CPU 配音(词级时间戳 + 说话人分离) 默认安装
Faster-Whisper faster-whisper CUDA · CPU 通用转写 默认安装
Faster-Whisper (isolated) faster-whisper-isolated CUDA · CPU 无人值守批量处理 可选择启用
MLX Whisper mlx-whisper Apple Silicon Mac 默认 pip install mlx-whisper
PyTorch Whisper pytorch-whisper CUDA · MPS · CPU ROCm 主机 默认安装
whisper.cpp whisper-cpp CPU · Vulkan · CUDA · Metal AMD GPU、原生 CLI 你自己的 whisper-cli + GGML 模型
Parakeet TDT (NeMo) nemo-parakeet CUDA · CPU 25 种语言,CPU 上快速 独立的 venv(绝不要用应用自带的)
Parakeet TDT (MLX) parakeet-mlx Apple Silicon 听写、25 种欧盟语言 mac-ARM 源码安装时的默认选项
Moonshine moonshine CPU 边缘/低功耗设备,无时间戳 pip install(见指南)
FunASR (SenseVoice) funasr CUDA · CPU 50+ 种语言,内联说话人分离 pip install funasr
Sherpa-ONNX 听写 sherpa-onnx-asr CPU 实时流式听写 精选模型下载
OpenAI 兼容(本地或远程) openai-compatible-asr 网络 已配置的端点;回环保持本地 Model Catalogue

说话人分离并非独立的引擎注册项——dub 流水线使用 pyannote(受 HF 门控;参见 diarization),而 FunASR 可以通过其 cam++ 说话人模型进行内联说话人分离。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio