VoiceStudio — PocketTTS 引擎¶
PocketTTS(kyutai-labs/pocket-tts,100M 参数)是 CPU 渲染最快的选择:体积小、延迟低、仅使用 CPU,并可从参考音频片段进行零样本语音克隆。它覆盖六种语言——英语、法语、德语、葡萄牙语、意大利语、西班牙语——每种语言对应一个模型,在 Apple M3 Pro 上速度约为实时速度的 8–9 倍。
它是对高质量引擎的补充:在那些引擎回退到 CPU 运行的场景中,PocketTTS 正是为此而生。纯 CPU 是有意为之——上游发现该模型在 GPU 上并无加速。
何时选择它¶
- 需要快速渲染且语音克隆的纯 CPU 机器。
- 在六种语言之一中,对延迟敏感的使用场景(听写式、短句)。
安装¶
- 安装可选依赖项:
或者点击 Model Catalogue → PocketTTS 中的 Install。这会安装相同的固定版本包到 VoiceStudio 数据目录下该引擎自己的 Python 环境中,并附带 PyTorch 的 CPU 版本,因为 PocketTTS 从不使用 GPU。它安装的内容不会影响 VoiceStudio 本身或任何其他引擎;同一行中的 Uninstall 仅删除该文件夹。通过 uv sync 完成的安装保持原样工作。Intel Mac 上不提供此按钮(参见平台说明)。
-
在应用内接受许可证(#1306)。代码采用 MIT 许可证,权重采用 CC-BY-4.0,但权重在 HuggingFace 上受门控,需要接受一份包含可接受使用条款的访问协议。VoiceStudio 会在首次使用前提示这一点:在 Model Catalogue → PocketTTS 中查看并接受之前,该引擎将保持不可用状态。你还需要 HuggingFace 对该受限仓库的访问权限(token 设置见 downloading-models.md)。
-
通过 Model Catalogue(TTS 标签页 → Use)或
OMNIVOICE_TTS_BACKEND=pockettts选择该引擎。
平台说明¶
- 可在 Linux、Windows、macOS Apple Silicon 上运行——处处仅使用 CPU。
- 不适用于 Intel Mac:所需的 PyTorch 版本没有 macOS x86_64 wheel。该引擎会直接明确报告此情况,而不是在安装中途失败。
行为说明¶
- 输出为 24 kHz 单声道。
- 支持六种语言,每种语言一个模型,由你请求的
language决定;克隆需要一段简短的参考音频片段。 - 在崩溃隔离的 sidecar 进程中运行:一键安装后从自己的环境运行,否则从 VoiceStudio 的环境运行(
uv sync --extra pockettts会将其安装在那里)。卡死的生成任务会被看门狗强制终止并回收其内存——这是进程内引擎无法做到的。 - 首次使用会下载受门控的权重;下载期间 sidecar 会通过心跳上报进度,这样看门狗不会触发。
- 法语始终使用 24 层检查点渲染(
french_24l)——pocket-tts 未提供 6 层法语模型——因此法语的渲染速度是 24 层的数值(约为本页开头所述速度的一半,仍快于实时),而不是 6 层的数值。
| 变量 | 默认值 | 含义 |
|---|---|---|
OMNIVOICE_POCKETTTS_RECV_TIMEOUT_S |
600 |
Sidecar 响应超时时间(秒)(最小 30;冷加载会下载权重) |
OMNIVOICE_POCKETTTS_24L |
off | 当值为真(truthy)时,对提供 24 层检查点的语言(it/de/es/pt/fr)加载 24 层检查点,而不是 6 层默认检查点。更好的韵律,代价是大约 2 倍的渲染时间(仍快于实时);在不存在 24 层模型的语种(如英语)上无效。可选启用:默认仍为快速模型。法语始终使用 french_24l——pocket-tts 未提供 6 层法语模型,并且会拒绝 language="french" |
已知限制¶
- 无音色设计、无情感控制(参见 expressive-speech.md)。
- 仅六种语言——如需更广覆盖,请使用 OmniVoice(languages.md)。
- 撤销许可证接受会立即生效,无需重启——后续生成将被拒绝。
故障排除¶
- “pocket_tts package not installed”:运行上面的
uv sync。 - “license not accepted”:打开 Model Catalogue → PocketTTS 并查看/接受。
- 慢速连接下超时:为首次(下载量大的)运行调高
OMNIVOICE_POCKETTTS_RECV_TIMEOUT_S。 - 其他问题:install/troubleshooting.md。
另请参阅:benchmarks.md、performance.md、磁盘占用。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio