跳转至

VoiceStudio — PocketTTS 引擎

PocketTTS(kyutai-labs/pocket-tts,100M 参数)是 CPU 渲染最快的选择:体积小、延迟低、仅使用 CPU,并可从参考音频片段进行零样本语音克隆。它覆盖六种语言——英语、法语、德语、葡萄牙语、意大利语、西班牙语——每种语言对应一个模型,在 Apple M3 Pro 上速度约为实时速度的 8–9 倍。

它是对高质量引擎的补充:在那些引擎回退到 CPU 运行的场景中,PocketTTS 正是为此而生。纯 CPU 是有意为之——上游发现该模型在 GPU 上并无加速。

何时选择它

  • 需要快速渲染且语音克隆的纯 CPU 机器。
  • 在六种语言之一中,对延迟敏感的使用场景(听写式、短句)。

安装

  1. 安装可选依赖项:
uv sync --extra pockettts

或者点击 Model Catalogue → PocketTTS 中的 Install。这会安装相同的固定版本包到 VoiceStudio 数据目录下该引擎自己的 Python 环境中,并附带 PyTorch 的 CPU 版本,因为 PocketTTS 从不使用 GPU。它安装的内容不会影响 VoiceStudio 本身或任何其他引擎;同一行中的 Uninstall 仅删除该文件夹。通过 uv sync 完成的安装保持原样工作。Intel Mac 上不提供此按钮(参见平台说明)。

  1. 在应用内接受许可证(#1306)。代码采用 MIT 许可证,权重采用 CC-BY-4.0,但权重在 HuggingFace 上受门控,需要接受一份包含可接受使用条款的访问协议。VoiceStudio 会在首次使用前提示这一点:在 Model Catalogue → PocketTTS 中查看并接受之前,该引擎将保持不可用状态。你还需要 HuggingFace 对该受限仓库的访问权限(token 设置见 downloading-models.md)。

  2. 通过 Model Catalogue(TTS 标签页 → Use)或 OMNIVOICE_TTS_BACKEND=pockettts 选择该引擎。

平台说明

  • 可在 Linux、Windows、macOS Apple Silicon 上运行——处处仅使用 CPU。
  • 不适用于 Intel Mac:所需的 PyTorch 版本没有 macOS x86_64 wheel。该引擎会直接明确报告此情况,而不是在安装中途失败。

行为说明

  • 输出为 24 kHz 单声道。
  • 支持六种语言,每种语言一个模型,由你请求的 language 决定;克隆需要一段简短的参考音频片段。
  • 在崩溃隔离的 sidecar 进程中运行:一键安装后从自己的环境运行,否则从 VoiceStudio 的环境运行(uv sync --extra pockettts 会将其安装在那里)。卡死的生成任务会被看门狗强制终止并回收其内存——这是进程内引擎无法做到的。
  • 首次使用会下载受门控的权重;下载期间 sidecar 会通过心跳上报进度,这样看门狗不会触发。
  • 法语始终使用 24 层检查点渲染(french_24l)——pocket-tts 未提供 6 层法语模型——因此法语的渲染速度是 24 层的数值(约为本页开头所述速度的一半,仍快于实时),而不是 6 层的数值。
变量 默认值 含义
OMNIVOICE_POCKETTTS_RECV_TIMEOUT_S 600 Sidecar 响应超时时间(秒)(最小 30;冷加载会下载权重)
OMNIVOICE_POCKETTTS_24L off 当值为真(truthy)时,对提供 24 层检查点的语言(it/de/es/pt/fr)加载 24 层检查点,而不是 6 层默认检查点。更好的韵律,代价是大约 2 倍的渲染时间(仍快于实时);在不存在 24 层模型的语种(如英语)上无效。可选启用:默认仍为快速模型。法语始终使用 french_24l——pocket-tts 未提供 6 层法语模型,并且会拒绝 language="french"

已知限制

  • 无音色设计、无情感控制(参见 expressive-speech.md)。
  • 仅六种语言——如需更广覆盖,请使用 OmniVoice(languages.md)。
  • 撤销许可证接受会立即生效,无需重启——后续生成将被拒绝。

故障排除

  • “pocket_tts package not installed”:运行上面的 uv sync。
  • “license not accepted”:打开 Model Catalogue → PocketTTS 并查看/接受。
  • 慢速连接下超时:为首次(下载量大的)运行调高 OMNIVOICE_POCKETTTS_RECV_TIMEOUT_S。
  • 其他问题:install/troubleshooting.md。

另请参阅:benchmarks.md、performance.md、磁盘占用。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio