从 Real-Time-Voice-Cloning (SV2TTS) 迁移¶

CorentinJ/Real-Time-Voice-Cloning —— 这个三阶段 SV2TTS 实现（说话人编码器 → Tacotron 合成器 → WaveRNN 声码器）曾让成千上万的人认识语音克隆——现已归档，不再维护。本指南面向其用户：VoiceStudio 中各项功能的对应关系是什么、你能获得什么、你真正失去了什么，以及如何输出你的第一个克隆。

简短版¶

VoiceStudio 是一款持续维护、完全本地运行的桌面应用，支持 macOS / Windows / Linux，其核心理念与 SV2TTS 所展示的相同：给它一段简短的参考语音片段，就能让这个声音说出你输入的任何文本。差异是代际性的——用现代零样本引擎取代 2019 年的研究管线，支持 646 种语言而非仅英语的预训练模型，提供安装程序而非 Python 环境。和 RTVC 一样，一切都在你自己的机器上运行：无需账户、无需 API 密钥、不依赖云端。

概念对照¶

你将获得什么¶

• 语言。 RTVC 的预训练模型仅支持英语。默认的 VoiceStudio 引擎支持跨 646 种语言的零样本克隆——同一个参考片段可以说出孟加拉语、日语或斯瓦希里语。
• 无需配置 Python 环境。 RTVC 最常被报告的问题都是环境问题（PyTorch 版本、webrtcvad 构建、模型缺失）。VoiceStudio 提供安装程序（DMG / MSI / AppImage / deb），从源码运行时通过 uv 管理自己的 Python。
• 质量。 SV2TTS 是 2019 年的概念验证，其作者也承认这一点——现代零样本引擎（内置的 VoiceStudio 模型、CosyVoice 3、IndexTTS 2……）在自然度和说话人相似度上领先了一代。
• 一条管线，而不只是演示。 视频配音（转写 → 翻译 → 重新配音 → MP4）、有声书和多角色故事编辑器、批处理队列、说话人分离、人声分离，以及系统级听写——全部在本地完成。
• 无需参考音频即可设计声音。 描述一个说话人（性别、年龄、口音、音高、风格）而不是克隆某个人——RTVC 没有对应功能。
• 持续维护。 持续发布的版本、有问必答的问题追踪器，以及提供专门安装支持的 Discord 社区。

RTVC 能做而 VoiceStudio 做不到的¶

该承认的还是要承认：

• 研究工具箱。 RTVC 允许你检查说话人嵌入、用 UMAP 做投影，并实时观察编码器区分说话人。VoiceStudio 是生产级应用，不是用于研究说话人验证的工具。
• 从头训练全部三个阶段。 RTVC 记录了在你自己的数据集上训练你自己的编码器、合成器和声码器的流程。VoiceStudio 提供了训练/微调内置 TTS 模型的文档（以及数据准备），但它不是用于构建新架构的框架。
• 它的教育价值。 这个仓库是一篇论文的配套资源，该论文从头到尾解释了 SV2TTS。如果你是想了解语音克隆的工作原理，RTVC 的代码和论文仍然值得一读；归档并没有抹去这些价值。
• 占用空间小。 RTVC 的预训练模型约为 1 GB。VoiceStudio 的模型加缓存预计需要约 10 GB 可用磁盘空间，最低 8 GB 内存（GPU 是可选的——CPU 也能运行，只是更慢）。
• 许可证。 RTVC 使用 MIT 许可证。VoiceStudio 使用 AGPL-3.0——允许任何用途，包括商业用途，但如果你修改了它并通过网络提供服务，你必须共享你的修改。对于闭源集成，可以购买商业许可证——参见 README 的 License 部分。

还有一点要说明：尽管名字如此，RTVC 的"实时"指的是声码器速度。VoiceStudio 的生成速度取决于引擎和你的硬件——有些引擎在 CPU 上即可实时运行（KittenTTS、MOSS-TTS-Nano），更重型的克隆引擎则需要 GPU。

安装¶

从 Releases 页面 获取适用于你操作系统的安装程序，然后按照对应平台的指南完整操作：

• macOS — docs/install/macos.md（Apple Silicon；Intel Mac 无法运行本地后端——PyTorch 已停止发布 Intel Mac 的 wheel——但可以将 UI 指向远程后端）
• Windows — docs/install/windows.md
• Linux — docs/install/linux.md
• Docker — docs/install/docker.md

如果遇到问题，先从 docs/install/troubleshooting.md 开始——它涵盖了最常见的安装错误及确切的修复方法。

迁移你的参考音频¶

你的 RTVC 参考话语可以直接使用——无需导入步骤、无需重新编码、无需提取嵌入。任何 WAV、MP3、M4A、FLAC 或 OGG 文件都可以直接拖入使用。

什么才是好的参考片段（与 RTVC 原理相同，直白地说）：

• 长度： 克隆只需约 3 秒的音频就能开始工作，但连续、干净的 5–15 秒语音是最佳区间（约 8 秒最为理想）。Voice Clone 接受最长 75 秒的音频，但每个引擎只会使用长片段的一部分——默认引擎会挑选其中最佳的 15 秒段落，VoxCPM2 保留前 30 秒；参见 参考片段长度。
• 干净且干声比时长更重要。 零样本克隆复现的是片段的声学特征，而不仅仅是声音本身——带有回声或噪音的片段，克隆结果也会有回声和噪音。在安静房间中用近距麦克风录制的音频始终更胜一筹。
• 只有一位说话人，不要音乐。 如果你的源音频带有背景音乐或多个说话人，应用的语音分离（Demucs）和说话人分离可以将它们分开——但干净的单人片段仍然是最佳输入。

如果一段很棒的片段仍然不够接近，而且你还有数小时的录音，更进一步的选项不是更长的参考片段——零样本条件化在超过一个很短的时间窗口后便会停止使用音频——而是使用你自己的数据集对随附模型进行离线微调：参见 训练 / 微调 和 数据准备。这需要技术背景、命令行操作和 GPU——但这是一条基于你声音训练的路径。

你的首次克隆¶

1. 启动应用，在 Launchpad 上选择 Voice Clone 卡片（或打开 Voice 工作区，将“Define voice”设置为 From audio）。
2. 放入一个参考片段——或点击 Record，朗读几句话。
3. 输入要让声音说的内容，选择语言，然后点击 Synthesize Audio。
4. 满意吗？点击 Save as Voice Profile——现在这个声音可以在生成、配音、故事和 API 中复用，无需重新上传。

至于生成参数的作用（steps、speed、denoise、长文本分块），参见 docs/generation-parameters.md。要为同一片段尝试不同引擎，请在 Settings → Engines 中切换——该选择适用于所有进行合成的场景。

如果你曾通过脚本使用 RTVC¶

demo_cli.py 用户有三种本地、无需密钥的替代方案：

• OpenAI-compatible REST API——后端在 http://localhost:3900/v1 上提供 POST /v1/audio/speech；voice 字段接受你保存的 voice-profile ID 或名称。已有的 OpenAI-SDK 代码只需修改一行 base_url 即可指向它。
• CLI——在源码检出目录中，omnivoice-infer（以及 omnivoice-infer-batch）可直接运行随附引擎。
• MCP server——将你的声音暴露给 Claude、Cursor 或任何 MCP 客户端；参见 docs/mcp.md。

获取帮助¶

配置问题会在 Discord 中得到解答（通常几小时内）；bug 请提交到 GitHub Issues——关于应包含哪些内容，请参阅 SUPPORT.md。欢迎加入。