VoiceStudio → True ElevenLabs Alternative — Spec Roadmap¶

此目录存放可直接实施的规格，用于弥合 VoiceStudio 与 ElevenLabs 之间的差距，同时不放弃 VoiceStudio 的与众不同之处：完全本地、无需账号、无需 API 密钥、无遥测、支持 646 种语言、跨平台。核心思路是反向定位，而非功能克隆——我们匹配创作者真正感知到的能力，并以“你的声音永不离开你的机器”取胜。

核心论点¶

ElevenLabs 的护城河是可感知的语音质量 + 富有表现力的控制，其 2025-26 年的扩张方向是语音智能体。其余一切（音色库、录音室编辑器、配音深度、API）都是入场级打磨。VoiceStudio 已经拥有最困难的部分——多引擎 TTS/ASR、克隆、设计、配音、实时听写、MCP 服务器、本地 LLM 适配器、流式 TTS、回声消除。差距主要在于在已有基础设施之上，最后一步的控制与打磨。

差距分析¶

规格¶

第一梯队 — 护城河补齐项（最大杠杆）¶

• 01 — Expressive TTS — 引擎无关的情绪/风格意图（内联标签 + 控制）降维到每个引擎的真实机制（VoiceStudio instruct、CosyVoice NL-instruct/[laughter]、IndexTTS2 情绪向量、VoxCPM2 前缀），以可见方式降级，绝不静默；外加一个用户可编辑、按语言、DB 持久化的发音词典（IPA/CMU/重拼），在合成前应用。构建于 services/ssml_lite.py、services/pronunciation.py、services/longform_parser.py 之上。新增 services/expression.py、api/routers/pronunciation.py、alembic 0008。状态：规格已完成，5 个可发布切片。

• 02 — Conversational Agent — 完全离线的全双工语音助手：VAD → 流式 STT → 本地 LLM → 流式 TTS，支持打断（基于经 AEC 清理的麦克风上的 Silero VAD），并由单个服务端 /ws/converse 编排器统一管理。复用 capture_ws.py 流式 ASR、tts_stream.py、aec.py、llm_backend.py（Ollama/OpenAI 兼容）、mcp_server.py。默认可选；在弱硬件上回退到半双工/按键通话。状态：规格已完成，6 个切片。

• 03 — Long-form Studio Editor — 逐片段编辑 / 单行重新生成 / 重新分配声音 / 逐片段情绪 / 时序，覆盖配音、有声书、故事。配音已对片段进行内容寻址（incremental.py、regen_only、seg_hashes）；本规格将该跨片段缓存扩展到长文本（目前仅按章节缓存），并统一编辑器 UX。状态：规格已完成，6 个切片，无需 alembic。

第二梯队 — 生态与开发者对齐（草稿 — 实施前需扩展）¶

• 04 — Voice Packs (local Voice Library)。 一种可移植、可导入的语音包格式（profile + reference + design instruct + 发音覆盖 + 许可证/署名，签名/哈希）以及一个导入/导出流程；另有一个可选加入的社区 GitHub 索引（一个 JSON 清单仓库，而非托管服务），应用可以浏览并从中拉取。以本地优先方式替代市场：创作者通过文件/链接分享语音包；我们不负责任何托管。触点： 语音 profile 存储、omnivoice_data/、模型商店下载 UI 模式。待定：语音包 schema、签名/信任、索引上的 NSFW/滥用立场。

• 05 — Streaming latency + API/SDK parity。 对流式 TTS 的首音频时间和每引擎/设备的实时因子进行诚实的基准测试，制定延迟预算，并提供文档化的 OpenAI 兼容 + 原生流式 HTTP/WS API，附带轻量 Python/JS SDK 封装，让开发者可以在原先使用 ElevenLabs 的地方直接换用 VoiceStudio。触点： tts_stream.py（/ws/tts）、MCP 服务器、生成路径。待定：哪些引擎获得低延迟“Flash 级”路径；SDK 表面积；OpenAI /v1/audio/speech 兼容范围。

• 06 — Audio cleanup + Sound FX。 将声音隔离器（通过配音技术栈中已内置的 Demucs 进行人声/降噪）和文本转音效生成器作为一类工具（以及 MCP 工具）暴露出来，复用现有音频 I/O。触点： 配音分离阶段、services/audio_dsp.py、MCP。待定：使用哪个本地 SFX 模型；范围与核心 TTS 专注度的权衡（可能是最低优先级）。

依赖关系与建议实施顺序¶

01 Expressive TTS ──► (emotion/style field) ──► 03 Studio Editor (per-segment emotion)
        │
        └──► 02 Conversational Agent (expressive replies)
02 reuses: 01's streaming TTS quality + the existing live-dictation STT
05 (API/latency) underpins 02's "feels real-time" and is independently shippable
04 / 06 are independent and can slot in anytime

在 v0.3.x 系列上的推荐实施顺序（每个规格都已切片，因此早期切片无需完整功能即可交付价值）：

1. 01 Expressive TTS — 最大的可感知质量收益，为 03 的逐片段情绪和 02 的表现力回复铺路。从发音词典切片（快速、高信任度）+ 内联情绪标签开始。
2. 03 Studio Editor — 配音转录编辑 + 单行重新生成切片很小（缓存已存在），而且立刻会有“专业”感受。
3. 02 Conversational Agent — 这是头号新品类；先交付半双工，再交付打断。与 05 的延迟基准测试配合进行。
4. 05 / 04 / 06 — 视能力而定；05 让 VoiceStudio 成为真正的开发者即插即用方案，04 建立社区引力，06 则是广度。

横切原则（每份规范都必须遵守）¶

• 始终本地优先。 任何默认路径都不涉及云调用、账户或密钥。 新能力在设备端运行；“分享”指用户控制的文件/链接。
• 跨平台默认一致（硬性规则）。 在 macOS / Windows / Linux 上默认行为完全一致；任何平台特定功能均为可选加入（设置开关、环境变量、CLI 标志）。所有环境都提供可用的 CPU 基线。
• 向后兼容（硬性规则）。 现有引擎、磁盘上的模型状态和 omnivoice_data/ 继续工作，无需强制重装或重渲染；模式变更须通过经过测试的 alembic 升级来完成。
• 可切片到 v0.3.x。 不要大爆炸式合并，不要推迟到 v0.4——每份规范都分解为可独立交付的切片，并配有 fail-before/pass-after 测试。
• 可见降级。 当引擎/主机无法做到某件事（引擎缺少某情绪、弱硬件上的延迟）时，要告知用户——绝不要静默失败或假装成功。

我们刻意不会构建的东西¶

账户、登录、云同步、托管的语音市场、服务端渲染以及使用分析/遥测都是 ElevenLabs 的 功能，但对于本地优先工具来说，它们是 反功能。我们不会以它们为标杆来衡量一致性。“完全本地、无需密钥、646 种语言、免费、你的声音永不离开你的设备”是相反的立场——这些规范让 VoiceStudio 在创作者能感知到的方面对标 ElevenLabs，同时保持在正确的那一侧。

既有成果与协调¶

本路线图（00 + 01–03）是截至 2026-06-25 的 ElevenLabs 对标计划的唯一事实来源。下表对 docs/specs/ 中每份既有规范进行分类：(S) 已被取代——存在大量重叠，新规范更当前/更有依据（现在有横幅指向此处）；(F) 已并入——被新规范引用的独立且有价值的细节；(K) 保持原样——范围独立，与对标无重叠，不做改动。

被保留并被引用的想法（不要丢失这些）¶

既有文档中那些新 01–03 尚未提出的具体交付物，在此收录以免丢失：

• GPU 兼容性预检——“不静默回退到 CPU”（longform/21-gpu-compat-matrix.md）。一个规范的设备家族探测 + 每个引擎的 有效设备/路由状态，在引擎选择处和 每个 合成入口点显示；当活动引擎无法使用用户的 GPU 时给出明确警告。这是本路线图“可见降级”原则的具体执行，也是“首次运行就能真正工作”的胜利——并入平台健壮性轨道。
• 独立的 .txt 章节提示表导出（longform/33-cue-sheet-export.md）。为长格式前端入口（用于 mp3/节目笔记/YouTube 章节）提供人类可读的 HH:MM:SS<TAB>Title 提示表，复用现有 formatTimecode/buildCueSheet 辅助函数——无需后端变更。对 03 的长格式编辑器界面来说，是一个小而高价值的贴心功能。
• 同意锁定的语音档案 + 对智能体/共享输出添加 AudioSeal 水印（对标计划条目 0.2/5.3/5.4；longform/29-ovsvoice-format.md、longform/32-phone-calls.md）。同意/证明 + 水印护栏是 04 Voice Packs（共享）和 02 的智能体输出（欧盟 AI 法案第 50 条，自 2026-08-02 起适用）的硬性先决条件。新规范假设本地优先共享，但尚未明确同意锁定/水印闸门——它必须与 04 及任何智能体输出路径一同落地，而不是作为后续补丁。
• 双遍 ACX 响度母带处理 + 分章 m4b/封面/元数据（2026-06-13-stories-audiobook-maturity.md、longform/28-two-pass-acx-mastering.md、#24）。有声书级别的母带处理/打包细节保存在这些规范中；03 假定共享的长格式渲染核心已存在，并应复用这些内容，而不是重新定义。