跳转至

实施计划:CosyVoice GGUF/Vulkan

任务 1 — 固定引擎输入

  • [x] 固定社区源修订版本、模型仓库修订版本、预期模型文件、前端 ONNX 路径以及模型许可证记录。
  • [x] 在实现之前,为运行时/模型路径解析和下载模型缓存发现添加测试。

任务 2 — 添加运行时发现与路由

  • [x] 通过显式覆盖或应用管理的引擎文件夹解析原生 server/CLI。
  • [x] 探测 cosyvoice-cli --list-backends,解析其实际设备名称,实现显式设备选择以及自动 Vulkan-then-CPU 回退。
  • [x] 测试权威二进制覆盖、显式缺失后端、自动选择以及仅 CPU 运行时。

任务 3 — 实现可复用的语音提示

  • [x] 对参考音频字节加文本转写进行哈希,使用固定的运行时前端资源一次性生成 prompt-speech GGUF,并在应用数据下进行原子缓存。
  • [x] 测试稳定缓存键、文本转写失效以及失败临时输出的清理。

任务 4 — 添加受管理的本地服务器适配器

  • [x] 添加进程所有、仅回环的服务器生命周期,包含随机端口、API 密钥、随机提供的模型 id、健康/模型身份检查、请求超时、WAV 解码以及幂等关闭。
  • [x] 缓存/复用 prompt,并且仅在其内容键更改时重启。
  • [x] 测试请求负载、返回的波形形状/采样率、端点构建以及进程清理;在硬件烟雾测试中执行真实启动和生成。

任务 5 — 注册引擎和用户可见设置

  • [x] 将 cosyvoice-gguf 注册为独立的惰性引擎,并带有如实的能力描述和路由元数据。
  • [x] 添加模型目录/许可证元数据、手动原生运行时构建/安装说明、局限性以及一条 Unreleased 变更日志条目。
  • [x] 保留现有的 cosyvoice 和默认引擎行为。

任务 6 — 验证

  • [x] 运行聚焦的后端测试、目录/许可证验证以及文档检查。
  • [x] 使用 Vulkan0、Mira 参考 prompt、一行普通文本和一行气声/指令文本运行真实的 RX 6700 XT 集成烟雾测试。验证单声道 24 kHz 非零输出和运行时设备身份。
  • [x] 审查 diff 的范围、全新安装行为、无机密/本地路径,并且所有新增 Python 模块均低于 200 行。
  • [ ] 打开一个与 #3247 关联的聚焦 PR,并请求 CI/跨代理审查;保持总括 issue #2468 打开。

验证说明

  • 325 个聚焦测试:321 个通过,2 个跳过,另有 2 个无关的 IndexTTS ROCm 安装程序预期失败(test_rocm_host_keeps_a_rocm_torch_install_healthy 和 test_non_rocm_hosts_keep_installed_means_installed)。这些相同的失败在实现之前即可复现。
  • 单独的模型/许可证/修订检查:17 个通过;许可证库存验证器通过,包含 59 条模型记录。
  • 实际的本地 cosyvoice.cpp 服务器选择了 Vulkan0 - AMD Radeon RX 6700 XT,并通过适配器生成了普通与气声 24 kHz 单声道 WAV。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio