跳转至

VoiceStudio — Parakeet TDT v3 (MLX) 引擎

NVIDIA 的 Parakeet TDT v3 可在 Apple Silicon GPU 上运行,借助轻量的纯 Python parakeet-mlx 包。它为 Mac 用户带来 CUDA/CPU 用户通过 NeMo 或 sherpa-onnx 所获得的 Parakeet 级能力:25 种欧洲语言、来自 TDT 解码器本身的词级时间戳(无需 wav2vec2 对齐步骤)、约 1.2 GB 下载量、约 2 GB 统一内存,以及 GPU 上的听写级速度。

与 nemo-parakeet 不同,它不需要 nemo_toolkit(其 transformers 固定版本与应用的存在冲突)——自 0.3.22 起,它在 Apple Silicon 源码安装中默认安装。

选择它

  • 在 Model Catalogue 的 ASR 标签页中,对 Parakeet TDT v3 (MLX) 行点击 使用,或设置 OMNIVOICE_ASR_BACKEND=parakeet-mlx。
  • 听写会自动优先选择它:一旦模型权重安装完成(Model Catalogue(ASR 标签页 → 该引擎的权重)中——自动选择永远不会触发下载),只要你的系统语言是所覆盖的 25 种欧洲语言之一,实时听写/采集就会使用它。其他语言继续使用多语言 Whisper 引擎,因此听写覆盖范围永远不会退化。

最擅长

  • 在 Mac 上的实时听写 —— TDT 解码速度足以满足采集路径的要求,同时具备 Parakeet 优于 Whisper 的英语 WER。
  • 欧洲语言转录,附带词级时间戳,而内存和计算开销仅为 whisper-large-v3 的一小部分。

对于 25 种语言之外的语言(CJK、阿拉伯语等),请改用 mlx-whisper。

平台支持

仅支持 Apple Silicon —— 与 mlx-whisper 相同的共享 MLX 平台门禁会在任何导入之前拒绝 Linux、Windows 和 Intel Mac(#390)。它在统一内存 GPU 上运行;没有 CPU 层级。

模型选择

ASR_MODEL_PARAKEET_MLX —— 默认值为 mlx-community/parakeet-tdt-0.6b-v3。权重在首次加载时下载 —— 参见 downloading-models。

注意事项

  • 长文件在内部按 120 秒的块进行处理,以限制统一内存的使用;较短的听写缓冲区和配音块不受影响。
  • Parakeet v3 会在其 25 种语言中自动检测,但不会暴露具体选择,因此报告的语言是你请求的语言(或没有)——它绝不会硬编码为英语。
  • 词级时间戳由解码器的子词 Token 合并而来——适合字幕和听写;对于对口型要求严格的配音,wav2vec2 对齐引擎(mlx-whisper、whisperx)仍然是精度更高的层级。

各引擎之间的速度对比参见 performance。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio