VoiceStudio — Parakeet TDT v3 (MLX) 引擎¶
NVIDIA 的 Parakeet TDT v3 可在 Apple Silicon GPU 上运行,借助轻量的纯 Python parakeet-mlx 包。它为 Mac 用户带来 CUDA/CPU 用户通过 NeMo 或 sherpa-onnx 所获得的 Parakeet 级能力:25 种欧洲语言、来自 TDT 解码器本身的词级时间戳(无需 wav2vec2 对齐步骤)、约 1.2 GB 下载量、约 2 GB 统一内存,以及 GPU 上的听写级速度。
与 nemo-parakeet 不同,它不需要 nemo_toolkit(其 transformers 固定版本与应用的存在冲突)——自 0.3.22 起,它在 Apple Silicon 源码安装中默认安装。
选择它¶
- 在 Model Catalogue 的 ASR 标签页中,对 Parakeet TDT v3 (MLX) 行点击 使用,或设置
OMNIVOICE_ASR_BACKEND=parakeet-mlx。 - 听写会自动优先选择它:一旦模型权重安装完成(Model Catalogue(ASR 标签页 → 该引擎的权重)中——自动选择永远不会触发下载),只要你的系统语言是所覆盖的 25 种欧洲语言之一,实时听写/采集就会使用它。其他语言继续使用多语言 Whisper 引擎,因此听写覆盖范围永远不会退化。
最擅长¶
- 在 Mac 上的实时听写 —— TDT 解码速度足以满足采集路径的要求,同时具备 Parakeet 优于 Whisper 的英语 WER。
- 欧洲语言转录,附带词级时间戳,而内存和计算开销仅为 whisper-large-v3 的一小部分。
对于 25 种语言之外的语言(CJK、阿拉伯语等),请改用 mlx-whisper。
平台支持¶
仅支持 Apple Silicon —— 与 mlx-whisper 相同的共享 MLX 平台门禁会在任何导入之前拒绝 Linux、Windows 和 Intel Mac(#390)。它在统一内存 GPU 上运行;没有 CPU 层级。
模型选择¶
ASR_MODEL_PARAKEET_MLX —— 默认值为 mlx-community/parakeet-tdt-0.6b-v3。权重在首次加载时下载 —— 参见 downloading-models。
注意事项¶
- 长文件在内部按 120 秒的块进行处理,以限制统一内存的使用;较短的听写缓冲区和配音块不受影响。
- Parakeet v3 会在其 25 种语言中自动检测,但不会暴露具体选择,因此报告的语言是你请求的语言(或没有)——它绝不会硬编码为英语。
- 词级时间戳由解码器的子词 Token 合并而来——适合字幕和听写;对于对口型要求严格的配音,wav2vec2 对齐引擎(mlx-whisper、whisperx)仍然是精度更高的层级。
各引擎之间的速度对比参见 performance。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio