VoiceStudio — MLX Whisper 引擎¶

MLX Whisper 通过 MLX 在 Apple Silicon GPU 上运行 Whisper。它之所以存在，是因为 CTranslate2（whisperx / faster-whisper）没有 Metal 版本——在 Mac 上，无论配备什么 GPU，这些引擎都只能在 CPU 上转录。在 M2 上使用 whisper-large-v3 测量，一个 30 秒的配音片段：WhisperX（CPU）需 90.4 秒，而 MLX（GPU）只需 20.5 秒——这就是为什么自动检测会在每台 Apple Silicon 机器上选择 MLX Whisper（#1127）。

如何选择¶

• 在 Apple Silicon 上无需任何操作——自动检测在那里会优先选择它。
• 也可以显式指定：Model Catalogue，ASR 标签页 → 使用，或 OMNIVOICE_ASR_BACKEND=mlx-whisper。

擅长领域¶

• 在 Mac 上配音 — 它在 GPU 转录之上叠加了 WhisperX 使用的同一套 wav2vec2 强制对齐，因此单词时间戳（±10–30 ms）以及口型同步精度都不变。同一模型、同一对齐方式，速度约快 4 倍。
• 听写/采集 — 采集路径会自动换用 mlx-community/whisper-large-v3-turbo（比 large-v3 快约 5 倍），除非优先选择了 sherpa 听写模型或 parakeet-mlx。

平台支持¶

仅支持 Apple Silicon。 一个共享平台门禁会在任何包导入之前拒绝 Linux、Windows 和 Intel Mac，因此误装到错误平台上的 mlx-whisper wheel 绝不会表明自己可用（#390）。所有其他平台会改用 CUDA/CPU 引擎。

模型选择¶

• ASR_MODEL — 默认为 mlx-community/whisper-large-v3-mlx。任何 MLX 格式的 Whisper 仓库都能用。权重在首次加载时下载——参见 downloading-models。
• OMNIVOICE_ALIGN_DEVICE — 强制指定 wav2vec2 对齐器的设备。对齐器会尽量在 MPS 上运行，否则回退到 CPU；没有随附对齐器的语言（约 20 种主要语言有）会保留 Whisper 原生的单词时间戳。

特殊行为¶

• 音频是通过 VoiceStudio 经过验证的 ffmpeg 解码的，而不是像 mlx-whisper 那样自行进行裸 ffmpeg PATH 查找——因此即便是在没有系统 ffmpeg 的情况下从源码干净安装，也能正常工作（#479）。
• 模型会在后台预热到统一内存中，因此启动后的第一次转录不需要承担加载成本。
• 在打包应用中，原生 MLX 库如果加载失败，会被报告为“不可用”（并回退到另一引擎），而不是让引擎列表崩溃。

各引擎之间的速度对比见 performance。