VoiceStudio — Faster-Whisper 引擎¶

Faster-Whisper 在 CTranslate2 上运行 Whisper——与 WhisperX 使用的转录核心相同，但没有 wav2vec2 强制对齐步骤。当 whisperx 未安装时，它是安全的跨平台回退方案；在非 Apple 机器上，它也是采集/听写回退方案。

选择它¶

• Model Catalogue、ASR 选项卡 → 在 Faster-Whisper 行上点击 使用，或者
• 使用 OMNIVOICE_ASR_BACKEND=faster-whisper 将其固定。

自动检测仅在 whisperx 不可用时才会选择它。

擅长场景¶

• 字幕、听写缓冲区和批量转录：Whisper 原生的单词计时（±100–300 毫秒）已经足够。
• 对于配音口型同步，请优先选择 whisperx（或在 Apple Silicon 上选择 mlx-whisper）——它们的强制对齐在单词边界上要紧密一个数量级。

平台支持¶

• CUDA — float16，支持自动降级（见下文）。
• CPU — 在 macOS、Windows 和 Linux 上使用 int8。
• Apple Silicon GPU / ROCm — 不支持：CTranslate2 没有 Metal 或 HIP 构建，因此这些主机将在 CPU 上运行（#1529）；自动检测会将它们路由到 mlx-whisper / pytorch-whisper。

模型选择¶

ASR_MODEL_FASTER — 默认值为 Systran/faster-whisper-large-v3。接受尺寸别名（tiny … large-v3、distil-large-v3）或 HF 上任何 CTranslate2 Whisper 仓库。权重在首次加载时下载 — 参见 downloading-models。

片段在转录之前由 faster-whisper 内置的 Silero VAD 进行清理。

降级链¶

• 不支持高效 fp16 的 GPU（较老的 Maxwell/Pascal、GTX 16xx，或 CTranslate2/cuDNN 不匹配）会在模型构建时因计算类型错误而失败；引擎会依次尝试 float16 → int8_float16 → int8，而不是让每个分块都失败（#551）。
• CUDA 显存不足时会回退到 CPU（速度较慢，但模型和精度相同）——清除常驻的 TTS 模型可释放 VRAM，从而以 GPU 速度进行 ASR（#255）。

注意事项¶

• CUDA 上需要 cuDNN 8 — 缺少 cuDNN 8 会导致整个进程快速失败，因此引擎会预先检查并改为报告自身不可用（#1371）。pytorch-whisper 通过 torch 自带的 cuDNN 9 覆盖了这种情况。
• 内核拒绝可执行栈。 CTranslate2 4.4.0 及更早版本附带的库会请求可执行栈，某些 Linux 内核在加载时会拒绝这些库（whisperx 在 Python 3.11 上固定了其中一个版本）。VoiceStudio 在首次探测引擎时会自动清除库文件中的该标志。如果文件是只读的，引擎会报告不可用，并附带需要运行一次的 patchelf --clear-execstack <library> 命令（#692）。
• CTranslate2 的 GPU 资源释放在卸载时可能会罕见地导致进程段错误。如果遇到这种情况，请切换到崩溃隔离变体 — faster-whisper-isolated（#730）。
• 转录有时间限制：OMNIVOICE_TRANSCRIBE_CHUNK_TIMEOUT_S（默认每个配音分块 120 秒）和 OMNIVOICE_ASR_TRANSCRIBE_TIMEOUT_S（默认整个文件 300 秒）。

各引擎之间的速度对比见 performance。