分步教程:为包含多个角色的视频配音¶
本教程带你从零开始,把一个视频文件一步步导出为配音版本,且每个角色都保持自己的声音。示例演示的是将一段 20 分钟、含五个角色的英文视频配音成印地语,但同样的步骤适用于 VoiceStudio 支持的任意语言组合。
一切都在你自己的电脑上运行。首次运行会下载所需模型;之后这些步骤可离线完成。
开始之前¶
- 安装 VoiceStudio 并完成首次运行设置 (macOS · Windows · Linux · Docker)。
- 开启说话人检测。 区分不同角色依赖 pyannote 话者分离模型,该模型需要免费 Hugging Face token,并需一次性点击接受许可。请参阅 Speaker diarization。 若不开启,每一行都会被当作同一位说话人处理。
- 尽量使用干净的源视频。 音乐和音效会被自动从人声中分离,但清晰的对话能带来更好的声音克隆效果。20 分钟的视频在 CPU 上需要一些时间;使用 GPU(CUDA、Apple Silicon 或 ROCm)会快得多。
1. 加载视频¶
- 在侧边栏中打开 Dubbing。
- 将视频拖到导入卡片上,或粘贴链接。
- 在文件下方,将 Spoken language 设为 English(Auto 也可以),并将
Speakers 设为角色数量,此处为
5。留空则让 VoiceStudio 自动猜测;若两个角色总是被合并为一个,可手动指定。
VoiceStudio 会将人声与背景分离,进行转写,并为每一行标注说话人(Speaker 1、Speaker 2,……)。
2. 检查谁在说什么¶
在翻译前先浏览一遍转写内容;现在修正说话人可避免之后重新配音。
- 某一行说话人标错了: 点击该行顶部的说话人名称打开选项,然后在 Speaker 下选择正确的说话人。
- 多行说话人标错了: 勾选这些行的复选框,然后使用选择栏中的 Set speaker...。
- 某个角色被话者分离漏掉了: 在以上任一位置选择 New speaker。 新说话人默认使用默认声音;在步骤 4 中为其指定一个声音。
- 同一行里有两个角色: 打开该行的 ... 菜单,将光标放到第二个角色开始的位置,选择 Split at cursor,然后为新行设置说话人。Insert line below 会在当前行下方插入一个空行,你可以为它单独指定说话人和时间。
一行原本跟随旧说话人声音的内容会自动切换到新说话人的声音。如果你曾专门为那一行手动挑选过声音,则该声音会保留。
3. 翻译成印地语¶
- 选择 Hindi 作为目标语言。
- 点击 Translate 并通读结果。点击任意一行即可编辑。
- 可选:将人名和反复出现的术语加入 Glossary,确保每次都以相同方式翻译。
4. 为每个角色赋予一致的声音¶
打开 Cast(选角面板)。每个检测到的说话人都会列出其将使用的声音:
- Auto · Speaker N 会从视频中克隆该角色自己的声音,并用它说印地语。这是默认选项,通常也是你想要的。
- 从列表中选择一个已保存的声音,或将一个声音标签拖到某位说话人上, 以改用你声音库中的声音(例如你自己设计的声音)。
要让长视频中角色声音保持稳定,请将 Voice match 设为 Consistent:这样每个角色的每一行都会从同一个参考样本进行克隆。 Per line 会更贴合每一行自身的表达方式,但可能在行与行之间产生漂移。
5. 生成并审听¶
- 点击 Generate。进度显示在底部栏中。
- 使用某一行上的耳机按钮试听单行内容,并使用 Verify 对照源视频检查时间轴是否对齐。
- 修改了某行、其说话人或其声音?再次点击 Generate:只有被改动的行会重新渲染,并且它们会继续使用每个角色各自的声音。
如果某一行内容过长、无法放入对应时间段,该行会显示警告。请缩短印地语文本、使用建议的更简短措辞,或在 Timing 部分选择 Smart Fit 等时间选项。
6. 导出¶
打开 Export options:
- MP4 会将配音合成到视频中。如果希望观看者能切回原声,请同时保留 Original。Background audio 会在配音下方保留音乐和音效。
- SRT / VTT 用于导出字幕。Burn subtitles into picture 则会将字幕直接绘制到视频画面上。
你也可以在没有任何配音时导出:SRT/VTT 会导出转写文本(或其译文),而带烧录字幕的 MP4 会保留原始音频。
修复机械感或平淡的输出¶
- 克隆参考样本需要几秒钟的清晰语音。如果某个角色只讲非常短的句子,可能会回退到默认声音;请在选角面板上为其指定一个已保存的声音。
- 关于情感和风格,请参阅 Expressive speech。 在配音编辑器中,每行的选项中还有一个 Direction 字段 (例如“whispered”或“excited”),转写菜单中的 Mirror source delivery 会将原始演员的表达方式复制到每一行上。
更多教程¶
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio