DreamFace 中文文档 下载 App

DreamFace 用已有音频或歌曲做对口型——让数字人跟着原音开口

什么时候用音频输入 vs 脚本输入

DreamFace 的数字人生成器支持三种输入源:脚本文本、上传音频/视频、AI 自动生成。选择哪一种取决于你的目标:

目标推荐方式
我想控制数字人说具体内容脚本文本
我已经有一段现成的录音或歌曲,想让数字人跟着唱/说上传音频/视频
我有一个想法,让 AI 帮我生成脚本和声音AI 自动生成
我想让数字人说我的声音先语音克隆,再用克隆声线 + 脚本文本

其中上传音频/视频做对口型是 DreamFace 使用频率非常高的一条场景线——它让你不需要在 DreamFace 里重新录入声音,直接复用已有的音频素材。

支持的音频/视频格式

DreamFace 支持常见的音频和视频格式:

实际上 DreamFace 只需要视频里的音轨——上传视频后它会自动提取音轨用于对口型。

音频输入的完整流程

第一步:准备音频素材

建议使用清晰、低背景噪声的音频。质量好的音频会让对口型效果更自然。来源可以是:

第二步:上传到 DreamFace

  1. 在数字人生成工作台中选择「上传音频/视频」入口
  2. 选择本地文件或拖入上传区
  3. DreamFace 会自动分析音频,提取语音特征和节奏信息

第三步:选择声音处理方式

上传音频后,你需要决定数字人用什么声音说话/唱歌:

选项说明适合场景
用原音数字人跟着上传的音频对口型,输出时保留原音轨已经录好自己的声音,想让形象动起来
用 AI 声音(替换)保留节奏和停顿,但把声音换成 DreamFace 声音库里的某个声线想让数字人说话但不想用原音
用你的克隆声线用你的克隆声音替换原音你已经做过语音克隆,想保持声音一致性

第四步:生成

点击生成,DreamFace 会完成音频分析 → 口型同步 → 表情匹配 → 视频渲染的完整流程。

对口型效果的影响因素

DreamFace 的对口型引擎在业内口碑不错,但效果还是受一些因素影响:

音频质量

内容类型

音频长度

宠物对口型的特殊处理

DreamFace 的宠物对口型(让猫狗开口说话/唱歌)也是走这条入口线,但有独立的处理引擎。操作上:

  1. 选择 Pet Lip Sync 入口(而非普通 Avatar Video)
  2. 上传宠物照片和音频素材
  3. DreamFace 会启用针对动物面部优化的对口型模型

→ 深入了解:宠物对口型唱歌

常见问题

上传后口型完全对不上

大概率是音频质量问题——试试降噪或换一段清晰的音频。另外确认上传的音频和照片主体确实对应(比如别用一段男性声音去配一张女性照片)。

可以上传多段音频吗

目前 DreamFace 单个数字人生成任务只支持一段音频。多段音频需要先拼接好再上传,或者分多次生成。

口型对了但表情很僵

这通常是因为音频情绪波动较大,而照片是中性表情。可以试试选一张表情更生动的照片,或者降低音频的情绪强度。