Unlimited Seedance, Kling, Wan and Seedream 5.0, now on KreatorFlow · available now · Fair use

See passes

BytePlus官方合作伙伴ByteDance旗下公司 BytePlus

BytePlus官方合作伙伴 · OmniHuman 2.0

AI对口型:照片配上声音,就能开口说话

上传照片、加入音频,KreatorFlow的对口型功能就会让照片里的人物逐字说话或唱歌,表情和动作也很自然。它由ByteDance的音频驱动模型OmniHuman 2.0提供支持,单条视频最长5分钟。

  • 最长5分钟
  • 说话、唱歌、说唱
  • 真人、角色、宠物
  • 720p或1080p
  • 每秒4积分起

对口型是付费功能。两种低门槛的开始方式: 48小时试用($3) (60积分,约可生成15秒720p视频。如未在48小时内取消,将自动转为Creator套餐,首月$19,之后每月$25),或 $8起的积分包 (160积分,约可生成40秒720p视频,一次性付款,无需订阅)。

最后更新:

本页内容
  1. AI对口型能做什么
  2. 三步做出对口型视频
  3. 主要功能
  4. 如何准备声音
  5. 对口型视频的价格
  6. 常见用法
  7. 让效果更自然的小技巧
  8. 负责任地使用
  9. AI对口型常见问题
  10. 延伸阅读

AI对口型能做什么

AI对口型只需要两样东西:一张人物图片和要说的内容,就能生成这个人物开口说话的视频。KreatorFlow的对口型使用ByteDance最新的音频驱动视频模型OmniHuman 2.0。KreatorFlow是BytePlus(ByteDance旗下公司)的官方合作伙伴,通过BytePlus运行这个模型。

音频驱动的意思是由声音来带动画面。大多数AI视频工具先根据文字生成画面,再配上声音;这里则是声音塑造整段表演。嘴型对上每个字,眉毛和头部随重音起伏,停顿看起来就是停顿,唱歌时是真的在唱,而不只是动动嘴。文字提示是可选的,只用来补充声音表达不了的部分,比如微笑、点头或镜头缓缓推近。

单次生成最长5分钟,演讲、课程、产品介绍或整首歌,都能保持同一张脸一条做完,不用把短片段拼起来。

三步做出对口型视频

  1. 1

    添加照片

    上传一张清晰的人物、角色或宠物照片,也可以从已上传的图片、生成结果或保存的角色中选择。最好只有一张脸、基本正对镜头、嘴部没有遮挡。

  2. 2

    添加音频

    输入文案并选择内置声音,或上传MP3、WAV文件。你自己的录音、歌曲,以及在音频工作室生成的声音(包括克隆的声音)都可以使用。音频长度为4秒到5分钟。

  3. 3

    生成并下载

    选择720p或1080p,需要的话写上动作或镜头说明,然后开始生成。价格会先显示(720p每秒4积分,1080p每秒6积分)。视频与音频等长,并自动保存到素材库。

主要功能

单条最长5分钟

支持4秒到5分钟的音频,生成的视频与音频完全等长。

说话、唱歌、说唱

对话、旁白、歌曲到快节奏说唱都能驾驭,口型、语气和情绪跟着声音走。

真人、角色、宠物

人像照片、动漫或插画角色、3D角色、幻想生物和动物都适用。

任何语言

模型跟着声音变化,普通话、粤语、英语或任何口音,只要有音频就能用。

表演指示

最多2,000个字符,可描述动作、情绪、镜头运动和背景氛围。

720p或1080p

720p每秒4积分,1080p每秒6积分,生成前就会显示。

如何准备声音

内置声音:输入要说的内容,从对口型页面的英文声音中选一个。系统会先用文字转语音生成音频(每1,000个字符2积分),再生成视频。

自己的录音:用手机录音,导出为MP3或WAV后上传。噪音越少、声音越清楚,口型就越清晰。

音频工作室的声音:中文配音可以用中文AI语音合成生成,生成的音频会出现在对口型的音频选项里。

歌曲:上传你拥有版权的人声音轨。如果只有混音版本,选择伴奏较轻的版本效果更好。

对口型视频的价格

按音频秒数(不足一秒按一秒计)计算积分,与工作室实际扣除的积分来自同一套代码。

按音频长度和分辨率计算的对口型积分
音频长度720p1080p
4秒16积分24积分
10秒40积分60积分
30秒120积分180积分
1分钟240积分360积分
5分钟1,200积分1,800积分

对口型需要付费账户。套餐从Creator起,首月$19;积分包$8起。失败的视频会自动退回积分。所有套餐请查看价格页面。

常见用法

  • 用一张品牌照片做产品介绍或广告旁白
  • 每一集都由同一位讲师出镜的课程和培训视频
  • 用照片和自己的声音做生日祝福或感谢视频
  • 用角色形象和人声音轨做音乐视频或虚拟歌手
  • 用同一张照片说出多种语言版本的同一段话
  • 有真人出镜感的有声书、播客和新闻栏目
  • 在社交媒体上发布会说话的吉祥物、宠物或角色

让效果更自然的小技巧

  • 使用只有一张清晰人脸、对焦准确的照片,特写或半身照最合适。
  • 不要遮住嘴巴和下巴,手、麦克风或头发都别挡住嘴唇。
  • 使用清晰的音频,噪音或很响的背景音乐会让口型变得不准确。
  • 提示词只用平常的句子写动作,例如“她微笑着,一边说话一边向镜头靠近”。照片里已经有的东西不用再写。
  • 做长的1080p视频之前,先用720p试一句短台词。

负责任地使用

请只使用你本人或已获得许可的人物照片。让真实人物开口说话需要本人同意,不能冒充他人。声音和音乐也必须是你有权使用的。禁止的内容请见可接受使用政策(英文)。

AI对口型常见问题

什么是AI对口型?

AI对口型是用一张静态图片和一段音频,生成照片中人物说出或唱出这段音频的视频。KreatorFlow使用ByteDance的音频驱动视频模型OmniHuman 2.0,不只是嘴唇逐字对上,脸、头部和上半身也会跟着声音的节奏和情绪自然变化。

能生成多长的视频?

视频长度与音频一致,单次生成支持4秒到5分钟。演讲、课程、播客片段,甚至整首歌,都能一条视频做完。

怎么收费?

按音频秒数计费:720p每秒4积分,1080p每秒6积分,不足一秒按一秒计,最少按4秒计算。10秒的720p片段为40积分,1分钟为240积分。生成前会显示准确价格,失败的视频会退回积分。

需要付费套餐吗?

需要。所有付费套餐和积分包都能使用对口型。套餐从Creator起,首月$19;积分包$8起(160积分)。付费账户可以使用两种分辨率。价格以美元显示。

除了说话,也能唱歌吗?

可以。OmniHuman 2.0支持对话、歌曲和快节奏说唱,口型、语气和情绪都会跟着歌曲变化。请上传人声音轨,伴奏越少、人声越清楚,口型就越准确。

中文音频也可以用吗?

可以。模型根据声音本身驱动画面,普通话、粤语等任何语言的音频都能用。对口型页面的内置声音为英文,中文配音可以在音频工作室生成,或直接上传你自己的录音。

动漫角色或动物也可以吗?

可以。除了真人照片,动漫或插画角色、3D角色、幻想生物,以及猫、浣熊等动物,只要脸部清晰都能让它开口。

可以用别人的照片吗?

只有在获得本人许可时才可以。你必须是照片中的本人,或已取得本人同意让其开口说话,同时也要拥有所用声音和音乐的使用权。每张新照片我们都会请你在网站上确认。未经许可不得使用名人或公众人物的照片,涉及色情或未成年人的内容同样禁止。

做出你的第一条会说话的视频

打开对口型,添加照片和音频,生成前就能看到价格。付费套餐或积分包均可使用。

延伸阅读