首页 › 角色一致性

角色一致性怎么保证?AI 视频人物为什么总变形

不是模型不想画同一个人,而是它根本不知道上一条视频里那个人是谁。理解这一点,四种方案的取舍就清楚了。

角色为什么会变形

文生视频(t2v)的工作方式是:读你的文字,然后从噪声里一步步去噪出一段画面。整个过程没有记忆——它不知道你上次生成了什么,也不知道你下次要生成什么。你在每个镜头的提示词里写「同一个 30 岁的短发女性」,模型每次都会重新想象一遍「30 岁短发女性」应该长什么样。

于是就有了熟悉的结果:S01 里她眼睛细长,S02 里变成圆眼;S01 穿灰色卫衣,S03 里变成黑色夹克。这不是模型能力问题,而是输入信息不足的必然结果。

四种方案的对比

方案做法效果代价
固定随机种子每次生成用同一个 seed弱。种子控制的是噪声起点,换个提示词就失效几乎无成本,但基本不管用
首帧延续上一镜的最后一帧当作下一镜的首帧中。相邻镜头连贯,但会累积漂移,几镜之后还是变需要图生视频,动作受限
模型微调 / LoRA用这个角色的图片训练一个小模型强。但需要 20 张以上高质量图、几十分钟训练成本高、周期长,换角色要重来
参考生视频(r2v)生成时附带角色参考图,让模型按图还原强且快。每次生成都带上同一张参考图参考图质量决定上限

对大部分做短视频的人来说,参考生视频是性价比最高的方案:不需要训练,不需要等,把角色定义一次,之后每个镜头都引用。

四维锁定:让「同一个角色」可被定义

只说「用同一个角色」是不够的,因为「角色」本身要拆成模型能理解的维度。CanvasVid 的做法是拆成四维,每一维单独锁定:

顺序很重要:先定脸和服装,再定身材,声音最后配。因为脸和服装是最容易在参考图里表达清楚的,而身材和声音依赖前两者建立的角色基础。

实操中五个容易忽略的细节

  1. 参考图要正面、清晰、单人。多人合影、侧脸 45 度、强逆光都会让模型提取到错误的特征。
  2. 同一角色不要混用多张差异大的参考图。三张风格不同的照片会让模型在中间「平均」出一张谁都不像的脸。
  3. 镜头景别跨度大时,参考图要配套。特写用脸部参考,全景用半身或全身参考,效果明显更好。
  4. 避免剧烈动作镜头放在角色首次亮相时。角色刚出现时用稳定、缓慢的镜头,先把脸立住,之后再放开动作。
  5. 光线和色温要保持一致。同一个角色在暖光和冷光下会被观众感知为不同的人,这跟模型无关,是人的视觉习惯。

什么情况下不必强求一致

不是所有视频都需要角色一致性。产品展示、风景空镜、抽象概念片、数据可视化动画,本来就没有固定人物,硬上角色系统只会增加复杂度。判断标准很简单:观众会不会因为「这不像同一个人」而分心。会,就锁定;不会,就别管。

常见问题

用同一张参考图,为什么生成的人物还是会变?

参考图提供的是视觉约束而非精确复制,模型仍有一定随机性。这时候要配合固定服装、固定光线、减少剧烈动作,多管齐下才能稳定。

参考生视频和换脸有什么区别?

换脸是生成完成后再做一次图像替换,只改脸、不管身材和光影,近景容易露馅;参考生视频是在生成阶段就注入角色特征,整段画面的结构、光影、体型都是连贯的。

一个人物需要准备几张参考图?

最少一张清晰的正面照即可开始。要求高的话准备三到五张:正面、半身、全身、不同光线各一张。

多角色同框能做到吗?

可以,但难度显著上升,建议控制在同一画面两个角色以内,并且两者服装颜色要有明显区分,避免模型混淆。

相关阅读

把下一个想法画到画布上
CanvasVid 目前为邀请制内测,登录即可进入无限画布
进入 CanvasVid →