一句话总结
- 给主体一个可见的动作,例如转头或举杯。
- 说明主体往哪个方向动、动得有多快。缓慢的转身比“自然移动”能给模型更清晰的轨迹。
- 选择与动作相匹配的镜头运动。当主体的动作需要保持清晰可见时,让镜头保持静止。
- 指明场景以及必须保持不变的细节,例如面部、产品标签或背景。
- 如果片段看起来不对,每次只修改一处prompt细节。清晰的措辞有帮助,但模糊的图像或模型的动作局限仍可能影响结果。
为什么图生视频prompt还没渲染就注定失败
含糊的prompt会把过多的动作抉择留给视频模型。“让这个人自然地动起来”并没有告诉它这个人应该眨眼、转头还是走动。模型还必须决定动作发生的速度以及镜头是否移动。更具体的prompt能在短片中减少它需要协调的选择。
源图像可能在你写 prompt 之前就埋下隐患。如果一只手藏在包后面,模型就看不到它完整的形状和位置。模糊的面部会让模型缺少可延续到后续帧的细节。杂乱的背景和不清晰的姿势,也会让模型更难判断哪些部分该动。
视频模型也有动作上的局限。即使prompt清晰,仍可能产生变形的手、改变形状的物体,或违背重力的运动。当图像清晰、prompt聚焦,动作却依然看起来不对时,试试更简单的动作或换一个模型。没有任何措辞能保证逼真的物理效果或完美的一致性。
打造自然动态的五要素公式
从一个观众能看到的动作开始。对于肖像,让人物把头微微转向窗户。如果你还要求他们起身、挥手并走开,模型就必须在保持人物外观的同时串联多个变化。当你需要更多掌控时,为每个动作单独制作一个片段。
加入方向和节奏,让动作有明确的轨迹。“这个人缓缓向左转”比“这个人转身”能给模型更多引导。拍产品照时,“瓶子稍微向镜头倾斜,然后回正”就描述了一个有明确终点位置的小幅动作。请确保所要求的动作与画面内容相符、合乎情理。
选择一种能帮观众跟上动作的镜头运动。固定镜头能让转头或产品倾斜成为画面的主要变化。镜头缓缓推向一个静止主体,可以在不要求主体变形的情况下增添动感。而把快速环绕镜头和人物转身组合起来,则会让所要求的动作更难看清。
锚定你想保留的画面部分。先指明室内或室外场景,再点出具体细节,如服装、面部、产品标签或物体的比例。“瓶子的标签和形状保持不变”能告诉模型在瓶子移动时哪些可见细节重要。这条指令可以减少歧义,但无法保证这些细节完全一致。
把这个模板当作起点,先看一遍生成的片段,再修改其中一个部分。如果主体动得太快,先调整节奏,再去改动作或镜头指令。这样你会更清楚哪一处改动起了作用。
PROMPT 模板
The [subject] [one visible action] [direction] at a [pace] pace. The camera [one compatible movement or stays still]. The [setting] remains unchanged. The [important subject details] keep their original appearance.
对比示例:照片中的人物
想象一张女子坐在咖啡桌旁的肖像。她的头微微左转,照片清晰地展现了她的面部和肩膀。含糊的prompt可能写成:“让她自然地动起来,同时镜头环绕她。”这个prompt没有给出明确的动作,还要求镜头展现照片中未显示的场景部分。
更具体的 prompt 可以写成:“这位女士缓缓把头从左侧转向镜头,然后目光停驻。镜头保持静止。她的肩膀、桌子和咖啡馆背景都保持在原位。”
改写后给了这位女子一个契合初始姿势的小动作。“缓缓地”设定了节奏,而固定的镜头让你能看清转头,又不会增添另一个动作来源。你可以用同样的套路来处理自己的肖像:指明一个可见的身体动作,并让照片的其余部分保持稳定。更清晰的prompt让模型猜测的空间更小,不过它无法保证每一帧都看起来自然。
改前改后对比:一张产品照片
瓶子照片所需的动作请求要比完整的产品展示更小。假设你的源图像显示桌上有一个贴着标签的瓶子,瓶身一侧有一滴水珠。
之前: “让瓶子旋转,同时镜头环绕它。加入戏剧性的运动。”
编辑后: “一滴水珠缓缓滑下瓶子可见的一侧,远离正面标签。保持镜头固定。瓶子的形状、瓶盖、标签文字、比例和桌面均保持不变。”
第一个prompt要求呈现照片无法显示的视角,因此模型必须凭空捏造瓶子的背面及其标签。改写后让一个可见的物体获得方向和节奏,同时让产品保持静止。对于用现有产品照片制作的营销片段,这种较小的改动或许能给你可用的动作,而无需再安排一次拍摄。使用前请检查结果,因为prompt无法保证标志或瓶子形状的准确性。
对比示例:一个简单场景
一张湖景照片只需一个清晰的动作就能显得生动。而一个同时要求波浪、光线变化和镜头运动的 prompt,会让模型一次性应付好几种变化。
之前: “让这片湖景活起来,有澎湃的波浪、变幻的阳光和大幅扫动的镜头。”
编辑后: “细小的涟漪缓缓掠过湖面,向近岸扩散。镜头保持静止。岸线、远山和晨光都保持不变。”
修改后的prompt为水流赋予了方向和节奏,同时让画面其余部分保持稳定。如果你的照片中芦苇比水面更清晰,你可以改用一阵轻风吹动芦苇作为唯一的动作。避免对确切的波浪形态或风速下达指令。prompt的措辞可以引导可见的动作,但无法保证物理效果的准确性。
排错:每次只改一个变量
每次尝试只修改一处prompt细节,这样你才能判断是哪处修改起了作用。保持源图像、模型和其他设置不变。保存原始prompt,然后将每个新片段与它对比。一处修改后出现不同结果并不能证明是措辞造成的,但这种对比能让你下一步更清晰。
- 主体始终静止不动。 先修改动作。将
- 肢体弯折或扭曲变形。 简化动作或放慢节奏。如果行走中人物的腿部变形,先试试“向前迈一小步”,再要求更长的行走。
- 镜头与动作相互冲突。 修改镜头指令。快速环绕会让细微的手部动作更难被看清。测试手部动作时保持镜头静止。
- 背景漂移。 强化场景指令。指明一个可见的锚点,例如“人物身后的门口和墙壁保持不动”。
如果一次有针对性的修改失败,与其在prompt中添加更多指令,不如换一张更清晰的源图像或换一个模型。可能是图像隐藏了重要细节,也可能是模型难以实现你想要的动作。
源图像质量和模型局限何时起决定作用
prompt无法还原源图像未清晰呈现的细节。低分辨率可能让面部或产品标签难以辨认。如果一只手藏在某人背后,当手移入视野时,模型就必须猜测它的形状。不清晰的姿势也会造成类似问题。请从一张更锐利的图像和一个能让预期动作清晰可想的姿势开始。
杂乱的背景也会让动作更难控制。如果树叶与人物的头发和衣服重叠,模型就得判断哪些部分应该一起移动。尽可能选择更简洁的图像,尤其是对于需要主体或场景保持稳定的片段。
每个视频模型还会对片段长度以及对物理运动的处理能力设有限制。prompt 无法让片段超出所选模型的时长上限,也无法让高难度动作(比如精准的投掷或复杂的行走)每次都遵循真实世界的物理规律。没有任何 prompt 措辞能保证物理效果逼真或画面完全一致。
用 OpenArt 图生视频实际操作
你可以在 OpenArt 的以下工具中尝试这个prompt公式 独立的图生视频工具,它能在保留主体的前提下把静态图像变成片段。上传一张清晰的图片,写下一个可见的变化,比如“这个人缓缓把头转向窗户。镜头保持静止,房间保持不变。”
修改prompt前先观看结果。如果转头时面部变形,可以改为要求幅度更小的一瞥,其他指令保持不变。如果源照片遮挡了部分面部,试试更清晰的图片。关于如何从文字或现有素材开始,请参阅 OpenArt 的 AI 视频生成器概览.
常见问题
- 图生视频的 prompt 应该写多长? 只写足以描述动作以及什么应保持不变的内容即可。两三个短句往往就足以做到这一点,又不会加入相互冲突的指令。
- 镜头运动类的词一定管用吗? 不一定。所要求的平移或变焦可能会与主体的动作相冲突,结果还要看模型。如果镜头运动导致主体漂移或变形,就改用静止镜头试试。
- 如果主体消失或变形,我该怎么办? 检查主体在源图像中是否清晰呈现。删掉任何可能把它移出画面的指令,然后尝试更小幅的动作。如果问题仍然存在,换一张更清晰的图片或另一个模型试试。
- 一个prompt能控制多个动作吗? 你可以提出这样的要求,但一个短片段可能让每个动作都分不到足够的时间。先从一个动作开始,如果需要一连串动作,就用多个独立片段。
结语
自然的动作始于静态图像中一个可信的变化。当片段看起来不对时,调整一条指令,再对比下一个结果。保持prompt其余部分稳定,有助于你判断这处修改是否奏效。