2026-10-29

照片生成 AI 视频:完整指南

照片生成 AI 视频:完整指南

photo-to-video 的实际工作原理

image-to-video 是进入 AI 视频生成最实用的入口。你不需要从零开始描述整个场景,只要给模型一张照片,让它想象接下来几秒会发生什么。照片锁定了构图、主体、光线和风格;模型唯一的工作就是动。这个限制正是为什么在同等技术水平下,photo-to-video 的效果会比 text-to-video 好这么多。

在底层,模型做两件事。第一,像图像模型一样分析你的照片:主体、景深、光线、质感。第二,根据你的动作提示词,预测接下来一小段合理的连续画面。输出质量取决于三个输入,大致按重要性排序:源照片、动作描述,和生成设置。大多数疑难排解指南从设置讲起;这篇从照片讲起,因为大多数失败都是从这里开始的。

先讲清楚一个期望:模型动画化的是照片里有的东西,不会重新想象。如果照片又暗又糊、构图又差,视频就会是又暗又糊、构图又差的会动版。进垃圾,出垃圾动画。

挑对照片:八成法则

分辨率很重要,但不是大家想的那种重要法。你不需要 4K 素材;大多数视频模型内部都是用 720p 运行,无论如何都会把你的输入缩小。你需要的是一张干净、清晰、尺寸合理的照片——长边 1024 像素就非常够了。一张清晰的 1024px 照片,每次都打败一张模糊的 4K 照片。

构图才是真正的关键。模型只能动画化它看得到的东西,所以主体要完整入镜,周围留一点呼吸空间。太紧的裁切切掉手脚或头顶,会逼模型在动态中发明那些不见了的身体部位——这是解剖学 glitch 的主因。想要特写视频,就拍一张特写照片;不要指望模型帮你重新构图。

脸有特别的规则。正面或四分之三侧面、光线均匀、没有遮挡的脸,保留身份的效果远胜侧脸、深色阴影,或被头发、手半遮住的脸。模型是靠比对所见来跨画面追踪脸部特征;给它一个清晰的参考,漂移就会大幅下降。

源照片的光线决定了视频的上限。均匀柔和的光能给模型关于形状和质感的干净信息。源照片里的强烈对比、重滤镜或极端调色,在动态中会被放大,不会被磨平。不确定就选手边光线最自然的那个版本。

重要设置:时长、比例、动作

时长是第一个要决定的设置,学习阶段短一点比较聪明。五秒是标准测试长度:够长可以判断动作看起来自不自然,又够短让反复尝试的成本很低。五秒版稳定了再延长到八秒或十秒,因为较长的生成会同时倍增成本和片中劣化的概率。

长宽比要跟源照片,而不是跟目标平台。如果照片是竖版 9:16,你却要求 16:9 视频,模型就得裁切或拉伸,两种都会伤质量。先把比例对齐照片;给平台用的重新构图之后再用标准剪辑工具做。

动作强度(有时叫 motion intensity 或 dynamics)控制动得有多剧烈。数值低会产生微妙、接近静态画面的效果——稳但无聊。数值高会产生戏剧性的动作——刺激但容易 warping 和身份漂移。从中间开始,看效果再调整:视频感觉冻结了就调高;脸开始融化就调低。

种子值和固定设置在视频比在图像更重要。找到可行的组合之后,在调整提示词之前先锁定种子值。在种子值漂移的同时改动作描述,你永远学不到哪个改动带来哪个效果——跟静态图提示词反复尝试一样的单变量纪律。

动作提示词:用动词,不用名词

动作提示词是另一种技能,跟图像提示词不同。图像提示词描述静态场景,动作提示词描述时间中的变化。模型需要的是动词、方向和节奏——不只是名词。

从主要动作开始。「她慢慢把头转向镜头」胜过「beautiful woman, cinematic」,因为它告诉模型实际在动的是什么。一个清晰的主要动作胜过三个互相打架的;什么都在动,就什么都不像刻意的。

加一点次要动作来增加真实感。头发轻轻飘动、布料晃动、背景元素漂移——这些细微的次要动作正是「会动的照片」和「视频」的区别。简单描述就好:「她的头发在微风中轻轻飘动」就够了。物理的部分模型自己会补。

指明哪些要保持静止。「镜头固定」或「locked-off shot」可以防止模型擅自加上那种令人作呕的慢速变焦。如果你想要镜头运动,就明确说(「slow push-in」),不要让模型即兴发挥。

动作提示词要短——两到三句。太长太华丽的动作描述会稀释核心指令,跟过长的图像提示词一样。主体、主要动作、次要动作、镜头行为。这就是整条公式。

常见失败与修复方法

身份漂移——脸在画面之间变了——是最多人报告的失败。原因按顺序:源照片的脸不清楚、动作强度太高、时长太长。按这个顺序修:先换一张好一点的源照片,再降低动作,再缩短视频。不要想只靠提示词的文字去修漂移;这是数据问题,不是语言问题。

冻结或接近静止的输出,通常代表动作提示词太弱或动作强度太低。两个一起加强再重新生成。如果模型还是几乎不动,可能是源照片缺少景深线索(太平的光、单调的背景给不了模型什么发挥空间)。

warping 和融化——手脚弯到不可能的角度、背景糊开——是因为动作强度高过场景撑得住的程度。复杂姿势和繁忙背景撑得住的动作比简单场景少。降低强度或简化:挑一张平静一点的源照片。

闪烁和质感爬行最常出现在长片,而且通常从生成中段开始。实际的解法是缩短时长;十秒会闪的片,五秒版通常干干净净。把时长当作质量控制,不只是创作选择。

解剖学 glitch(动态中途冒出多余的手指、转头时脸变形)是静态图「手部问题」的视频版——因为模型要跨画面维持解剖学,所以被放大了。源照片构图留多一点空间、避开极端姿势、动作保持适中,就能降到最低。现行技术本身就有一定的 glitch 率;预留一点预算重新生成。

起飞前检查清单(省下你的 credits)

每次生成之前,先跑一遍这个检查清单。源照片:清晰、光线好、主体完整入镜,身份重要的话脸要清楚。长宽比:跟照片一致。时长:测试用五秒。动作强度:从中间开始。动作提示词:一个主要动作、一个次要动作、指明镜头行为。种子值:找到喜欢的设置就锁定。

生成之后按这个顺序评估。第一,身份:主体还像不像照片?不像就先修源照片或降低动作,不要碰别的。第二,动作质量:动作看起来物理上合不合理?第三,瑕疵:整条视频扫一遍 warping、闪烁或解剖学问题,尤其劣化最集中的最后两秒。

记个简单的 log:用过哪张照片、什么设置、什么动作提示词、什么种子值,和一行结论。生成二十次之后你就有自己的 playbook——人像和全身照分别用什么动作强度、你的相机拍的照片哪些最适合动画化、你平台的模型怎么处理头发和布料。这本 playbook 比任何指南都有价值,因为它是为你的输入调校的。

还有那条 meta 规则:便宜地反复尝试。五秒、低成本、快速 turnaround 地测试。便宜版证明了概念,再花长而贵的生成。AI 视频浪费最多 credits 的,就是那些没试过的想法的十秒片。

常见问题

我的视频几乎不动,哪里出问题了?

通常是以下三者之一:动作提示词写得太模糊(模型就会接近静止)、动作强度设得太低,或者源照片缺少让模型推断景深的视觉线索。三个一起加强再重新生成。

照片里脸的角度重要吗?

有,而且是身份漂移最常见的原因。正面、光线均匀、没有遮挡的脸,保留身份的效果远胜侧脸、深色阴影或半遮半掩。如果脸很重要,源照片一定要拍得清楚。

应该生成最长的视频吗?

长不代表好。五秒是测试的最佳长度:够长可以判断动作质量,又够便宜可以反复尝试。五秒版没问题了再延长到八秒或十秒。

image-to-video 和 text-to-video 有什么区别?

有关联,但是两回事。image-to-video 是把你提供的照片做成动画,构图和主体都会保留。text-to-video 是从一段描述凭空创作。image-to-video 给你更大的控制权;text-to-video 给你更大的自由度。