很多创作者在从文生图跨越到 Runway Gen-3 视频生成时，最容易犯的错误就是照搬 Midjourney 的“词组堆砌法”。在文生图里，输入一串诸如“8k resolution, masterpiece, photorealistic, cinematic lighting”的形容词或许能凑效，但在 Runway Gen-3（包含 Gen-3 Alpha 与 Gen-3 Alpha Turbo）的模型逻辑下，这类抽象修饰词基本属于无效噪声，甚至会稀释模型对核心动作的注意力权重。
Gen-3 的底层训练基于高度结构化、高密度的时间序文本描述（Temporally Dense Captions）。这意味着模型在解析提示词时，本质上是在寻找主谓宾的动量因果链和摄像机在三维空间中的位移轨迹。要让生成的视频不抽搐、动作不坍塌，并且能精准把控时间轴与镜头连贯性，必须转换提示词的构造逻辑。
一、 Gen-3 标准提示词结构：四维时空分层法
官方文档与实战测试表明，一段高执行度的 Gen-3 提示词应当由四个明确的物理维度构成。请严格按照以下层级顺序构建文本：
1.运镜指令（Camera Movement）：限定镜头的起始状态、移动轴向、焦距变化及运动速率。
2.主体与核心动作（Subject & Primary Action）：描述谁在画面中、执行什么动作、动作的起点与落点。
3.时空演进与环境响应（Temporal Progression & Environment）：描述背景如何随动作变化、粒子或光线的交互流动。
4.摄影质感与光学设定（Cinematography & Lighting）：指定镜头类型、光影反差、胶片颗粒或色彩基调。
[运镜模式与速度]: [主体外观与初始状态] + [动作发展过程与相互作用], [背景动态响应与空间变化], [灯光、镜头规格与画质特征]文生视频（Text to Video）与图生视频（Image to Video）的提示词分工差异
这是实操中最容易踩坑的地方：
•Text to Video（纯文生视频）：必须四维俱全，提示词需要从零勾勒主体的外观、构图、光影以及运动。
•Image to Video（图生视频）：切忌重复描述参考图中已经存在的静态特征（例如不要写“一个穿黑西装的短发男子”）。图生视频的模型注意力应当全部集中在“变量”上——只写运镜方式、肢体位移、物理交互。重复描述静态细节会导致模型试图在生成过程中重新绘制主体，直接引发人物面部畸变或服装闪烁。
二、 掌控时间轴：单镜头内的多阶段时序控制实操
Gen-3 支持在单次 5 秒或 10 秒的生成中完成复合动作。很多读者尝试写“先跑，然后跳，最后摔倒”，但生成出来的往往是跑步和跳跃混杂在一起的扭曲动作。
1. 时间引导语法规范
模型对秒数数字（如 `at 3 seconds`）的解析能力并不如因果连接词稳定。在实测中，因果状态演进词的成功率显著高于纯数字切分。
推荐使用的时序连接动词库：
•起始驱动：`The shot begins with…` / `Starts from a static frame where…`
•过程演进：`followed by…` / `gradually accelerates into…` / `simultaneously…`
•转折与落点：`which smoothly transitions into…` / `concluding with a sharp focus on…`
如果必须做硬性分段，建议采用阶段性动作结构，将 5 秒或 10 秒拆分为 2 到 3 个动作节点：
A wide cinematic establishing shot. [0s-2s] The camera slowly dollies forward toward a lone astronaut standing on a Martian ridge. [2s-4s] A sudden red dust storm sweeps into the frame from right to left, forcing the astronaut to raise their mechanical arm to shield their visor. [4s-5s] The camera executes a fast crash zoom into the astronaut's reflective visor, revealing a burning engine reflected in the glass.2. 多镜头连贯转场技巧（无需后期剪辑的连续机位）
想要在一个提示词内实现类似电影分镜的平滑切换，可以使用特定的运镜动作来掩盖生成模型的形变：
•甩头转场（Whip Pan）：`The camera rapidly whip pans from the left side of the street to the right storefront, motion blur masking the transition.`
•穿透/遮挡转场（Occlusion Transition）：`The camera pushes forward through the dense jungle leaves, temporarily occluding the lens, then clears into an open ancient temple ruins.`
•急推急拉变焦（Crash Zoom & Pull Back）：通过极快的前推或后拉拉开景深，重新建立画面的视觉焦点。
三、 运镜参数面板（UI）与提示词文本的协同规则
Runway Gen-3 Alpha Turbo 提供了高级运镜控制滑块（Camera Control），包含水平（Horizontal）、垂直（Vertical）、俯仰（Tilt）、平移（Pan）、旋转（Roll）与变焦（Zoom），数值范围为 `-10` 到 `+10`。
核心避坑原则：绝对不要在 UI 面板设置与文本提示词中输入冲突的指令。
例如：在 UI 运镜面板将 Horizontal 设为 `+6`（向右平移），却在提示词里输入 `The camera pans left`，模型会因指令冲突产生严重的画面拉伸、水波纹撕裂或主体静止。
•UI 负责宏观矢量位移：滑块决定镜头的物理轨迹和基础速度。日常运镜数值推荐控制在 `-3` 到 `+3` 之间，超过 `5` 会大概率破坏物理一致性。
•文本负责运动微调与质感：文本补充镜头抖动感、运动韵律和主体交互。例如在 UI 设置了慢速推进（Zoom In: 2）时，文本加入 `Handheld camera with natural gentle sway, tracking the subject’s footstep`。
四、 提示词优化前后实测效果对比
以下表格总结了实际业务场景中常见的不合格提示词与工业级标准提示词的对比差异：
| 场景类型 | 常见低效提示词（反面案例） | 规范化实操提示词（推荐示范） | 核心改进逻辑与技术收益 |
|---|---|---|---|
| 赛博朋克雨夜街道追逐 | 8k, cyberpunk city, rainy night, highly detailed, a man running fast, cinematic view, octane render. | `FPV drone shot tracking forward at high speed. A cybernetic courier sprints through a neon-lit alleyway splashing puddle water. Rain streaks diagonally through the beam of street lamps. The drone swoops under a suspended cable, maintaining a low-angle tracking position behind the runner. Cool cyan and amber color grade, anamorphic lens flare.` | 剔除空洞标签；明确指定机位（FPV drone）、移动路线（swoops under）、环境交互（splashing water）与镜头光学属性，画面具有极强的纵深速度感。 |
| 人物情感特写与微表情 | Super realistic portrait, beautiful girl crying, cinematic lighting, masterpiece, 4k. | `Slow push-in macro shot focusing on the subject’s face. An elderly woman sits next to a warm window, soft morning light illuminating wrinkles on her cheek. Her eyes slowly glance down as a single tear rolls along her cheekbone. The camera subtly shakes with handheld authenticity, shallow depth of field, 85mm portrait lens.` | 图生/文生通用的动作分步控制；将抽象的“哭”拆解为“视线向下看”与“泪滴滑落”，用 85mm 浅景深与手持微晃增强写实感。 |
| 微观宏观跨尺度运动 | Zooming out from an ant to a city, cool transition, incredible quality. | `Continuous pullback shot. Starts with an extreme macro close-up of a golden watch gear spinning rapidly. The camera executes a smooth and steady pull-back, revealing the entire interior clockwork, then continues pulling back through the watch glass to show a watchmaker’s cluttered wooden workshop desk. Constant lighting, fluid focal transition.` | 明确运动的物理起点、经过路径与终点；通过 `continuous pullback` 维持透视连续性，防止尺度突变引发的形变溶解。 |
五、 借助大模型（LLM）构建提示词的工程化工作流
人工手写复杂的四维提示词效率有限。在实际商业交付流程中，通常借助前沿大语言模型（如 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro）充当“AI 虚拟摄影指导”。
1. 各大语言模型在视频提示词编译上的选型对比
| 模型名称 | 镜头语言理解能力 | 时序结构逻辑严谨度 | 推荐使用场景与侧重方向 |
|---|---|---|---|
| Claude 3.5 Sonnet | 极强，具备专业电影剧本与摄影机位感知力。 | 极高，极少出现前后动作矛盾或逻辑重叠。 | 首选模型。最适合编写复杂的时序推进、多镜头转场及高难度物理动态。 |
| GPT-4o | 良好，词汇丰富，对主流导演风格理解深入。 | 良好，偶有在长段落中加入泛泛形容词的倾向。 | 适合处理概念设计、快速灵感发散以及标准机位的工业化批量扩写。 |
| Gemini 1.5 Pro | 极佳，长上下文处理与空间推理能力出色。 | 稳定，但有时输出倾向于理论说明而非纯粹提示词。 | 适合结合长剧本大纲，自动提取并分镜切片为逐个 Shot 的 Runway 提示词。 |
2. 大模型提示词编译器系统指令（System Prompt）
将大模型的 Temperature 设定为 0.3 到 0.5（保证输出严格遵循语法逻辑，避免过度发散产生 Runway 无法解析的幻觉词），Top-P 保持在 0.9。
可以直接复制以下系统指令注入到 LLM 中：
You are an expert Director of Photography and Runway Gen-3 Prompt Engineer.
Your task is to convert high-level video concepts into production-ready prompts strictly optimized for Runway Gen-3 Alpha / Gen-3 Alpha Turbo.
Output Rules:
1. NEVER use empty buzzwords (e.g., "photorealistic", "hyperrealistic", "8K", "masterpiece", "trending on artstation").
2. Follow the 4-part structure: [Camera Movement & Speed] + [Subject Action & Dynamic Interaction] + [Temporal Progression & Environment Dynamics] + [Cinematography, Lens & Lighting].
3. Prioritize physical verbs, spatial trajectories, and causal links over passive visual descriptions.
4. For temporal progression, use clear sequencing phrases: "The shot begins with...", "followed by...", "which transitions into...", "concluding with...".
5. Keep the final prompt within 60 to 90 English words. Output ONLY the prompt text, no explanations, no code wrappers.六、 首尾帧内插（First Frame & Last Frame）高级工作流
如果要制作商业广告级、必须严格保证首尾画面精确可控的镜头，首尾帧控制（First & Last Frame）是最底层的定海神针。
标准操作 SOP
1.生成首尾基准图：在 Midjourney 或 FLUX 中生成画面的起点图（Frame A）与终点图（Frame B）。注意看，两张图的光源方向、主体核心特征、环境色调必须高度统一。
2.导入 Runway Gen-3：分别上传 Frame A 至 First Frame，Frame B 至 Last Frame。
3.输入过渡驱动提示词：此阶段提示词的唯一任务是告诉模型“从 A 到 B 之间到底发生了什么动作与相机轨迹”。
The camera steadily tracks sideways from left to right. The subject smoothly shifts posture, turning their head toward the lens while lowering the coffee cup onto the wooden table. Continuous lighting, soft natural motion blur, maintaining consistent physical geometry.如果中间过渡出现“融化变形”，排查两个核心因素：
•首尾帧逻辑跨度过大：例如 Frame A 是人物站立全景，Frame B 突然变成了面部特写且背景完全不同，模型无法在 5 秒内合理插值，必定会出现双头或肢体溶解。首尾帧的相机运镜跨度必须符合物理运动加速度。
•缺少过渡约束词：在提示词中明确加入 `smooth consistent movement`、`continuous geometry`、`steady transition`，强行限制模型的插值平滑度。
七、 避坑排错清单（Troubleshooting）
在实操中遇到画面崩坏时，对照以下清单逐项检查：
1.画面出现果冻效应或高频抽搐：提示词中同时包含了相反方向的运镜动词（如同时出现了 `push in` 与 `pan back`），或者文本运镜与 UI 控制面板设置了相反的运动轴向。
2.主体人物面部在后半段变形：在纯文生视频中，未限定镜头焦段。务必明确指定电影工业标准焦段（如 `Shot on 35mm lens`、`50mm anamorphic lens`），固化透视畸变率。
3.多主体动作混乱混淆：Gen-3 对单画面中 2 个以上具有独立复杂动作的主体解析力较弱。如果画面必须出现两人，必须指定一个核心动作者，另一个设定为环境反应者（例如：`The detective points the flashlight at the suspect, while the suspect remains frozen against the brick wall`），切忌让两个主体同时执行完全不同且复杂的位移操作。
评论前必须登录！
立即登录 注册