sion/video-create
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
0b3ab3a2aac983f4b1b04ef1304e205cf6ac3fe5
video-create/.claude/skills/video-from-script/SKILL.md
sion123 0b3ab3a2aa 优化
2026-04-29 21:26:42 +08:00

23 KiB
Raw Blame History

name, description
name description
video-from-script 素材生产路由。根据用户意图分发到对应子技能：image-generator（生图）、capcut（成片）。支持单图和首尾帧两种视频模式。触发词：做视频、视频素材、生图+成片、图生视频、首尾帧。

素材生产路由

强制规则

  1. 工作流不可跳步：分镜（纯叙事）→ Prompt 生成（分镜+风格）→ Pipeline 执行。每阶段之间必须审查结果
  2. manifest.json 是唯一状态源：任何操作（生图、上传、替换素材）完成后必须立即回写 manifest
  3. 禁止 curl 调用生图/生视频 API：必须通过 pipeline.js 或对应 generator 脚本执行
  4. 并行优先：多个独立子任务必须用子 agent 并行，不要在主对话中串行完成

禁止：跳过分镜 / 分镜阶段读风格 / 不更新 manifest 就继续 / 一口气跑完 pipeline 不审查

你（主 Agent）是整个流程的导演。 子 Agent 是执行者，你负责：理解意图、编排调度、质量卡点、用户沟通、错误恢复。

主 Agent 职责

职责 说明
意图理解 分析用户需求，选择正确的模式、视频模型和帧模式
编排调度 决定 Agent 串行/并行、传递参数、收集结果
质量卡点 每个阶段完成后校验结果，不合格则要求子 Agent 重做
用户沟通 汇报进度、请求用户决策（挑选图片、确认风格）
错误恢复 API 失败时重试或换模型，质量不达标时补生成

路由规则

用户意图 执行流程 子技能
"生图"、"批量图片" 生图 image-generator
"图片成片"、"图片轮播" 已有图片 → 组装 capcut
"图文成片"、"生图+成片" 生图 → TTS+字幕+组装 image-generator → capcut
"图生视频"、"图片转视频" 生图 → AI视频 → 组装 image-generator → Grok/VEO/Kling → capcut
"首尾帧"、"帧动画"、"关键帧" 生图(成对) → 视频过渡 → 组装 image-generator(帧对) → VEO/Kling → capcut
"文案转视频"、"配音视频" 生图 → TTS+字幕+组装 image-generator → capcut
只说"做视频" 询问：图文成片 / 图生视频(单图/首尾帧)？ —

"图生视频"的后续追问：用户说"图生视频"时，追问视频模式：

  • 单图模式：一张图 → 一段视频（Grok / VEO / Kling）
  • 首尾帧模式：起始帧+结束帧 → 一段过渡视频（VEO / Kling）

Pipeline 执行流程

Agent 创建 manifest.json 后，用 pipeline.js 分阶段执行。不要一口气跑完，必须在阶段之间审查结果。

分工

角色 职责
Agent（你） 读取 account.json + style.md → 分镜规划 → 从分镜生成 imagePrompt/videoPrompt → 写出 manifest.json → 审查每阶段结果
Pipeline 机械执行：生图 → 上传 → 生视频 → TTS → 成片。每完成一个 item 写盘，支持断点续跑

执行步骤

Step -1: 意图确认（进入任何步骤前必须完成，逐项确认，缺一不可）

  1. 内容意图：用户要做什么？
     - 生图 / 图生视频 / 图片成片 / 配音视频 / 首尾帧
     - 模糊时追问到明确，不要自己猜

  2. 素材来源：
     - 有现成文案/图片？还是需要 AI 生成文案？
     - 有参考图/风格参考？

  3. 视频模式（涉及视频时必问）：
     - 单图模式：1 张图 → 1 段视频（Grok / VEO / Kling）
     - 首尾帧模式：2 张图 → 过渡视频（VEO / Kling）

  4. 账号确认：
     - 扫描 accounts/*/account.json 获取最新账号列表
     - 展示：ID、名称、风格、画幅
     - 未指定 → 让用户选
     - 指定了但不匹配 → 告知可用账号，问是否新建
     - 确认后记住 account ID

  5. 参数确认：
     - 画幅（9:16 / 16:9）、生图模型（Gemini / MJ）、视频模型（VEO / Grok / Kling）
     - 有账号时从 account.json 继承默认值，只问是否覆盖

  → 以上 5 项全部确认后，agent 写出完整执行计划，让用户最终确认：

  执行计划示例（根据实际任务调整）：
  1. 读取 {account} 账号配置 + 风格文件（style.md）
  2. 根据用户文案生成分镜表（N shot）
  3. 分镜 + 风格 → 生成英文 prompts（imagePrompt + videoPrompt）
  4. pipeline.js init → 创建 manifest.json + 输出目录
  5. pipeline.js run --phase images → 生图 → 人工审查
  6. pipeline.js run --phase upload,videos → 上传 + 生成视频
  7. pipeline.js run --phase tts,assemble → TTS + 成片

  用户确认 "开始" → 进入 Step 0
  用户修改 → 调整计划后重新输出
  → 禁止在用户未确认执行计划的情况下进入 Step 0

Step 0: 前置检查（账号+风格校验）
  - 读取 accounts/{account}/account.json，检查 styles 字段是否配置了风格文件
  - 如果账号不存在或没有风格：
    → 暂停流程，通过 CLI 创建：`pipeline.js create-account --id <id> --name <名称> --references ./ref.png`
    → 然后编辑 `styles/*.md` 完善提示词策略
  - 校验账号完整性：`pipeline.js validate-account --account <id>`
  - 有风格则继续 Step 1

Step 1: 分镜规划（纯叙事，不读风格）
  - 输入：用户文案
  - 分析文案语义和节奏，拆成 N 个 shot
  - 为每个 shot 规划：景别、镜头运动、画面内容（中文）、与下一 shot 的转场
  - 输出分镜表（见「分镜规划规则」章节）
  - 分镜与风格无关，同一分镜可换不同风格复用

Step 2: Prompt 生成 + Manifest 初始化（分镜 + 风格 → 英文 prompts → pipeline.js init）
  - 输入：分镜表 + style.md + account.json
  - 子 Agent 将每个 shot 的中文画面描述结合风格文件，生成：
    · imagePrompt（英文画面描述，给 Gemini/MJ）
    · videoPrompt（英文运动描述，给 Grok/VEO/Kling）
    · keyword, keywordColor
  - **禁止 AI 手写 manifest.json**，必须通过脚本初始化：
    ```bash
    node pipeline.js init --account <id> --mode <single|framePair> \
      --items '[{"text":"文案","imagePrompt":"...","videoPrompt":"...","keyword":"关键词","keywordColor":"#FF6B35"}]'
    ```
  - 脚本自动从 account.json 继承：imageModel、videoModel、format、references
  - 脚本自动创建目录、校验必填字段、设置 status=pending
  - AI 只负责创意内容（text、imagePrompt、videoPrompt、keyword），不碰结构字段
  - 首尾帧模式额外要求：每个 item 必须有 `lastFramePrompt`（`imagePrompt` 作为第一帧，不需要单独的 `firstFramePrompt`）
  - init 返回 manifest 路径，后续命令使用该路径

Step 3: 生图 → 人工审查
  跑 images 阶段。完成后审查：分辨率≥1024、风格一致性、构图、无水印。
  不合格则删除/调 prompt 重跑，不进入下一步。

Step 4: 上传 + 生视频（可选，图文成片跳过此步）
  跑 upload + videos 阶段。首尾帧模式检查过渡连贯性。

Step 5: TTS + 成片
  跑 tts + assemble 阶段。检查字幕准确、BGM 不盖配音。

命令语法见下方「CLI 参考」，不在此处重复。

CLI 参考

# 创建账号（Step 0：首次使用时）
node pipeline.js create-account --id <id> --name <名称> \
  --desc <描述> --video-model veo3-fast --references ./ref1.png,./ref2.png

# 校验账号完整性
node pipeline.js validate-account --account <id>

# 初始化 manifest（Step 2 使用，AI 只提供创意内容）
node pipeline.js init --account <id> --mode <single|framePair> \
  --items '[{"text":"...","imagePrompt":"...","videoPrompt":"...","keyword":"...","keywordColor":"..."}]'
# 也可从文件读取 items（适合大量数据）
node pipeline.js init --account <id> --mode single --items-file ./items.json

# 校验 manifest 完整性
node pipeline.js validate --manifest <path>

# 跑指定阶段
node pipeline.js run --manifest <path> --phase images
node pipeline.js run --manifest <path> --phase upload,videos

# 断点续跑（跳过已完成阶段和 item）
node pipeline.js run --manifest <path> --resume

# 查看进度
node pipeline.js status --manifest <path>

阶段: images → upload → videos → tts → assemble

Manifest item 状态: pending → generating → done / failed。无 status 字段视为 pending。

视频模式对比

单图模式

digraph single_image {
  rankdir=LR
  node [shape=box, style=filled, fillcolor="#f5f5f5", fontsize=11]

  img [label="一张图", shape=oval]
  prompt [label="videoPrompt"]
  grok [label="Grok\n6s 视频", fillcolor="#fff3e0"]
  veo [label="VEO\n6-8s 视频", fillcolor="#e8f5e9"]
  kling [label="Kling\n6s 视频", fillcolor="#e1f5fe"]
  result [label="视频输出", shape=oval, fillcolor="#e3f2fd"]

  img -> prompt
  prompt -> grok
  prompt -> veo
  prompt -> kling
  grok -> result
  veo -> result
  kling -> result
}
  • 每条文案生成 1 张图 + 1 个 videoPrompt
  • Grok、VEO 和 Kling 都支持
  • 提示词描述运动："slow zoom in on subject"

首尾帧模式

digraph frame_pair {
  rankdir=LR
  node [shape=box, style=filled, fillcolor="#f5f5f5", fontsize=11]

  first [label="起始帧"]
  last [label="结束帧"]
  prompt [label="videoPrompt"]
  veo [label="VEO\n6-8s 过渡视频", fillcolor="#e8f5e9"]
  kling [label="Kling\n6s 过渡视频", fillcolor="#e1f5fe"]
  result [label="视频输出", shape=oval, fillcolor="#e3f2fd"]

  first -> veo
  last -> veo
  prompt -> veo
  first -> kling
  last -> kling
  prompt -> kling
  veo -> result
  kling -> result
}
  • 每条文案生成 2 张图（firstFrame + lastFrame）+ 1 个 videoPrompt
  • VEO 和 Kling 支持（images 数组传两张图）
  • 起始帧和结束帧必须是同一场景的不同状态
  • 提示词描述过渡："transition from idle machines to active production"
对比 单图模式 首尾帧模式
图片数量 N 张 2N 张
生图耗时 标准 ~2 倍（可并行）
视频连贯性 仅运动 场景变化（更强）
可用模型 Grok + VEO + Kling VEO + Kling
适用场景 风景、人物展示 状态变化、叙事过渡

多阶段执行策略

用 Agent 工具串行或并行执行子技能，阶段间必须通过质量卡点：

生图+成片（串行+人工卡点）：

digraph image_then_assemble {
  rankdir=LR
  node [shape=box, style=filled, fillcolor="#f5f5f5", fontsize=11]

  agent1 [label="Agent 1\nimage-generator\n生成图片到 output/"]
  gate1 [label="人工卡点\n用户挑选图片\n删除不合格的", shape=diamond, fillcolor="#fff9c4"]
  agent2 [label="Agent 2\ncapcut\n读取精选素材 → 组装"]

  agent1 -> gate1 -> agent2
}

配音+生图（并行+自动校验）：

digraph parallel_image_tts {
  rankdir=LR
  node [shape=box, style=filled, fillcolor="#f5f5f5", fontsize=11]

  agent1 [label="Agent 1\nimage-generator\n生图", fillcolor="#e8f5e9"]
  agent2 [label="Agent 2\ncapcut\nTTS 配音", fillcolor="#e8f5e9"]
  validate [label="自动校验\n分辨率>=1024\n画幅匹配\n音频时长匹配", shape=diamond, fillcolor="#fff9c4"]
  agent3 [label="Agent 3\ncapcut\n组装全部素材 → 成片"]

  agent1 -> validate
  agent2 -> validate
  validate -> agent3
}

图生视频 - 单图模式：

digraph single_image_video {
  rankdir=LR
  node [shape=box, style=filled, fillcolor="#f5f5f5", fontsize=11]

  agent1 [label="Agent 1\nimage-generator\n生图 + videoPrompt"]
  gate1 [label="人工卡点\n用户挑选图片", shape=diamond, fillcolor="#fff9c4"]
  agent2 [label="Agent 2\nGrok / VEO / Kling\n单图输入，并行生成视频"]
  agent3 [label="Agent 3\ncapcut\n视频片段 + 字幕 → 成片"]

  agent1 -> gate1 -> agent2 -> agent3
}

图生视频 - 首尾帧模式：

digraph frame_pair_video {
  rankdir=LR
  node [shape=box, style=filled, fillcolor="#f5f5f5", fontsize=11]

  agent1 [label="Agent 1\nimage-generator\n成对生图\n(firstFrame + lastFrame)\n可并行"]
  gate1 [label="人工卡点\n检查首尾帧连贯性\n同一场景/相似视角", shape=diamond, fillcolor="#fff9c4"]
  agent2 [label="Agent 2\nVEO / Kling\n双图输入\nimages:[first, last]"]
  agent3 [label="Agent 3\ncapcut\n视频片段 + 字幕 → 成片"]

  agent1 -> gate1 -> agent2 -> agent3
}

视频模型选择：

模型 时长 画幅 单图 首尾帧 特点 API
Grok 6s 任意 ✅ ❌ 快、稳定 yunwu.ai
Veo3-fast ~8s 16:9, 9:16 ✅ ✅ 超分、中文增强 jimmyai.cn
Veo3-fast-frames ~8s 16:9, 9:16 ✅ ✅ 多帧、质量最高 jimmyai.cn
Kling 6s 任意 ✅ ✅ 快、首尾帧支持 yunwu.ai

图生视频注意事项：

  • 并行执行：先同时提交所有任务（并发 3），再并行轮询结果
  • 单个视频生成耗时 60-300 秒
  • 脚本内置 3 次重试，每次自动简化提示词
  • videoPrompt 在生图阶段一并生成
  • VEO 独有：enhance_prompt=true 中文增强，enable_upsample=true 超分
  • 配置在 config.json

视频大小一致性

  • 同批次同模型，不混合 Grok（720P/6s）、VEO（超分/8s）和 Kling（6s）
  • 画幅统一跟随 manifest 顶层 format（默认 9:16）
  • 个别 item 降级到备用模型时，在 manifest 中标记 "videoModel" 以便追踪

视频生成失败降级

降级链: Grok ↔ VEO ↔ Kling

触发: 同一 item 重试 5 次仍失败 → 用备用模型单独补生成

# Grok 失败 → VEO/Kling 补
node veo-video-generator.js --image <url> --prompt <prompt> -o ./videos
node kling-video-generator.js --image <url> --prompt <prompt> -o ./videos

# VEO 失败 → Grok/Kling 补
node grok-video-generator.js --image <url> --prompt <prompt> -o ./videos
node kling-video-generator.js --image <url> --prompt <prompt> -o ./videos

规则: 逐 item 降级，不卡整批次。补完后上传 OSS，回写 videoUrl，继续 tts → assemble。

目录规范

所有批次的输出遵循统一目录结构。完整规范见 batch-mode.md 的"目录规范"章节。

核心规则：

output/{account}_{YYYYMMDD}_{NNN}/
├── manifest.json                # 主清单（贯穿全流程）
├── prompts.txt                  # 原始提示词存档
├── images/                      # scene_{NN}_{keyword}.jpeg（首尾帧加 _last 后缀）
├── videos/                      # scene_{NN}_{keyword}.mp4（与图片对应）
└── urls.json                    # OSS 公网 URL 映射

命名对应关系：图片 scene_01_觉醒.jpeg → 视频 scene_01_觉醒.mp4；首尾帧尾帧 scene_01_觉醒_last.jpeg；MJ 候选 scene_01_觉醒_cand1.jpeg

manifest.json 格式

完整字段规范见 manifest-schema.md（字段权重 P0/P1/P2、读写方、流转关系）。

核心规则：

  • 脚本检测 lastFrameUrl → 首尾帧模式（传 images:[url, lastFrameUrl]）；否则 → 单图模式（传 images:[url]）
  • 顶层 format 自动传给 VEO/Grok/Kling 作为画幅比例
  • account 字段驱动 capcut_assemble 读取对应 account.json 的字幕风格配置

分镜规划规则

分镜是 Agent 的纯叙事思考，与视觉风格无关。 拿到文案后、读风格文件之前，先完成分镜。

短视频的画面节奏和文案节奏是脱钩的：TTS 配音连续流淌，画面在配音下面切换。分镜规划的是视觉节拍，不是文字断句。

核心原则

  1. 按视觉节拍切 shot：每个 shot = 6-8 秒视频片段。不是按文字断句，而是按画面能承载的信息量切
  2. 前 3 秒 hook：shot 1 必须有强视觉冲击，决定完播率
  3. 景别快速交替：相邻 shot 景别必须有落差（wide → close-up，close-up → medium），不要连续同一景别
  4. 镜头服务情绪：每个 cameraMove 对应文案的情绪节拍，不要无意义运动
  5. 时长匹配：先算总时长（shot 数 × 6-8s），再和配音时长对齐

时长规划

分镜前先算数：

  • 短视频目标时长：20-60 秒
  • 每个 shot 时长：6-8 秒（由视频模型决定）
  • shot 数量 = 目标时长 ÷ 6~8（取整，一般 4-8 个 shot）
  • 配音字数 ≈ shot 数 × 12-15 字（按正常语速）

分镜表字段

字段 类型 说明
text string 该 shot 覆盖的配音文案（可能不到一句，也可能跨句）
shotType enum wide / medium / close-up / extreme-close-up
cameraMove enum static / zoom-in / zoom-out / pan-left / pan-right / dolly-in / tracking
visualDesc string 画面描述（中文），只写三件事：主体是什么、什么状态/动作、视觉焦点在哪。氛围和构图交给风格层
hook boolean 仅 shot 1 为 true，标记是否为开场钩子

景别节奏

shot 1 (hook):    close-up 或 extreme-close-up，强主体，抓眼球
shot 2:           wide 或 medium，展开场景，给上下文
shot 3-N（交替）: close-up（压）→ wide（松）→ close-up（压）→ ...
最后一个 shot:    medium 或 wide，收束，不过度设计

不要用 extreme-close-up 收尾（太紧），不要用 tracking 滥用（信息密度低）。

镜头运动选择

cameraMove 情绪 典型场景
static 稳定、庄严 建筑、静物、仪式感
zoom-in 聚焦、压迫 悬疑、揭秘、强调细节
zoom-out 揭示、震撼 从局部拉出全景，揭示真相
pan-left/right 环顾、流动 展示空间、物品陈列
dolly-in 沉浸、紧张 人物面部、关键物件
tracking 跟随、活力 运动场景、行走（少用，AI 生成的 tracking 质量不稳定）

短视频默认转场是硬切，不需要单独字段。特殊转场（fade/dissolve）仅在 Agent 判断需要情绪转换时标注在 visualDesc 里。

提示词生成规则

提示词由子 Agent 生成：主 Agent 将分镜表 + 风格文件（style.md）交给子 Agent，子 Agent 负责将中文画面描述转化为英文 imagePrompt / videoPrompt。主 Agent 审核提示词质量，不合格则退回重做。

前置条件：账号必须有风格文件。无风格 → 提醒用户创建，不跳过。

单图模式提示词

每条文案生成：

  • imagePrompt：画面描述（英文，给 Gemini/MJ）
  • videoPrompt：运动描述（英文，给 Grok/VEO/Kling）

videoPrompt 规则：

  • 描述运动而非内容（"zoom in" 而非 "a cat"）
  • 与 imagePrompt 画面内容对应
  • 简洁（1-2 句，不超过 50 词）
  • 收敛原则：基于图片已有内容，仅描述镜头运动和微动效果
  • 禁止：大幅度环境切换、场景变化、人物位置跳变
  • 推荐写法：镜头运动（slow zoom/pan/dolly）+ 星座/光效微动 + 保持静止氛围
  • 画幅继承：manifest.json 顶层 format 字段（如 "9:16"）会自动传给 VEO/Kling，无需命令行 -a

首尾帧模式提示词

每条文案生成：

  • imagePrompt：起始帧画面（英文，与 single 模式复用同一字段）
  • lastFramePrompt：结束帧画面（英文）
  • videoPrompt：过渡描述（英文，给 VEO/Kling）

首尾帧提示词设计原则：

原则 说明 示例
同一场景 首尾帧是同一地点/主体的不同状态 都是工厂，不是两个地方
视角一致 相机角度/高度/距离相同 都是 wide shot
状态对比 imagePrompt"静止/之前"，lastFramePrompt"运动/之后" 空车间 → 生产线运转
过渡自然 videoPrompt 描述从首到尾的变化 "machines start up rhythmically"
光照连贯 光源方向一致，可以有渐变 冷光 → 暖光可以，不能反转光源

videoPrompt 规则（首尾帧）：

  • 描述过渡过程而非单帧状态
  • "from X to Y" 或 "X begins, Y happens" 格式
  • 必须同时呼应 imagePrompt（起始帧）和 lastFramePrompt（结束帧）中的元素
  • 简洁（1-2 句，不超过 50 词）

质量卡点（跨阶段）

多阶段任务中，每个阶段完成后必须校验再进入下一阶段：

生图 → 成片 卡点

检查项 标准 不通过处理
图片分辨率 短边 >= 1024px 重新生成
画幅比例 与目标视频一致 (9:16/16:9) 重新生成
图片内容 无水印、无文字、主体清晰 删除，人工补选
风格一致性 同批次风格统一 替换偏差大的图
数量 至少 3 张（< 3 张无法成片） 补充生成

首尾帧额外检查：

检查项 标准 不通过处理
场景一致性 首尾帧是同一场景 重新生成 lastFrame
视角匹配 构图、角度、距离一致 重新生成不匹配的帧
状态过渡合理 结束帧是起始帧的自然延续 调整提示词重新生成

自动校验脚本（在 Agent 间插入）：

node .claude/skills/video-from-script/scripts/validate_assets.js \
  --dir ./output/batch_xxx \
  --min-resolution 1024 \
  --expected-ratio 9:16

配音 → 成片 卡点

检查项 标准 不通过处理
音频时长 与素材总时长相近（±20%） 调整语速或素材时长
音频质量 无静音段、无爆音 重新生成
音频数量 与素材数量匹配 补充或裁剪

AI视频 → 成片 卡点

检查项 标准 不通过处理
视频时长 每段 6-8 秒 正常，模型固定输出
视频画质 无明显伪影、无黑帧 重新生成
过渡连贯（首尾帧） 视频从首帧平滑过渡到尾帧 优化提示词重试
视频数量 与素材数量匹配 补充生成失败的视频

成片输出 卡点

检查项 标准
字幕准确 与原始文案一一对应
关键词高亮 颜色醒目、位置正确
图片动画 Ken Burns 流畅无卡顿
BGM 音量 不盖过配音（配音为主）
转场 无黑帧、无跳帧

任何卡点不通过，必须修复后再进入下一阶段，不可跳过。

共享资源

所有子技能共享以下资源（位于本目录）：

  • scripts/ — 共享脚本（gemini-image-generator.js, mj-image-generator.js, grok-video-generator.js, veo-video-generator.js, capcut_assemble.js, sync-to-jianying.js, oss-upload.js）
  • accounts/ — 账号配置（详见 account-system.md）
  • references/account-system.md — 账号系统说明

配置统一在 skills/config.json（API密钥、路径）。

子技能

技能 触发词 职责
image-generator 生图、批量出图、MJ、Gemini 图片生成（双模型、单图/帧对）
capcut 成片、组装、剪映、图片轮播 CapCut 成片组装
Reference in New Issue View Git Blame Copy Permalink