rea-video:逐镜头逆向任意视频制作方法

解决什么

视频创作者常遇到"这个效果怎么做的"困境:看到爆款短视频、AI 生成片段或产品宣传片,想复刻却不知道是实拍、AI 模型生成还是代码渲染。rea-video 通过 AI Agent 自动逐镜头分析视频制作方法,输出结构化的 VIDEO.md 文档,包含每个镜头的制作判断(实拍/AI/3D/代码)、设备推断、灯光布置、AI 提示词逆向、音频分离(人声/配乐/音效)、字幕时间轴等,相当于给视频做"CT 扫描"。

为何火

7597 星的热度源于三点:1) AI Agent 原生设计,在 Claude Code/Codex 中一句话调用即可完成全流程,无需手动配置;2) VIDEO.md 开放格式,分层存储信息让 AI 按需读取(减少 token 消耗),同时生成人类友好的 HTML/PDF 报告;3) 覆盖全场景,从真人口播、AI 短剧、3D 动画到代码动效、屏幕录制均能拆解,甚至混合类型(如 AI 角色+代码 UI+真实录屏)也能逐镜头分离判断。项目在 GitHub Trending 日榜登顶,Discord 社区活跃讨论复刻案例。

核心功能

• 制作方式判断:自动识别实拍(推断机位、灯光方案、色彩分级)、AI 生成(逆向提示词、批次规划、模型推荐)、3D 渲染(Blender/C4D 代码或视频模型选择)、代码动效(Remotion 项目结构)、屏幕录制等
• 音频分离:基于 UVR MDX-Net 和 BandIt v2 模型,分离人声/配乐/音效,判断 AI 语音或真人、音乐 BPM
• 字幕与文本:提取时间轴(导出 SRT/ASS)、样式(颜色/描边/入场动画)、贴纸和画中画位置
• 可选增强:接入 Gemini/豆包等视觉模型提升判断准确度,本地 OCR(rapidocr)识别文字,ASR(SenseVoice)生成字幕和说话人分离
• 双输出:生成 report.html(人类阅读)和 VIDEO.md(AI 读取),后者支持 Agent 按层查询

安装

需要 Python 3.10+ 和 ffmpeg。在 Claude Code/Codex 等 AI Agent 环境中直接说:

Install https://github.com/JuneYaooo/rea-video, then break down this video: /path/to/video.mp4

Agent 会自动克隆仓库、安装依赖并运行。手动安装:

git clone https://github.com/JuneYaooo/rea-video.git
cd rea-video
pip install -e .  # 基础功能
pip install -e ".[ocr,asr]"  # 可选 OCR 和语音识别

首次运行会自动下载 ONNX 模型(音频分离约 216 MB,OCR/ASR 按需下载)。

适合谁

• 视频创作者:学习爆款视频的拍摄手法、灯光布置、剪辑节奏,快速复刻
• AIGC 从业者:逆向 AI 视频的提示词和生成策略,优化自己的工作流
• 开发者:将视频拆解能力集成到自动化流程,如批量分析竞品、生成教程脚本
• 教育工作者:拆解教学视频的制作细节,辅助课程设计

中文用户注意:需自行安装 ffmpeg(Windows 可用 Chocolatey,macOS 用 Homebrew);报告语言跟提问语言一致(中文提问输出中文报告);可选接入国内视觉模型(如豆包)提升判断准确度。

社区评价

暂无足量社区公开讨论,以下为基于项目本身的中立评估:

从 GitHub 数据看,项目在两周内获得 7597 星和 1119 次 fork,显示强烈的市场需求。技术路线上选择 AI Agent 作为主交互方式较为前瞻,但也限制了非 Agent 用户的使用门槛。VIDEO.md 格式的分层设计解决了传统视频元数据冗余的问题,但格式标准尚在推广阶段,生态工具支持有限。音频分离和 OCR 功能依赖多个 ONNX 模型,首次运行需下载较大文件,国内网络环境可能需要镜像加速。

项目文档提供了 10 种语言版本和丰富的案例(混合媒体、3D 科普、产品宣传等),但部分示例视频因压缩导致平台标签丢失,复现结果可能与文档不一致。开发活跃度高(最近提交 0 天前),但 open issues 数量(6 个)较少,可能处于早期快速迭代阶段,API 稳定性待观察。

选型对比

vs 商业视频分析工具(如 Runway 的 Gen-3 Alpha Turbo 逆向功能):rea-video 完全开源免费,支持本地运行无需上传视频,但判断准确度依赖接入的视觉模型质量;商业工具通常有更强的模型和云端算力,但按次收费且数据隐私存疑。

vs 传统视频编辑软件(如 Premiere/Final Cut):后者侧重剪辑而非逆向分析,无法自动判断制作方式或生成复刻指南;rea-video 不做剪辑,专注于"拆解"和"学习",两者互补而非替代。

vs 手动分析:人工逐帧分析一个 60 秒视频可能需要数小时,rea-video 在 AI Agent 环境中几分钟完成,且输出标准化文档便于后续处理。

已知坑

1. 依赖 AI Agent 环境:非 Claude Code/Codex 用户需手动配置 Python 环境和 ffmpeg,门槛较高
2. 模型下载:首次运行需下载 200+ MB ONNX 模型,国内网络可能超时,建议配置 HuggingFace 镜像
3. 视觉模型可选:不接入 Gemini/豆包等视觉模型时,AI 生成判断准确度下降,需 Agent 自身有图像理解能力
4. 示例视频压缩:仓库中的案例视频经过重压缩,复现结果与文档报告可能不一致,需从原平台下载
5. VIDEO.md 生态:格式较新,配套工具(如可视化编辑器、格式转换器)尚不完善
6. Python 3.13 兼容性:OCR 依赖在 Python 3.13+ 需切换到 rapidocr v3,安装脚本会自动处理但可能有兼容问题