rea-video:逐鏡頭逆向任意影片製作方法

解決什麼

影片創作者常遇到"這個效果怎麼做的"困境:看到爆款短影片、AI 生成片段或產品宣傳片,想復刻卻不知道是實拍、AI 模型生成還是程式碼渲染。rea-video 通過 AI Agent 自動逐鏡頭分析影片製作方法,輸出結構化的 VIDEO.md 文件,包含每個鏡頭的製作判斷(實拍/AI/3D/程式碼)、裝置推斷、燈光佈置、AI 提示詞逆向、音訊分離(人聲/配樂/音效)、字幕時間軸等,相當於給影片做"CT 掃描"。

為何火

7597 星的熱度源於三點:1) AI Agent 原生設計,在 Claude Code/Codex 中一句話呼叫即可完成全流程,無需手動配置;2) VIDEO.md 開放格式,分層儲存資訊讓 AI 按需讀取(減少 token 消耗),同時生成人類友好的 HTML/PDF 報告;3) 覆蓋全場景,從真人口播、AI 短劇、3D 動畫到程式碼動效、螢幕錄製均能拆解,甚至混合型別(如 AI 角色+程式碼 UI+真實錄屏)也能逐鏡頭分離判斷。專案在 GitHub Trending 日榜登頂,Discord 社群活躍討論復刻案例。

核心功能

• 製作方式判斷:自動識別實拍(推斷機位、燈光方案、色彩分級)、AI 生成(逆向提示詞、批次規劃、模型推薦)、3D 渲染(Blender/C4D 程式碼或影片模型選擇)、程式碼動效(Remotion 專案結構)、螢幕錄製等
• 音訊分離:基於 UVR MDX-Net 和 BandIt v2 模型,分離人聲/配樂/音效,判斷 AI 語音或真人、音樂 BPM
• 字幕與文本:提取時間軸(匯出 SRT/ASS)、樣式(顏色/描邊/入場動畫)、貼紙和畫中畫位置
• 可選增強:接入 Gemini/豆包等視覺模型提升判斷準確度,本地 OCR(rapidocr)識別文字,ASR(SenseVoice)生成字幕和說話人分離
• 雙輸出:生成 report.html(人類閱讀)和 VIDEO.md(AI 讀取),後者支援 Agent 按層查詢

安裝

需要 Python 3.10+ 和 ffmpeg。在 Claude Code/Codex 等 AI Agent 環境中直接說:

Install https://github.com/JuneYaooo/rea-video, then break down this video: /path/to/video.mp4

Agent 會自動克隆倉庫、安裝依賴並執行。手動安裝:

git clone https://github.com/JuneYaooo/rea-video.git
cd rea-video
pip install -e .  # 基礎功能
pip install -e ".[ocr,asr]"  # 可選 OCR 和語音識別

首次執行會自動下載 ONNX 模型(音訊分離約 216 MB,OCR/ASR 按需下載)。

適合誰

• 影片創作者:學習爆款影片的拍攝手法、燈光佈置、剪輯節奏,快速復刻
• AIGC 從業者:逆向 AI 影片的提示詞和生成策略,最佳化自己的工作流
• 開發者:將影片拆解能力整合到自動化流程,如批次分析競品、生成教程指令碼
• 教育工作者:拆解教學影片的製作細節,輔助課程設計

中文使用者注意:需自行安裝 ffmpeg(Windows 可用 Chocolatey,macOS 用 Homebrew);報告語言跟提問語言一致(中文提問輸出中文報告);可選接入國內視覺模型(如豆包)提升判斷準確度。

社群評價

暫無足量社群公開討論,以下為基於專案本身的中立評估:

從 GitHub 資料看,專案在兩週內獲得 7597 星和 1119 次 fork,顯示強烈的市場需求。技術路線上選擇 AI Agent 作為主互動方式較為前瞻,但也限制了非 Agent 使用者的使用門檻。VIDEO.md 格式的分層設計解決了傳統影片後設資料冗餘的問題,但格式標準尚在推廣階段,生態工具支援有限。音訊分離和 OCR 功能依賴多個 ONNX 模型,首次執行需下載較大檔案,國內網路環境可能需要映象加速。

專案文件提供了 10 種語言版本和豐富的案例(混合媒體、3D 科普、產品宣傳等),但部分示例影片因壓縮導致平臺標籤丟失,復現結果可能與文件不一致。開發活躍度高(最近提交 0 天前),但 open issues 數量(6 個)較少,可能處於早期快速迭代階段,API 穩定性待觀察。

選型對比

vs 商業影片分析工具(如 Runway 的 Gen-3 Alpha Turbo 逆向功能):rea-video 完全開源免費,支援本地執行無需上傳影片,但判斷準確度依賴接入的視覺模型質量;商業工具通常有更強的模型和雲端算力,但按次收費且資料隱私存疑。

vs 傳統影片編輯軟體(如 Premiere/Final Cut):後者側重剪輯而非逆向分析,無法自動判斷製作方式或生成復刻指南;rea-video 不做剪輯,專注於"拆解"和"學習",兩者互補而非替代。

vs 手動分析:人工逐幀分析一個 60 秒影片可能需要數小時,rea-video 在 AI Agent 環境中幾分鐘完成,且輸出標準化文件便於後續處理。

已知坑

1. 依賴 AI Agent 環境:非 Claude Code/Codex 使用者需手動配置 Python 環境和 ffmpeg,門檻較高
2. 模型下載:首次執行需下載 200+ MB ONNX 模型,國內網路可能超時,建議配置 HuggingFace 映象
3. 視覺模型可選:不接入 Gemini/豆包等視覺模型時,AI 生成判斷準確度下降,需 Agent 自身有影像理解能力
4. 示例影片壓縮:倉庫中的案例影片經過重壓縮,復現結果與文件報告可能不一致,需從原平臺下載
5. VIDEO.md 生態:格式較新,配套工具(如視覺化編輯器、格式轉換器)尚不完善
6. Python 3.13 相容性:OCR 依賴在 Python 3.13+ 需切換到 rapidocr v3,安裝指令碼會自動處理但可能有相容問題