使用手冊

開源專案 · AI 影片生產

用 AI Coding Agent 編排影片生產。

OpenMontage 是以 AI Coding Agent 編排的開源影片生產系統,內建 12 條生產管線與 52 個工具。本手冊涵蓋安裝、能力總覽、操作實例與使用邊界。

OpenMontage 是開源的 agentic 影片生產系統。它在 Claude Code、Cursor、Copilot、Windsurf 或 Codex 之上運作,把一句話的影片需求轉成成片。系統內建 12 條生產管線與 52 個工具,涵蓋研究、腳本、配音、配樂、素材、合成到後製驗證。官方描述其為「全球首個開源 agentic 影片生產系統」。

calesthio/openmontage
星標
—
分支
—
授權
—
資料截至
—
閱讀時間
7 分
更新日期
開啟原始報告
GitHub Stars
20.7k
生產管線 Pipelines
12
生產工具 Tools
52
GNU AGPLv3 授權
AGPL
本頁章節

01這是什麼

把影片製作拆成 agentic 管線。

OpenMontage 是一套開源的影片生產編排系統。它不取代你的 AI Coding Agent,而是在 Claude Code、Cursor、GitHub Copilot、Windsurf 或 Codex 之上,提供結構化的管線、工具與品質閘門。你用自然語言描述要做的影片,Agent 依管線定義呼叫對應工具,產出成片。主要語言為 Python(89.5%),搭配 TypeScript 與 React/Remotion 合成引擎。

系統核心是 12 條生產管線與 52 個生產工具。管線涵蓋解說片、動畫、紀錄片、預告片、Podcast 等類型;工具橫跨影片生成、影像生成、語音合成(TTS)、配樂與後製。每條管線以 YAML 清單定義編排順序,Agent 讀取後依序執行,並以 schemas/ 內的 15 份 JSON Schema 驗證產出。

OpenMontage 也支援以參考影片為基準的規劃。貼上一段 YouTube 或 TikTok 連結,系統會分析其結構作為生產依據;撰寫腳本前可先執行即時網路研究;紀錄片類型可限定只取用 Archive.org、NASA、Wikimedia 等開放素材庫的真實影片。影片生成支援 14 個供應商,涵蓋本機 GPU 與雲端 API。

  1. Brief

  2. Research

  3. Script

  4. Generate

  5. Compose

  6. Validate

  7. Deliver

「World's first open-source, agentic video production system.」 全球首個開源 agentic 影片生產系統。

— OpenMontage README(官方描述)

02安裝

克隆後執行一行設定。

先確認環境具備 Git、Python 與 Node.js,以及你慣用的 AI Coding Agent(Claude Code、Cursor、Copilot、Windsurf 或 Codex)。取得專案後執行 make setup 完成依賴安裝與初始設定。

bash
# 克隆並完成環境設定
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

手動安裝

若不使用 make,可依序安裝 Python 依賴、Remotion 合成引擎依賴與 piper-tts,並建立 .env:

bash
pip install -r requirements.txt && cd remotion-composer && npm install \
&& cd .. && pip install piper-tts && cp .env.example .env

03能力總覽

12 條管線、 52 個工具。

OpenMontage 把影片生產拆成可組合的工具與管線。下方卡片列出主要能力分組。實務上你不需要逐一了解 52 個工具——描述你要的影片類型,Agent 會依管線定義挑選並串接對應工具。

Pipelines · 01

12 production pipelines

生產管線

解說片、動畫、紀錄片、預告片、Podcast 等類型,各以一份 YAML 清單定義編排順序。

Tools · 02

52 production tools

生產工具

橫跨影片生成、影像生成、語音合成、配樂與後製;tools/ 內含 48 個 Python 工具。

Research · 03

reference analysis

參考分析

貼上 YouTube 或 TikTok 連結,系統分析其結構,作為生產規劃的依據。

Research · 04

live web research

即時研究

撰寫腳本前先執行網路研究,讓內容有事實依據而非憑空生成。

Footage · 05

real-footage docs

真實素材

紀錄片可限定只取用 Archive.org、NASA、Wikimedia 等開放素材庫的真實影片。

Generate · 06

14 video providers

影片生成

支援 14 個影片生成供應商,涵蓋本機 GPU 與雲端 API,可依成本與品質取捨。

Compose · 07

remotion-composer

合成引擎

以 React/Remotion 將生成的影像、旁白與配樂合成為時間軸成片。

Validate · 08

quality gates

品質閘門

生產級品質閘門與渲染後驗證;schemas/ 內 15 份 JSON Schema 校驗各階段產出。

Control · 09

budget controls

預算控制

內建成本估算與預算控制,為雲端供應商用量設定上限,避免費用失控。

想做哪種影片?對應做法

你想做的影片對應做法
解說片 / 動畫explainers / animations 管線,AI 生成影像搭配 TTS 配音
紀錄片documentaries 管線,可限定只用 Archive.org / NASA / Wikimedia 真實素材
模仿某支參考影片貼上 YouTube / TikTok 連結,先做 reference analysis 再規劃管線
預告片 / Podcasttrailers / podcasts 管線
不確定 / 想先試執行 make demo,零 API key 渲染示範片

04系統結構 · 官方資料

拆開看它怎麼運作。

以下依官方 README 與 repo 目錄結構整理 OpenMontage 的組成。它不是單一工具,而是管線定義、工具集、Schema 驗證與合成引擎的組合;理解這幾個目錄,就能掌握資料如何在系統內流動。

pipeline_defs/ · 管線以 YAML 定義

每條生產管線是一份 YAML 編排清單,規定工具的呼叫順序與參數。新增或調整流程不必改程式碼,改清單即可,這也是 12 條管線得以並存的原因。

來源 · repo pipeline_defs/

tools/ · 48 個 Python 工具

tools/ 收錄影片、音訊、圖形、分析、虛擬人、字幕等工具,由管線依需求呼叫。能力的實際執行都落在這一層。

來源 · repo tools/

skills/ · Markdown 指令檔

skills/ 以 Markdown 撰寫管線、創意、核心與 meta 指令,供 AI Coding Agent 讀取、理解流程與意圖,再去驅動工具。

來源 · repo skills/

schemas/ · 15 份 JSON Schema

schemas/ 以 JSON Schema 校驗各階段產出,讓 Agent 的輸出維持結構一致,可被下游工具穩定消化,而非自由格式文字。

來源 · repo schemas/

remotion-composer/ · React/Remotion 合成

最終合成由 remotion-composer 負責,以 React/Remotion 將生成的影像、旁白與配樂組成時間軸影片。這也是 make demo 在無金鑰時仍能渲染的關鍵元件。

來源 · repo remotion-composer/

lib/ · 核心與檢查點系統

lib/ 提供核心基礎設施與檢查點(checkpoint)系統,讓較長的生產流程可在中途保存進度與接續,降低長流程中斷的成本。

來源 · repo lib/

05使用實例

一句話到一支成片。

以下示範以自然語言對你的 AI Coding Agent 下指令。OpenMontage 接到需求後,依管線執行研究、腳本、生成、合成與驗證。指令文字取自官方 README 的需求範例。

~/OpenMontage · claude code · openmontage


$ You ›
  Make a 60-second animated explainer about how neural networks learn


# [OpenMontage · 選用 explainer / animation 管線]
# [1/5 即時網路研究 → 要點與事實查核]
# [2/5 腳本生成 → 分鏡與旁白稿]
# [3/5 資產生成 → 影像(video provider)· 旁白(TTS)· 配樂]
# [4/5 合成 → remotion-composer 組成時間軸]
ok: [5/5 品質閘門 → 渲染後驗證 ✓]
  ok: → 產出 60 秒動畫解說片


$ You ›
  Make a 90-second documentary montage about city life in rain using real footage only


# [documentary 管線 · 僅限開放素材]
# [素材來源:Archive.org / NASA / Wikimedia]
# [擷取授權片段 → 依腳本剪輯 montage → 字幕]
ok: [品質閘門 → 渲染後驗證 ✓]
  ok: → 產出 90 秒紀錄片風格 montage


$ You ›
  Here's a YouTube short I love. Make something like this, but about CRISPR


# [reference analysis · 解析參考影片結構與節奏]
# [依分析結果規劃管線 → 生成 → 合成 → 驗證 ✓]


$ You › make demo


# [渲染示範影片 · 不需任何 API key]
ok: [驗證 Remotion 合成引擎與本機工具鏈 ✓]

「Make a 90-second documentary montage about city life in rain using real footage only.」

— OpenMontage README · 自然語言需求即生產指令

這段為什麼值得看

輸入是一句話,輸出是成片;中間的研究、腳本、生成、合成與驗證都由管線編排。價值不在單一模型,而在把流程結構化:管線以 YAML 定義、產出以 JSON Schema 驗證、合成交給 Remotion,讓「隨手生一支影片」變成可重複、可檢查的工序。

真實素材紀錄片是一個關鍵設計。限定只取用 Archive.org、NASA、Wikimedia 等開放素材庫,讓 素材授權從產製源頭就乾淨,而不是事後補救。

06先看清楚這些

上手前, 先知道邊界。

07進階路徑

把管線改成你的工序。

OpenMontage 的管線與工具都是開放結構。你可以新增管線、調整工具鏈,或接上自己的影片生成供應商,不必重寫核心。

進階玩法地圖

**1. 新增或調整管線。**在 pipeline_defs/ 複製一份 YAML 清單,改編排順序與呼叫的工具,即可定義新的影片類型。

2. 擴充工具。tools/ 是 Python 工具集;依現有工具的介面新增一個,讓管線可以呼叫你自己的步驟。

**3. 串接你慣用的 Agent。**OpenMontage 支援 Claude Code、Cursor、Copilot、Windsurf、Codex;在既有環境內驅動,工作流程不必換工具。

**4. 校驗你的產出。**在 schemas/ 增修 JSON Schema,讓 Agent 的輸出在進入合成前就被結構化檢查。

**5. 控管成本。**啟用內建的成本估算與預算控制,為雲端供應商設定上限後再批次生產。

最該先看的三處

① github.com/calesthio/OpenMontage 的 README——安裝、管線與工具總覽、自然語言需求範例。 ② pipeline_defs/——12 條管線的 YAML 定義,理解編排邏輯的起點。 ③ tools/——48 個 Python 工具,對照能力與實際實作。

「Here's a YouTube short I love. Make something like this, but about CRISPR.」

— OpenMontage README · 需求範例