H
開源影片編譯引擎 · AI Agent 影片創作系統

AI Agent 的宣告式
影片創作與編譯系統

Hypit 為 Claude Code 與 Codex 等 Coding Agent 提供一套完整的影片製作語言與執行架構。透過聲學語意對齊將畫面、字幕、B-roll 與音效錨定於特定字詞而非固定秒數,並以 64 行程無頭 Chromium 實現像素級並發渲染。

3.2k
GitHub Stars
64x
Chromium 並發渲染
100%
產出物創作者所有
Apache 2.0
條件式開源授權
01
架構定位與問題解決

以字詞語意為錨點的全流程影片編譯架構

傳統 AI 生成影片將輸出視為不可編輯的黑盒像素檔案;只要文案稍作微調或說話節奏改變,下游所有字卡、B-roll、音效與鏡頭轉場就必須全數作廢重剪。

Hypit 將影片製作轉型為宣告式編譯管線。透過 SVML 標記語言與 SVS 樣式庫,Agent 將視覺動作、圖層覆蓋與動態字卡錨定於 WhisperX 逐詞對齊的語意時間(Semantic Anchors),而非死板的固定秒數。當口白更換或語速變動時,所有圖層與音效將自動對齊相應詞彙。

整個系統以 HyperFrames 為渲染核心,由多達 64 個無頭 Chromium 行程並發執行 DOM、Canvas 與 WebGL 畫面繪製,最後由 ffmpeg 壓製為像素級高畫質影片。

Hypit 編譯管線 · 完整生命週期
參考分析 (Probe)→ 劇本語意 (Script)→ 提示詞庫 (Kits)→ 建置規劃 (Plan)→ 並發渲染 (HyperFrames)→ 視覺審閱 (Studio)
「Hypit gives AI agents a language and system to create video. Drop in a video, and your agent clones it as a complete workflow: footage, captions, B-roll and effects, all anchored to words instead of seconds.」
— Hypit 官方 README 架構定義
02
安裝與環境準備

Skill 安裝與Runtime環境建置

Hypit 區分為提供製作知識的 Skill 與提供執行工具鏈的 @hypit/hypit 套件。在支援 Skill 的 Coding Agent(如 Claude Code、Codex)中執行全域安裝指令:

# 在終端機或 Agent 環境中執行全域安裝 npx skills add hypit-ai/hypit -g

Monorepo 開發模式:本機源碼編譯與測試

若需自訂底層組件、擴展 Provider 適配器或本機編譯 Hypit 原始碼,自 GitHub 複製倉庫並依序完成依賴安裝與型別檢查:

# 啟用 corepack 並安裝鎖定依賴 corepack enable pnpm install --frozen-lockfile # 驗證 TypeScript 型別與單元測試 pnpm check pnpm test
系統相依性要求。Node.js 版本需為 22.15+,套件管理器限定 pnpm 10.33.x。本機執行完整 Build 需具備 ffmpeg / ffprobe;若啟用本地 WhisperX 轉錄或 OpenCV 運算,需安裝 Python 3.10–3.13 與 uv。
03
能力總覽與指令集

CLI 命令與宣告式模組矩陣

Hypit 將影片工程拆解為三個獨立維度:專案宣告(Markup/DSL)、執行控管(CLI 工具鏈)以及視覺審查(Studio)。開發者與 Agent 透過下列核心命令完成從參考影片逆向、語音對齊到並發渲染的完整流程。

Preparation · 01
hypit media
媒體逆向探測
提取參考影片的影格序列、文字邊界與版面網格,萃取分鏡節奏與視覺層次。
Acoustics · 02
hypit transcribe
逐詞語音對齊
透過 WhisperX 將音訊精確解析至單詞時間戳記,建立影片圖層的語意錨點(Semantic Anchors)。
Speech · 03
hypit measure
本機語速估算
依據語言、語速設定(fast/normal)與捨入策略,在不呼叫外部 API 的情況下預先推算劇本時長。
Budget · 04
hypit plan & pricing
費用預算評估
分析 .svrun 依賴圖,列出所需模型調用端點(Endpoints)與預估生成成本,確認預算授權。
Compile · 05
hypit build
多線程編譯建置
執行生成模型調用、素材正規化並啟動 64 行程 Chromium 渲染引擎完成影片輸出。
Review · 06
hypit studio
視覺審閱畫布
啟動本地 Web 編輯器(埠 5179),提供時間軸巡覽、Inspector 屬性即時微調與時間戳記反饋。
Runtime · 07
hypit runtime
環境配置管線
管理本地與雲端 Runtime Profile,切換自建 API 金鑰或 HypiHub 託管服務。
Security · 08
hypit auth
憑證金鑰隔離
集中管理第三方模型 API 憑證,支援系統安全儲存區與環境變數隔離,避免明文外洩。

任務階段與命令選用決策表

任務情境 核心命令 產出物與作用
取得參考影片關鍵節奏與分鏡結構 hypit media tile <video.mp4> --step 1 產出影格網格圖像與時序分割點
劇本文字發音時長與節奏預算 hypit measure <story.svml> --pace fast 推算秒數與發音標籤,無需花費 API 額度
確認生成模型依賴與計費上限 hypit plan <run.svrun> --runtime <prof.json> 產生需要生成的素材清單與計費端點明細
完整管線執行與影片渲染輸出 hypit build <run.svrun> --follow 生成 A-roll/B-roll 並透過 Chromium 壓製成 mp4
時間軸微調與非同步評論反饋 hypit studio --run <run.svrun> 瀏覽器互動時間軸與 FEEDBACK.json 註記
04
官方架構設計原則

語意錨定與管線編譯核心原則

Hypit 捨棄傳統時間碼(Timecode)剪輯模型,建立以語言學語意與響應式畫布為基礎的編譯架構。以下為官方規格文件與 SKILL.md 中定義的核心原則:

RULE 01

字詞錨定而非固定秒數

在 SVML 中,視覺事件、B-roll、音效與卡拉 OK 字幕均錨定於劇本中的語意標籤。當講者重新錄製或語速改變時,WhisperX 逐詞對齊會自動重算所有子圖層的絕對時間,無需逐影格手動修剪。

來源 · 官方 SKILL.md · Script and Time
RULE 02

三份文件分離創作職責

專案架構區分為 .svml(結構與劇本)、.svs(可複用視覺外觀與提示詞 Recipe)以及 .svrun(目標執行與素材複用策略)。三者解耦,同一套爆款分鏡可迅速套用於不同主體與商品。

來源 · 官方 docs/guide/conventions.md
RULE 03

素材複用與失敗接力(Candidate Reuse)

生成模型調用具備成本與時間開銷。Hypit 透過 Run Candidates 機制追蹤已產出的 Outputs。即使渲染中途失敗或後續僅微調字幕樣式,Build 亦能直接鎖定既有素材,避免重複調用付費 API。

來源 · 官方 docs/quickstart/run.md
RULE 04

HyperFrames 64 行程並發 Chromium 渲染

影片圖層全部以現代 Web 技術(HTML、CSS、Canvas、WebGL)實作。HyperFrames 啟動多達 64 個無頭 Chromium 行程進行多影格並行繪圖,再由 ffmpeg 合成串流,達成像素級動態排版。

來源 · 官方 README.zh-CN.md · HyperFrames
RULE 05

金鑰隔離與預算審批先決條件

框架本身開源免費,但對接外部生成模型需消耗額度。Hypit 強制在執行付費任務前透過 hypit plan 提供端點清單與價格預估,並將機密金鑰隔離於安全儲存區,杜絕明文外洩。

來源 · 官方 SKILL.md · Standing Responsibilities
RULE 06

Studio 雙視圖與非同步評論回饋

hypit studio 提供雙視圖模式:Studio 視圖檢視時間軸與組件屬性;Comments 視圖(#comments)支援點擊影格留下時間戳記反饋,內容自動持久化於 FEEDBACK.json。

來源 · 官方 docs/quickstart/preview.md
05
端到端實作流程

爆款足球排行榜影片復刻實戰

以官方範例 ranking-football 為例,展示如何向 Agent 提交參考影片並抽換主講人與 B-roll 搞笑圖片。流程涵蓋劇本語意標記、語速推算、模型調用費用審批,以及在 Studio 中微調字卡對齊。

~/projects/ranking-football · claude code · hypit v0.1.10
You › /hypit Use this video as reference: https://storage.googleapis.com/hypit-public-assets/quickstart/football_tier.mp4. Replace presenter with a goth host, and keep the energetic ranking format.
[loaded ~/.claude/skills/hypit/SKILL.md] [probed reference video: 20.4s · 720x1280 · vertical layout] [transcribed with WhisperX: 2 speaking segments (Ronaldo, Messi) · 8 cue-triggered B-rolls]
Claude(Hypit Director)› 已建立專案架構與語意劇本。將主講人重構為哥德風格足球評論員,保留原片階梯排行榜動態與逐詞卡拉 OK 字卡。 正在執行本機語速測量與時長推算:
$ hypit measure reference.svml --segment ronaldo --language en --pace fast --rounding ceil Segment 'ronaldo': estimated 9s (requested duration 10s · 1s padding for facial delivery) $ hypit measure reference.svml --segment messi --language en --pace fast --rounding ceil Segment 'messi': estimated 9s (requested duration 10s · 1s padding for facial delivery)
Claude › 正在分析執行計畫與費用清單:
$ hypit plan reference.svrun --runtime ./hypit.runtime.json [Target Plan: final.video] · presenter.image: GPT Image 2K (1 request · $0.04) · broll-*.image: GPT Image 2K (8 requests · $0.32) · presenter-voice: Fish Audio VoiceDesign (1 request · $0.02) · ronaldo-take & messi-take: Seedance 2 Mini 720p (2 video takes · $0.70) · HyperFrames Composition: 64 Headless Chromium processes (Local · $0.00) Total Estimated Budget: $1.08. 是否核准執行?
You › 核准預算,開始編譯輸出。
$ hypit build reference.svrun --runtime ./hypit.runtime.json --follow [1/4] Generating presenter image & 8 comedy B-rolls (GPT Image 2K)... done (8.4s) [2/4] Designing presenter voice reference (Fish Audio)... done (2.1s) [3/4] Generating A-roll video takes (Seedance 2 Mini 720p)... done (34.2s) [4/4] Normalizing media & rendering 64-process Chromium HyperFrames... done (12.8s) Build completed: dist/final.mp4 (duration: 20.4s · 720x1280 · 30fps)
Claude › 影片已生成完畢。已啟動 Hypit Studio 提供時間軸審閱:
$ hypit studio --run reference.svrun --port 5179 Studio URL: http://localhost:5179 Comments URL: http://localhost:5179#comments (回饋將持久化於 FEEDBACK.json)
「In a clone, discover what a cut, picture, reveal or sound responds to, then recreate that relationship for the target's words and intention.」
— Hypit 官方 SKILL.md · Give the work useful structure

語意編譯架構的生產效益

傳統影片製作中,剪輯師需手動在時間軸上微調數十個素材的進出場時間碼。Hypit 將此過程轉變為宣告式依賴圖:當替換為其他角色或翻譯為新語言時,語意標籤自動重排所有視覺與音效事件。

透過一套已驗證的爆款結構,創作者可在單一指令下產生上百個變體版本,實現規模化內容生產。

06
系統邊界與授權限制

環境依賴與商用授權邊界

  • 授權條款嚴格限制多租戶 SaaS 與二次轉售。Hypit 採用 Modified Apache-2.0 授權。允許個人與企業內部自用、運營自有產品後端,以及為客戶代工影片;但明確禁止在未經官方授權下將其架設為多租戶(Multi-tenant)託管服務,或包裝成軟體產品向第三方轉售牟利。
  • 第三方生成模型費用不含於框架中。Hypit 框架與 CLI 本身開源免費,但對接外部模型服務(如 Seedance、Fish Audio、GPT Image 2)需自備帳號與 API 金鑰。執行前務必透過 hypit plan 檢查端點並設定預算上限。
  • 產出物版權歸創作者所有。官方授權條款第 3 條明訂,使用者透過 Hypit 產出的所有影片、音訊、圖片與 Manifest 文件,版權與商用權利 100% 歸使用者所有,官方不主張任何權利(但仍受第三方模型服務條款約束)。
  • 遠端主機執行環境之連接埠轉發限制。在遠端伺服器或雲端開發環境運行 Hypit 時,Studio 的 http://localhost:5179 僅綁定遠端主機。本機瀏覽器需配置 SSH 連接埠轉發(Port Forwarding)才能開啟視覺編輯器。
  • 本機深度運算環境的前置依賴。若選擇本機運行 WhisperX 語音對齊或 OpenCV 運算,需配置 Python 3.10–3.13、uv 與 ffmpeg,且初次下載模型權重需消耗大量磁碟空間與網路頻寬。建議輕量任務優先選用 HypiHub 託管端點。
  • 64 行程並發 Chromium 渲染的記憶體負載。HyperFrames 透過多達 64 個無頭 Chromium 行程進行多影格並發繪製。在記憶體小於 16GB 的本機環境中編譯 2K/4K 畫面時,建議監控系統資源消耗。
07
延伸學習與深入路徑

自訂組件與生產管線擴展

Hypit 具備高度模組化的 Monorepo 架構。除直接調用現有範本外,開發者可進一步擴展專案組件、適配器與視覺控制器。

進階擴展地圖

1. 自訂 Author Package 與專案組件。透過 @hypit/author-kit 封裝特定頻道的視覺資產(如自訂排版字卡、品牌動態轉場或分割畫面),組件可直接在 SVML 中以標記標籤引入。

2. 實作 Studio Companion 視覺控制介面。為組件編寫 Companion 描述檔,使其在 Studio 視覺化畫布中暴露時間軸控制握把與屬性拉桿,編輯結果自動反向寫回 SVML 源碼。

3. 對接私有模型與地端推論端點。透過 @hypit/model-kit 與 @hypit/endpoint-kit 擴充 Provider 適配器,將影音生成流程切換至自建 ComfyUI、Ollama 或內部專用服務。

最該讀的三份延伸資料

① docs/quickstart.md —— Agent 使用者完整上手指南與核心工作流解析。
② skills/hypit/SKILL.md —— 導演與製作人提示詞規格書與系統協定定義。
③ examples/ranking-football/reference.svml —— 官方標準排名影片的完整宣告式原始碼範例。

「To be clear: cloning a video is the fastest way in, not the only one. You can start from our templates, or just describe the video you want and your agent writes the workflow from scratch.」
— Hypit 官方 README 設計綱領