使用手冊

開源影片編譯引擎 · AI Agent 影片創作系統

AI Agent 的宣告式影片創作與編譯系統

Hypit 是一套專為 AI Agent 設計的宣告式影片創作與編譯系統。透過 SVML 標記語言、WhisperX 語意字詞錨定與 64 行程 Chromium 渲染,實現爆款影片全流程復刻與自動化生產。

Hypit 為 Claude Code 與 Codex 等 Coding Agent 提供一套完整的影片製作語言與執行架構。透過聲學語意對齊將畫面、字幕、B-roll 與音效錨定於特定字詞而非固定秒數,並以 64 行程無頭 Chromium 實現像素級並發渲染。

hypit-ai/hypit
星標
—
分支
—
授權
—
資料截至
—
閱讀時間
9 分
更新日期
開啟原始報告
GitHub Stars
3.2k
Chromium 並發渲染
64x
產出物創作者所有
100%
條件式開源授權
Apache 2.0

01架構定位與問題解決

以字詞語意為錨點的全流程影片編譯架構

傳統 AI 生成影片將輸出視為不可編輯的黑盒像素檔案;只要文案稍作微調或說話節奏改變,下游所有字卡、B-roll、音效與鏡頭轉場就必須全數作廢重剪。

Hypit 將影片製作轉型為宣告式編譯管線。透過 SVML 標記語言與 SVS 樣式庫,Agent 將視覺動作、圖層覆蓋與動態字卡錨定於 WhisperX 逐詞對齊的語意時間(Semantic Anchors),而非死板的固定秒數。當口白更換或語速變動時,所有圖層與音效將自動對齊相應詞彙。

整個系統以 HyperFrames 為渲染核心,由多達 64 個無頭 Chromium 行程並發執行 DOM、Canvas 與 WebGL 畫面繪製,最後由 ffmpeg 壓製為像素級高畫質影片。

  1. 參考分析 (Probe)

  2. 劇本語意 (Script)

  3. 提示詞庫 (Kits)

  4. 建置規劃 (Plan)

  5. 並發渲染 (HyperFrames)

  6. 視覺審閱 (Studio)

「Hypit gives AI agents a language and system to create video. Drop in a video, and your agent clones it as a complete workflow: footage, captions, B-roll and effects, all anchored to words instead of seconds.」

— Hypit 官方 README 架構定義

02安裝與環境準備

Skill 安裝與Runtime環境建置

Hypit 區分為提供製作知識的 Skill 與提供執行工具鏈的 @hypit/hypit 套件。在支援 Skill 的 Coding Agent(如 Claude Code、Codex)中執行全域安裝指令:

bash
# 在終端機或 Agent 環境中執行全域安裝
npx skills add hypit-ai/hypit -g

Monorepo 開發模式:本機源碼編譯與測試

若需自訂底層組件、擴展 Provider 適配器或本機編譯 Hypit 原始碼,自 GitHub 複製倉庫並依序完成依賴安裝與型別檢查:

bash
# 啟用 corepack 並安裝鎖定依賴
corepack enable
pnpm install --frozen-lockfile

# 驗證 TypeScript 型別與單元測試
pnpm check
pnpm test

03能力總覽與指令集

CLI 命令與宣告式模組矩陣

Hypit 將影片工程拆解為三個獨立維度:專案宣告(Markup/DSL)、執行控管(CLI 工具鏈)以及視覺審查(Studio)。開發者與 Agent 透過下列核心命令完成從參考影片逆向、語音對齊到並發渲染的完整流程。

Preparation · 01

hypit media

媒體逆向探測

提取參考影片的影格序列、文字邊界與版面網格,萃取分鏡節奏與視覺層次。

Acoustics · 02

hypit transcribe

逐詞語音對齊

透過 WhisperX 將音訊精確解析至單詞時間戳記,建立影片圖層的語意錨點(Semantic Anchors)。

Speech · 03

hypit measure

本機語速估算

依據語言、語速設定(fast/normal)與捨入策略,在不呼叫外部 API 的情況下預先推算劇本時長。

Budget · 04

hypit plan & pricing

費用預算評估

分析 .svrun 依賴圖,列出所需模型調用端點(Endpoints)與預估生成成本,確認預算授權。

Compile · 05

hypit build

多線程編譯建置

執行生成模型調用、素材正規化並啟動 64 行程 Chromium 渲染引擎完成影片輸出。

Review · 06

hypit studio

視覺審閱畫布

啟動本地 Web 編輯器(埠 5179),提供時間軸巡覽、Inspector 屬性即時微調與時間戳記反饋。

Runtime · 07

hypit runtime

環境配置管線

管理本地與雲端 Runtime Profile,切換自建 API 金鑰或 HypiHub 託管服務。

Security · 08

hypit auth

憑證金鑰隔離

集中管理第三方模型 API 憑證,支援系統安全儲存區與環境變數隔離,避免明文外洩。

任務階段與命令選用決策表

任務情境核心命令產出物與作用
取得參考影片關鍵節奏與分鏡結構hypit media tile <video.mp4> --step 1產出影格網格圖像與時序分割點
劇本文字發音時長與節奏預算hypit measure <story.svml> --pace fast推算秒數與發音標籤,無需花費 API 額度
確認生成模型依賴與計費上限hypit plan <run.svrun> --runtime <prof.json>產生需要生成的素材清單與計費端點明細
完整管線執行與影片渲染輸出hypit build <run.svrun> --follow生成 A-roll/B-roll 並透過 Chromium 壓製成 mp4
時間軸微調與非同步評論反饋hypit studio --run <run.svrun>瀏覽器互動時間軸與 FEEDBACK.json 註記

04官方架構設計原則

語意錨定與管線編譯核心原則

Hypit 捨棄傳統時間碼(Timecode)剪輯模型,建立以語言學語意與響應式畫布為基礎的編譯架構。以下為官方規格文件與 SKILL.md 中定義的核心原則:

RULE · 字詞錨定而非固定秒數

在 SVML 中,視覺事件、B-roll、音效與卡拉 OK 字幕均錨定於劇本中的語意標籤。當講者重新錄製或語速改變時,WhisperX 逐詞對齊會自動重算所有子圖層的絕對時間,無需逐影格手動修剪。

來源 · 官方 SKILL.md · Script and Time

RULE · 三份文件分離創作職責

專案架構區分為 .svml(結構與劇本)、.svs(可複用視覺外觀與提示詞 Recipe)以及 .svrun(目標執行與素材複用策略)。三者解耦,同一套爆款分鏡可迅速套用於不同主體與商品。

來源 · 官方 docs/guide/conventions.md

RULE · 素材複用與失敗接力(Candidate Reuse)

生成模型調用具備成本與時間開銷。Hypit 透過 Run Candidates 機制追蹤已產出的 Outputs。即使渲染中途失敗或後續僅微調字幕樣式,Build 亦能直接鎖定既有素材,避免重複調用付費 API。

來源 · 官方 docs/quickstart/run.md

RULE · HyperFrames 64 行程並發 Chromium 渲染

影片圖層全部以現代 Web 技術(HTML、CSS、Canvas、WebGL)實作。HyperFrames 啟動多達 64 個無頭 Chromium 行程進行多影格並行繪圖,再由 ffmpeg 合成串流,達成像素級動態排版。

來源 · 官方 README.zh-CN.md · HyperFrames

RULE · 金鑰隔離與預算審批先決條件

框架本身開源免費,但對接外部生成模型需消耗額度。Hypit 強制在執行付費任務前透過 hypit plan 提供端點清單與價格預估,並將機密金鑰隔離於安全儲存區,杜絕明文外洩。

來源 · 官方 SKILL.md · Standing Responsibilities

RULE · Studio 雙視圖與非同步評論回饋

hypit studio 提供雙視圖模式:Studio 視圖檢視時間軸與組件屬性;Comments 視圖(#comments)支援點擊影格留下時間戳記反饋,內容自動持久化於 FEEDBACK.json。

來源 · 官方 docs/quickstart/preview.md

05端到端實作流程

爆款足球排行榜影片復刻實戰

以官方範例 ranking-football 為例,展示如何向 Agent 提交參考影片並抽換主講人與 B-roll 搞笑圖片。流程涵蓋劇本語意標記、語速推算、模型調用費用審批,以及在 Studio 中微調字卡對齊。

~/projects/ranking-football · claude code · hypit v0.1.10


$ You ›
  /hypit Use this video as reference: https://storage.googleapis.com/hypit-public-assets/quickstart/football_tier.mp4. Replace presenter with a goth host, and keep the energetic ranking format.


# [loaded ~/.claude/skills/hypit/SKILL.md]
# [probed reference video: 20.4s · 720x1280 · vertical layout]
# [transcribed with WhisperX: 2 speaking segments (Ronaldo, Messi) · 8 cue-triggered B-rolls]


claude: Claude(Hypit Director)›
  已建立專案架構與語意劇本。將主講人重構為哥德風格足球評論員,保留原片階梯排行榜動態與逐詞卡拉 OK 字卡。
  正在執行本機語速測量與時長推算:


> hypit measure reference.svml --segment ronaldo --language en --pace fast --rounding ceil
  hl: Segment 'ronaldo': estimated 9s (requested duration 10s · 1s padding for facial delivery)
> hypit measure reference.svml --segment messi --language en --pace fast --rounding ceil
  hl: Segment 'messi': estimated 9s (requested duration 10s · 1s padding for facial delivery)


claude: Claude ›
  正在分析執行計畫與費用清單:


> hypit plan reference.svrun --runtime ./hypit.runtime.json
  # [Target Plan: final.video]
    · presenter.image: GPT Image 2K (1 request · $0.04)
    · broll-*.image: GPT Image 2K (8 requests · $0.32)
    · presenter-voice: Fish Audio VoiceDesign (1 request · $0.02)
    · ronaldo-take & messi-take: Seedance 2 Mini 720p (2 video takes · $0.70)
    · HyperFrames Composition: 64 Headless Chromium processes (Local · $0.00)
  hl: Total Estimated Budget: $1.08. 是否核准執行?


$ You › 核准預算,開始編譯輸出。


> hypit build reference.svrun --runtime ./hypit.runtime.json --follow
  [1/4] Generating presenter image & 8 comedy B-rolls (GPT Image 2K)... done (8.4s)
  [2/4] Designing presenter voice reference (Fish Audio)... done (2.1s)
  [3/4] Generating A-roll video takes (Seedance 2 Mini 720p)... done (34.2s)
  [4/4] Normalizing media & rendering 64-process Chromium HyperFrames... done (12.8s)
  ok: Build completed: dist/final.mp4 (duration: 20.4s · 720x1280 · 30fps)


claude: Claude ›
  影片已生成完畢。已啟動 Hypit Studio 提供時間軸審閱:


> hypit studio --run reference.svrun --port 5179
  # Studio URL: http://localhost:5179
  # Comments URL: http://localhost:5179#comments (回饋將持久化於 FEEDBACK.json)

        

「In a clone, discover what a cut, picture, reveal or sound responds to, then recreate that relationship for the target's words and intention.」

— Hypit 官方 SKILL.md · Give the work useful structure

語意編譯架構的生產效益

傳統影片製作中,剪輯師需手動在時間軸上微調數十個素材的進出場時間碼。Hypit 將此過程轉變為宣告式依賴圖:當替換為其他角色或翻譯為新語言時,語意標籤自動重排所有視覺與音效事件。

透過一套已驗證的爆款結構,創作者可在單一指令下產生上百個變體版本,實現規模化內容生產。

06系統邊界與授權限制

環境依賴與商用授權邊界

07延伸學習與深入路徑

自訂組件與生產管線擴展

Hypit 具備高度模組化的 Monorepo 架構。除直接調用現有範本外,開發者可進一步擴展專案組件、適配器與視覺控制器。

進階擴展地圖

**1. 自訂 Author Package 與專案組件。**透過 @hypit/author-kit 封裝特定頻道的視覺資產(如自訂排版字卡、品牌動態轉場或分割畫面),組件可直接在 SVML 中以標記標籤引入。

**2. 實作 Studio Companion 視覺控制介面。**為組件編寫 Companion 描述檔,使其在 Studio 視覺化畫布中暴露時間軸控制握把與屬性拉桿,編輯結果自動反向寫回 SVML 源碼。

**3. 對接私有模型與地端推論端點。**透過 @hypit/model-kit 與 @hypit/endpoint-kit 擴充 Provider 適配器,將影音生成流程切換至自建 ComfyUI、Ollama 或內部專用服務。

最該讀的三份延伸資料

① docs/quickstart.md —— Agent 使用者完整上手指南與核心工作流解析。 ② skills/hypit/SKILL.md —— 導演與製作人提示詞規格書與系統協定定義。 ③ examples/ranking-football/reference.svml —— 官方標準排名影片的完整宣告式原始碼範例。

「To be clear: cloning a video is the fastest way in, not the only one. You can start from our templates, or just describe the video you want and your agent writes the workflow from scratch.」

— Hypit 官方 README 設計綱領