收錄範圍
Openverse 搜尋既有的開放授權素材；MMAudio 根據影片或文字生成聲音；earshot 協助 Agent 分析音訊、製作短音效與檢查聲畫時序。在剪輯軟體中安排音軌後，以人工試聽確認成果。
| 製作需求 | 優先工具 | 交付給下一步的資料 |
|---|---|---|
| 真實環境聲、可辨識的物件音效 | Openverse | 來源檔、作者、授權及原始頁面 |
| 無聲短鏡頭的候選音景 | MMAudio | FLAC 音訊及配音 MP4 |
| 音效篩選、響度、聲畫時序檢查 | earshot | 測量、候選排序及時間軸報告 |
| 精準轉場、點擊、提示聲 | earshot 的程序式音效 | WAV 音效及時間定位資料 |
開放授權素材
排名 01/01
WordPress/openverseOpenverse
搜尋開放授權的圖片與音訊
音訊搜尋支援 sound_effect、music 等類別，以及授權篩選。平台彙整第三方中繼資料，使用前需回到原始頁面確認授權。
- 素材搜尋
- 音效
- 授權查核
在首頁選擇 Audio，輸入聲音與材質，例如雨聲、石子路腳步或木門。試聽後回到素材的原始託管頁面，確認可下載檔案、作者及適用授權；保留授權網址和下載日期。
官方 API 的音訊端點是 https://api.openverse.org/v1/audio/，支援 q、category、license 及 license_type。下例依官方介面規格撰寫；本次請求回傳 504，未取得可驗證的素材結果。
curl --fail --max-time 30 --get 'https://api.openverse.org/v1/audio/' \
--data-urlencode 'q=rain' \
--data-urlencode 'category=sound_effect' \
--data-urlencode 'license=cc0' \
--data-urlencode 'page_size=3'回應可包含 foreign_landing_url、creator、license、license_url 及 attribution 等欄位。搜尋篩選無法取代原始來源查核；平台條款也明確說明 Openverse 不驗證素材的授權狀態。
影片條件式聲音生成
排名 01/01
hkchengrex/MMAudioMMAudio
根據畫面與文字生成同步聲音
支援影片加文字或純文字輸入。預設使用 large_44k_v2，輸出 FLAC 與 MP4；官方模型權重採 CC BY-NC 4.0，限非商業使用。
- 影片配音
- 研究模型
- 非商業權重
官方安裝僅在 Ubuntu 測試，需求包含 Python 3.9+、PyTorch 2.5.1+ 及對應的 torchvision、torchaudio。先依 GPU 與驅動選擇 PyTorch 套件；下列 CUDA 11.8 安裝指令是官方範例。
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade
git clone https://github.com/hkchengrex/MMAudio.git
cd MMAudio
pip install -e .將短鏡頭存為 input.mp4，再執行：
python demo.py --duration=8 --video=input.mp4 \
--prompt "Footsteps on gravel, light wind" \
--negative_prompt "speech, music" \
--seed 42 --output ./output首次執行會下載所需模型。預設輸出與訓練長度為 8 秒，官方回報半精度推論約使用 6 GB GPU 記憶體；實際需求依環境而變。聲音及合成影片存入 ./output，省略 --video 可改為文字生成音訊。
--negative_prompt 無法保證排除人聲或音樂。模型可能產生無法辨識的人聲、非預期音樂或不符合陌生物件的聲音；偏離訓練長度過多也可能降低品質。先以單一短鏡頭試做，再依畫面事件逐段試聽。
Agent 音訊分析與短音效
排名 01/01
Leonxlnx/earshotearshot
讓 Agent 讀取音訊測量與時序證據
提供 CLI、Python API 與 MCP。可描述、比較、定位音訊事件，分析影片配樂，並以程式合成短音效；kit render 輸出音效及定位資料，完整混音仍需另外安排。
- CPU
- 音訊分析
- 程序式音效
需求為 Python 3.10+，且 ffmpeg、ffprobe 已在 PATH。官方以 CPU 執行，不使用 GPU；建議與 MMAudio 分開建立環境。
git clone https://github.com/Leonxlnx/earshot
cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load以上為 Linux／macOS 路徑格式。首次使用分析模型約下載 1.1 GB；measure、sfx 和 kit 不載入分析模型。核心本機流程不需要付費 API 金鑰；選用遠端 Gemini 評論時才需要金鑰及明確上傳同意。
| 指令 | 用途 | 判讀限制 |
|---|---|---|
measure | 響度、峰值及其他測量 | 數值無法判斷情緒與審美 |
match、rank、find | 比較候選檔或找出錄音片段 | 混音中的事件標籤可信度較低 |
timeline、sheet | 時間軸與視覺化檢查 | 仍需核對實際畫面事件 |
critique | 依參考影片風格列出修正 | 內建評分規則不適用所有影片 |
sfx、kit | 合成短音效、輸出帶定位資料的音效組 | 不會自動完成整部影片混音 |
在 earshot 目錄放入 candidate.wav、film.mp4 與 soundtrack.wav 後，可執行下列檢查。檔名代表使用者準備的素材，本文未執行音訊處理。
.venv/bin/python -m earshot measure candidate.wav
.venv/bin/python -m earshot match candidate.wav "a single crisp trackpad click" --alts "a gunshot" "a balloon burst"
.venv/bin/python -m earshot timeline soundtrack.wav --video film.mp4
.venv/bin/python -m earshot sheet soundtrack.wav -o sheet.png --video film.mp4
.venv/bin/python -m earshot critique soundtrack.wav --video film.mp4製作轉場聲可從內建程序式音效開始：
.venv/bin/python -m earshot sfx render whoosh_fast/crisp -o whoosh.wav --dur 0.8 --apex 0.32
.venv/bin/python -m earshot sfx check whoosh.wav
.venv/bin/python -m earshot kit init --preset launch -o audio/kit.json
.venv/bin/python -m earshot kit render audio/kit.json --out audio/kitkit render 輸出音效檔與 kit.lock.json，包含測得的起音、峰值及結尾位置。將這些檔案放入剪輯時間軸；需要完整腳本流程時，再讀取專案附帶的 real-sound 工作流程。
短片聲音設計案例
案例為 8 秒的 AI 生成鏡頭：人物走過石子路，畫面切到產品特寫，再出現標題。以下事件與交付物是製作範例，並非已執行的測試結果。
畫面與事件表
- 鎖定鏡頭長度
- 標記腳步與轉場
- 分開對白與配樂
素材與候選生成
- Openverse 搜尋與授權紀錄
- MMAudio 非商業候選音景
- earshot 短音效
混音與檢查
- 剪輯軟體安排音軌
- earshot 測量與時序檢查
- 人工試聽及輸出
候選聲音經篩選後才進入混音，不必同時使用所有工具。
鎖定畫面剪輯，記錄腳掌落地、轉場與標題出現的時間。保留原始對白及配樂音軌。
用 Openverse 搜尋石子路腳步與環境聲。記錄來源、授權及下載日期，選取與畫面速度相符的片段。
非商業測試可用 MMAudio 產生同鏡頭的候選聲音。固定提示與種子，先確認事件同步，再比較另一個種子的結果。
用 earshot 合成標題提示聲或轉場聲，依音效的起音或峰值對準畫面。將需要的聲音分軌放入剪輯軟體。
輸出
soundtrack.wav，執行 earshot 時間軸與測量檢查。用耳機和一般喇叭試聽；修正穿幫人聲、失真、尾音截斷及過強轉場聲。保存混音、素材清單、生成參數和試聽決策。合成影片後，再看完整輸出，確認原始音軌未重複疊加。
驗收與常見失敗
| 現象 | 檢查方式 | 修正動作 |
|---|---|---|
| 腳步晚於接地畫面 | 對照畫面與音訊起音 | 移動片段或更換候選檔 |
| 有不明人聲或背景音樂 | 分軌試聽生成結果 | 重新生成或改用查證過的錄音 |
| 音效評分高但聽感刺耳 | 比較頻譜、峰值及等音量試聽 | 降低增益、調整頻段或換音效 |
| 每次轉場都過強 | 連續播放完整影片 | 減少重複音效並調整音軌比例 |
| 混音後仍缺少授權紀錄 | 對照素材清單與原始頁面 | 補齊證據或替換素材 |
- 未完成：
每個主要事件的聲音可在時間軸定位，無明顯延遲或重複。
- 未完成：
無非預期人聲、爆音、失真或被截斷的尾音。
- 未完成：
對白可辨識；音樂及效果音不遮蔽主要資訊。
- 未完成：
已依交付平台規格檢查響度與峰值，並試聽最終編碼檔。
- 未完成：
每項錄音、模型及衍生音效的使用權利都有紀錄。
選用建議
商業交付
授權素材加人工混音
先以 Openverse 尋找候選素材並逐項確認權利，再用 earshot 篩選與檢查。MMAudio 的非商業權重不適用一般客戶商業製作。
非商業研究
MMAudio 候選與錄音比較
以相同短鏡頭比較生成音景及有授權的錄音，用事件時序、測量與人工試聽留下選擇依據。
動態設計
earshot 短音效與時序資料
從 sfx 或 kit 建立提示聲與轉場聲，再在時間軸安排音效。以實際畫面核對峰值位置，避免只追求模型分數。