把全公司的 LLM 調用收斂成一個可治理的入口。

價格排序只是第一層

路由 score 建議同時納入成本、健康度、模型能力、延遲、品質、team budget、資料敏感度與區域限制。

• 估算成本：input/output tokens 乘以當前價格版本。
• 實際成本：回應 usage 寫入帳務表。
• 能力矩陣：tool calling、JSON、vision、context、streaming 必須相容才可 fallback。

Failover 要分類

429、timeout、5xx 可以自動切換；401/403、資料政策違規、上下文過長通常不應盲目重試。

• 非 streaming 請求可以透明 retry。
• streaming 已輸出部分內容後，不建議無聲切 provider。
• 工具調用需 idempotency key，避免重複執行。

價格表要版本化

價格不是欄位而已，它會影響路由決策與財務歸因。每次調整需記錄版本、生效時間、幣別與來源。

• 模型別 input/output/cache/image/audio 分開。
• 可手動輸入，也可未來接 provider pricing sync。
• 報表按 team、project、key、model、provider 聚合。

密鑰不放在普通環境變數

Gateway 同時握有多家上游 API key，建議用 Vault、AWS Secrets Manager、GCP Secret Manager、1Password Secrets Automation 或等效方案。

• least privilege、定期 rotate、分環境 key。
• egress allowlist 只允許上游 endpoint。
• prompt log 預設遮罩或不落地。

觀測要能回答三個問題

誰用了多少錢、哪個 provider 壞了、哪個模型品質或延遲異常。沒有這三個答案，failover 會變成黑箱。

• Prometheus/Grafana：latency、error、circuit state。
• OpenTelemetry：trace request 到上游。
• Loki/ClickHouse/Postgres：審計與用量查詢。

先定義資料等級

把請求分成 public/internal/confidential/restricted。restricted 類別只允許官方企業合約 provider 或 self-hosted endpoint。

• 禁止未審核第三方中轉接收程式碼或客戶資料。
• 公開服務需遵守所在地生成式 AI、稅務、付款、身份與內容安全要求。
• 所有 provider 條款與轉售權限要留檔。

把 gateway 設成 client base URL

讓內部 coding tools 使用公司發的 virtual key 與 base URL。這樣每次使用都有 team、project、budget、audit trail。

隔離式 CLI worker

如果一定要接 CLI auth，應做成明確授權的 user-scoped worker：獨立帳號、獨立機器、無共享密鑰、無生產資料、可完整關閉。

共用個人桌面 token

不要把個人 Codex/Claude Code login cookie 或 token 轉成公司 API 供應商。這通常不可審計、不可控，也可能違反上游條款。

上游供應商

id, name, type, base_url, auth_type, risk_tier, data_policy, enabled

模型通道

provider_id, model_alias, upstream_model, input_price, output_price, latency_p95, priority, health

能力矩陣

supports_tools, supports_json, supports_vision, supports_streaming, context_window, reasoning_mode

路由策略

virtual_model, strategy, constraints, fallback_chain, max_cost, allowed_risk_tiers

用量與帳務

request_id, team_id, api_key_id, tokens_in, tokens_out, cost, provider, error_code

審計事件

actor, action, target, before, after, ip, timestamp。價格與 policy 調整都要可追溯。