第五把 API key 剛好撞上速率限制。生產環境掛了。你的 #incidents Slack 頻道有 47 則未讀訊息——其中三則是 CEO 傳的。有個開發者正在手動把流量轉到備援模型。另一個正在重新整理 OpenAI 的狀態頁面。第三個在算升級到 Tier 5 跟換供應商哪個比較便宜，而且算錯了。
這就是 LLM 基礎設施有機成長之後會發生的事——一次一把 API key、一次一個 .env 檔——直到某天它不再成長，直接壞掉。而最氣人的是：這件事本來可以預期。光是 2026 年 6 月，市場就推出了 121 個 API Gateway 產品。工具都在。問題是你要在下次事故發生前選對哪一個，因為選錯就代表六個月後要把整個 LLM 基礎設施遷移一次。
這份比較涵蓋最重要的四個平台——OpenRouter、LiteLLM、Portkey、TokSpan——用六個決定 Gateway 能不能撐過第一次生產事故的維度來評分。
你會得到的是：一套把真正重要的事從行銷話術中分離出來的 6 維度評分框架、一份每個平台優缺點都誠實交代的逐平台分析、每項評分都有證據的比較表、每 1 億 token 的 TCO 估算、以及一套把你的團隊類型對應到正確 Gateway 的決策框架。
什麼是 AI API Gateway——2026 年為什麼重要
AI API Gateway 位於你的應用程式與 LLM 供應商之間。你的 App 把請求送到一個端點。其他全部由 Gateway 處理。
Gateway 之前：五家供應商的 API key 散落在三個 repo 的 .env 檔裡。每家供應商各管各的帳單，最低押金和續約日期都不一樣。沒有自動故障轉移——OpenAI 一掛，你的使用者就看到錯誤。
速率限制由記得去看儀表板的人逐家管理。成本追蹤靠的是週五有人更新的試算表。
Gateway 之後：一個端點。一組憑證。切換模型時，你的應用程式碼完全不用改。
帳單整合成單一預付餘額。自動故障轉移在毫秒內繞過供應商故障。
速率限制在 Gateway 層管理，有分團隊的預算和模型 allowlist。成本追蹤即時、逐請求、逐使用者，橫跨所有供應商。
比較 Gateway 時，你評估的是決定平台能不能撐過第一次生產事故的四項技術能力。 協定轉換——Gateway 是原生講 OpenAI、Anthropic、Gemini，還是所有流量來回都經過一個 OpenAI 相容的轉換層、剝掉 Claude 的 extended thinking 這類供應商專屬功能？金鑰治理——你能不能發行帶分團隊預算、模型 allowlist、稽核軌跡的 virtual key，還是每個開發者共用一把 root key？可觀測性——你能不能在同一個儀表板裡拿到橫跨所有供應商的成本、延遲、錯誤歸因，還是要把五個供應商控制台跟一張試算表拼起來？韌性——Gateway 會不會用指數退避重試、替每家供應商維持 circuit breaker、在一家供應商劣化時自動故障轉移？四個都是「是」是基本門檻。這份比較裡的四個平台，差別就在各自怎麼實作每一項。
什麼時候需要：你的團隊有超過一位開發者在使用 LLM。你用了超過一家供應商的模型。你需要知道誰花了多少錢。
你不能讓「model 不可用」變成使用者看到的錯誤。換句話說：任何在建生產應用的團隊。
什麼時候不需要：你是一個人在做原型，只從一家供應商用一個模型。直接 API 存取就夠了。等你第二位同事加入、或加了第二家供應商——哪個先到——再裝 Gateway。
想了解讓多供應商架構在生產環境跑起來的架構模式，請見我們的單一 App 使用多個 AI 模型指南。
6 維度評分框架
Gateway 行銷都主打模型數量。模型數量是最不重要的維度。生產環境裡真正重要的是這些。
| 評估面向 | 衡量什麼 | 為何重要 |
|---|---|---|
| 協定支援 | 是否原生支援 OpenAI、Anthropic、Gemini？ | Claude 的 extended thinking 在 OpenAI 相容的轉換下無法保留下來。只支援 OpenAI 的 Gateway 會失去 Claude 最好的功能。 |
| 快取與效能 | 語意快取、提示詞快取的穿透、延遲開銷 | 3 秒的 LLM 呼叫加上 50ms 的 Gateway 開銷無關緊要。500ms 的開銷就很明顯。快取命中率決定你的有效成本。 |
| 治理與安全 | 虛擬金鑰、單一金鑰預算、模型 allowlist、稽核日誌、SSO | 這正是「我們清楚知道 API 支出」與「上週末有人燒掉了 5,000 美元、我們卻不知道是誰」之間的差別。 |
| 定價模式 | 每 token 加價、固定訂閱、依用量計費的比較 | 每 token 加價會隨規模放大而累積。固定定價會隨著成長越來越便宜。要清楚自己屬於哪一種模式。 |
| 生態系與文件 | SDK 支援、整合廣度、文件品質、社群 | 如果團隊不閱讀原始碼就無法設定重試邏輯，那麼最好的 Gateway 也一文不值。 |
| 企業就緒度 | SOC 2、HIPAA、VPC 部署、資料落地、SLA | 對受規範產業而言沒有商量餘地。對原型階段的新創而言無關緊要。沒有任何單一分數適用於所有團隊。 |
每個平台每個維度評 1–5 分。這些分數反映的是生產級需求——不是行銷功能清單。
3 分代表「能用，但有但書」。5 分代表「同級最強，沒有實質限制」。
逐平台分析
OpenRouter
口號：「400+ 個模型、一把 API key、零維運。」
OpenRouter 是探索多模型存取的開發者預設入口。註冊、拿 key、改 base_url——OpenRouter 快速開始會帶你走一遍——就能透過單一 OpenAI 相容端點用到所有主要模型。
免費方案包含 35+ 個模型。BYOK（bring your own key）支援表示你可以用自己的供應商帳號、流量經由 OpenRouter 路由。
核心強項：所有平台裡首次呼叫最快的。模型目錄真的很廣——只要某個模型有 API，OpenRouter 幾乎都支援。
按用量付費的額度制代表沒有前期承諾。免費方案慷慨到足以做真正的原型開發。
關鍵限制：只有託管——不能自架、不能 VPC 部署、沒有 air-gapped 選項。沒有 Anthropic 協定的原生支援——Claude 模型走 OpenAI 相容轉換，會剝掉 thinking block、劣化 tool-use 效能。沒有內聯護欄——請求路徑裡沒有 PII 去識別化、沒有 prompt-injection 攔截。
開發者級的治理——只有 API key 層級的範圍，沒有使用者歸因的稽核軌跡。買額度抽 5.5% 手續費（最低 $0.80），規模一大就累積：每月 $10,000 的 API 支出，等於每月付 $550 給 OpenRouter。這是專用伺服器上自架一台 LiteLLM 的成本。
最適合：需要快速嘗試很多模型的個人開發者與小團隊。從「我想試 Claude Opus」到「我拿到回應了」的最快路徑。不適合受規範的生產負載。
評分：Protocol 2 | Caching 3 | Governance 2 | Pricing 3 | Ecosystem 4 | Enterprise 1
LiteLLM
口號：「MIT 開源。100+ 供應商。一切由你掌控。」
LiteLLM 是事實上的開源 LLM 代理。它是你部署在自己基礎設施上的 Python 伺服器——Docker、Kubernetes 或裸機。它提供一個 OpenAI 相容端點，路由到 100+ 供應商。
開源版包含 virtual key、分團隊預算、支出追蹤、語意快取、帶 fallback 的重試、以及 MCP Gateway——很多託管平台要收錢的功能。
核心強項：完全掌控。你的 prompt 永遠不會離開你的基礎設施。帶分使用者預算與模型 allowlist 的 virtual key 免費且開源——沒有被關在企業版後面。
LiteLLM 專案有 53K+ GitHub 星星、支援 100+ 供應商。語意快取在 OSS 免費。
MCP Gateway 支援表示你的 MCP server 可以透過 LiteLLM 配任何模型用。Python 原生——如果你的團隊已經用 Python，整合是輕而易舉。
關鍵限制：只有 Python/Uvicorn 執行環境——如果你的基礎設施跑 Go 或 Node，等於在技術棧裡多加一個 Python 服務。關鍵功能（預算、virtual key、支出追蹤）需要 PostgreSQL——文件有寫，但第一次設定很容易漏掉。沒有像樣的使用者介面——設定靠 YAML 和環境變數，DevOps 團隊覺得沒差，但不太懂技術的人會很挫折。
沒有託管 VPC 產品——不想要自架卻又想要 LiteLLM 好處的話，需要第三方託管服務。授權是 BSL 1.1，不是純 Apache 2.0——開源版有在極大規模下會產生影響的使用限制。
最適合：有 DevOps 能力的 Python-first 團隊，想要完全掌控、零 per-token 加價。OSS 的功能集真的很慷慨——一分錢都不用付軟體費就能跑生產級 Gateway。你付的是基礎設施，中規模（每月 <1 億 token）時專用伺服器約 $50–200/月。
評分：Protocol 3 | Caching 5 | Governance 4 | Pricing 5 | Ecosystem 3 | Enterprise 3
Portkey
口號：「1,600+ 個模型、20+ 個護欄、企業治理。」
Portkey 是功能最豐富的託管 Gateway。模型目錄業界最廣——250+ 家供應商的 1,600+ 個模型變體。
護欄函式庫有 20+ 個預建內容過濾器、PII 去識別化、prompt-injection 偵測。治理層提供帶每把 key 預算、速率限制、模型 allowlist、使用者歸因稽核軌跡的 virtual key。
核心強項：廣度。只要模型存在，Portkey 就支援。護欄函式庫是所有託管 Gateway 裡最完整的。
Apache 2.0 開源 Gateway 表示你可以自架核心路由層、同時用託管控制平面做治理——其他平台都沒有這種混合模式。可觀測性儀表板開箱就提供逐請求的成本、延遲、錯誤追蹤。
關鍵限制：最好的功能都要付費。SSO、VPC 部署、語意快取、細粒度 RBAC 全都只有企業版——定價客製、通常月費 $500 起跳。prompt 評估深度比專業的 eval 平台淺。
控制平面是閉源的——如果 Portkey 掛了，你的 Gateway 還是會繼續路由流量（因為 data plane 是開源），但復原之前你會失去設定管理與可觀測性。
最適合：需要企業治理功能（SSO、RBAC、稽核軌跡）且想要市面上最廣模型目錄的團隊。對需要在 Gateway 層做內容護欄的組織尤其強——20+ 個預建過濾器大幅減少你要自己寫的客製 middleware。
評分：Protocol 3 | Caching 4 | Governance 5 | Pricing 2 | Ecosystem 5 | Enterprise 5
TokSpan
口號：「原生多協定。全球存取。為你所在的地方而生。」
TokSpan 是為另外三個平台沒完全解決的具體問題而建：需要 OpenAI、Anthropic 和 Gemini 原生協定支援——而且需要全球化團隊的統一帳務與彈性付款選項。平台提供原生協定穿透，Claude 的 extended thinking、tool use、computer use 都不會因為轉換而損失。全球網路針對離 US-West Gateway 延遲高的地區做了低延遲最佳化。
差異點：Anthropic 協定原生支援——把 ANTHROPIC_BASE_URL 設成 TokSpan，Claude Code、Cursor 和其他 Anthropic 原生工具不用任何繞道就能用。區域網路最佳化——亞洲、歐洲、美洲的基礎設施節點降低 US-West 以外開發者的延遲。
彈性付款選項——信用卡、PayPal 等——加上基於量的定價、零 per-token 加價。
限制：比另外三個新的平台——第三方整合較少、社群較小。模型數比 OpenRouter 和 Portkey 少（重質不重量——開發者在生產環境真正在用的模型）。企業功能還在成熟中。
最適合：依賴 Claude 生態系工具、需要 Anthropic 協定原生支援的團隊。需要彈性付款選項與多區域可用性的開發者。想要一個有彈性付款選項、全球網路涵蓋、又不用 per-token 加價的託管平台的團隊。
評分：Protocol 5 | Caching 4 | Governance 4 | Pricing 4 | Ecosystem 3 | Enterprise 3
正面對決（截至 2026 年 7 月）
| 評估面向 | OpenRouter | LiteLLM | Portkey | TokSpan |
|---|---|---|---|---|
| 協定支援 | 2 | 3 | 3 | 5 |
| 快取與效能 | 3 | 5 | 4 | 4 |
| 治理與安全 | 2 | 4 | 5 | 4 |
| 定價模式 | 3 | 5 | 2 | 4 |
| 生態系與文件 | 4 | 3 | 5 | 3 |
| 企業就緒度 | 1 | 3 | 5 | 3 |
| 總分（未加權） | 2.5 | 3.8 | 4.0 | 3.8 |
這些分數怎麼讀：它們不加權，因為哪個維度重要取決於你的處境。新創不在乎企業就緒度——在乎的是定價模式和協定支援。醫療公司把企業就緒度和治理擺在一切之上。
把分數當起點，不要當最終答案。
每 1 億 token 每月的 TCO 比較——典型的中期 SaaS 用量：
| 平台 | 推論成本 | 平台手續費 | 基礎設施 | 每月總計 |
|---|---|---|---|---|
| OpenRouter | ~$2,000 | ~$110 (5.5%) | $0 | ~$2,110 |
| LiteLLM (self-hosted) | ~$2,000 | $0 | ~$150 | ~$2,150 |
| Portkey (Pro) | ~$2,000 | $99+ | $0 | ~$2,099+ |
| TokSpan | ~$1,800* | $0 加價 | $0 | ~$1,800 |
*包含按量談判的供應商費率。
到了這個規模，平台手續費不會主導總額。更重要的反而是：可靠度（Gateway 撐得住嗎？）、協定支援（你的 Claude 功能能動嗎？）、維運開銷（團隊每月花幾小時管理 Gateway？）。這些成本隱藏但真實——自架 LiteLLM 每月省 $110 手續費，但要花 4–8 小時/月的 DevOps 時間。
要看每一家主要供應商的逐模型成本拆解，請見我們的2026 LLM API 價格比較。
延遲開銷——量測的代理處理時間，不含 LLM 推論：
| 平台 | 中位數 | p95 |
|---|---|---|
| OpenRouter | 180ms | 450ms |
| LiteLLM (self-hosted) | 15ms | 45ms |
| Portkey | 90ms | 220ms |
| TokSpan | 65ms | 160ms |
自架 LiteLLM 的開銷可忽略，因為它跑在你的基礎設施上。TokSpan 的區域網路最佳化表現在 p95 數字上——US-West 以外的開發者看到較低的尾部延遲。
決策框架
依團隊類型：
-
一個人做原型的個人開發者：OpenRouter。最快上手，免費方案夠實驗，沒有要管理的基礎設施。進生產環境再換別的。
-
有 DevOps 能力的 Python 團隊：LiteLLM。完全掌控、零 per-token 加價、OSS 就有 virtual key 和預算。你在用 DevOps 時間換平台手續費——中規模下划得來。
-
法遵導向的組織：Portkey。最強的治理功能、最廣的護欄函式庫、企業法遵認證。稽核需求沒得商量時，企業定價值得。
-
全球化團隊：TokSpan。Anthropic 協定原生支援、區域網路最佳化、統一帳務。就是為另外三個平台沒完全解決的問題而生的。
依主要需求：
- 最廣的模型目錄——Portkey（1,600+ 變體）
- 最低總成本——LiteLLM（無加價，基礎設施自己控）
- 最快的首次呼叫——OpenRouter（註冊、拿 key、開跑）
- 最好的 Claude／原生協定支援——TokSpan（Anthropic 原生穿透）
- 最好的企業治理——Portkey（SSO、RBAC、稽核、護欄）
- 全球覆蓋的最佳選擇——TokSpan（全球網路＋彈性付款）
對的 Gateway 不是分數最高的那個。是解決你實際問題的那個。如果你每月花 8 小時管理供應商儀表板，這四個任何一個都會在第一週內靠省回的開發者時間回本。
選好 Gateway 之後，客製路由規則讓你能定義哪些模型處理哪些類型的請求——這是生產多模型架構的核心能力。
常見問題
API Gateway 和 API 代理有什麼差別？
Gateway 做協定轉換＋治理＋可觀測性＋韌性。簡單的代理只轉發請求。Gateway 是生產基礎設施。
代理是開發工具。如果你需要分使用者預算、模型 allowlist 或稽核日誌，你需要的是 Gateway。
OpenRouter 生產環境安全嗎？
非受規範的工作負載，安全。它缺 SOC 2、HIPAA、VPC 部署和內聯護欄——醫療、金融、企業法遵都不合格。這些場合請用帶相應認證的自架 LiteLLM 或託管 Portkey／TokSpan。
Gateway 會加多少延遲？
託管 Gateway：中位數 50–200ms、p95 150–250ms。自架 LiteLLM：中位數 10–20ms。對典型的 2–3 秒 LLM 回應，延遲影響是 2–10%。
多數應用裡，使用者不會發現。在即時語音或聊天中，15ms 和 200ms 開銷的差別很有感——自架，或選有區域最佳化的平台。
之後可以換 Gateway 嗎？
可以，如果你用 OpenAI SDK 寫法建構——改 base_url 就好。如果你在用 Anthropic 協定的原生功能（Claude Code、Anthropic-native 的 Cursor），遷移前先確認目標 Gateway 支援它們。協定鎖定才是真正的遷移風險，不是廠商鎖定。
我還是需要各家供應商帳號嗎？
OpenRouter 或 TokSpan 不需要——它們不用你自備供應商帳號就提供模型存取。LiteLLM 和 Portkey 要你自備供應商金鑰，但透過單一代理統一管理。
取捨：免帳號平台上手快。自備金鑰平台給你與供應商的直接關係、以及談企業折扣的籌碼。
光是 2026 年 6 月就有 121 個 Gateway 產品上線。OpenRouter 有目錄廣度。LiteLLM 有 OSS 社群和每 token 零加價的經濟學。
Portkey 有企業治理和 1,600 模型目錄。TokSpan 有 Claude Code 與 Cursor 使用者倚賴的原生協定故事。每一家都在同一個市場裡吃到不同的一塊。
但 Gateway 市場撐不住 121 個競爭者——大概連十幾個都撐不住。整併的浪還沒開始。
浪來的時候，誰吃掉誰？又有哪些開發者會在某個沒料到的遷移期限前醒來？
找到你的 Gateway——6 維度評分、TCO 計算器、以及依照你的團隊類型設計的決策指南。