進階功能

自動容錯移轉

當您的主要模型供應商發生停機時,TokSpan 會自動將流量路由至您的備份模型 — 零請求丟棄、零人工介入。

運作方式

TokSpan 即時監控上游供應商健康狀態。當供應商重複返回 5xx 錯誤或超過逾時閾值時,流量將自動重新導向至您容錯移轉鏈中的下一個模型。主供應商恢復後,流量恢復正常路由。

容錯移轉鏈可在儀表板中針對每個模型進行設定 — 無需用戶端自訂標頭或程式碼變更。

在儀表板中設定容錯移轉

  1. 登入 TokSpan 儀表板,網址為api.tokspan.com/dashboard
  2. 在側邊欄中前往頻道
  3. 選擇您想用容錯移轉保護的模型頻道
  4. 在頻道設定中,找到模型對應優先順序設定
  5. 按優先順序新增備份模型 — 清單中第一個可用的模型將提供服務
  6. 設定觸發容錯移轉的逾時重試次數閾值
  7. 儲存頻道設定

建構具韌性的容錯移轉鏈

針對生產工作負載,我們建議採用跨供應商容錯移轉策略:

優先順序模型供應商角色
1(主要)GPT-4oOpenAI預設 — 最佳整體品質
2(備援)Claude Sonnet 4.6Anthropic當 OpenAI 故障時啟動
3(最後手段)Gemini 2.5 FlashGoogle預算安全的安全網
專業提示:在容錯移轉鏈中務必至少包含一個來自不同供應商的模型。供應商層級的故障是最常見的故障模式。跨供應商鏈(OpenAI → Anthropic → Google)提供最強大的保護。

監控容錯移轉事件

您可以透過以下方式追蹤容錯移轉活動:

  • 儀表板日誌 — 按頻道篩選以查看容錯移轉觸發的請求
  • Webhooks — 訂閱 system.incident 事件以獲取即時容錯移轉通知(請參閱 Webhooks
  • 用量分析 — 各模型用量激增表示容錯移轉活動