進階功能
自動容錯移轉
當您的主要模型供應商發生停機時,TokSpan 會自動將流量路由至您的備份模型 — 零請求丟棄、零人工介入。
運作方式
TokSpan 即時監控上游供應商健康狀態。當供應商重複返回 5xx 錯誤或超過逾時閾值時,流量將自動重新導向至您容錯移轉鏈中的下一個模型。主供應商恢復後,流量恢復正常路由。
容錯移轉鏈可在儀表板中針對每個模型進行設定 — 無需用戶端自訂標頭或程式碼變更。
在儀表板中設定容錯移轉
- 登入 TokSpan 儀表板,網址為api.tokspan.com/dashboard
- 在側邊欄中前往頻道
- 選擇您想用容錯移轉保護的模型頻道
- 在頻道設定中,找到模型對應或優先順序設定
- 按優先順序新增備份模型 — 清單中第一個可用的模型將提供服務
- 設定觸發容錯移轉的逾時和重試次數閾值
- 儲存頻道設定
建構具韌性的容錯移轉鏈
針對生產工作負載,我們建議採用跨供應商容錯移轉策略:
| 優先順序 | 模型 | 供應商 | 角色 |
|---|---|---|---|
| 1(主要) | GPT-4o | OpenAI | 預設 — 最佳整體品質 |
| 2(備援) | Claude Sonnet 4.6 | Anthropic | 當 OpenAI 故障時啟動 |
| 3(最後手段) | Gemini 2.5 Flash | 預算安全的安全網 |
專業提示:在容錯移轉鏈中務必至少包含一個來自不同供應商的模型。供應商層級的故障是最常見的故障模式。跨供應商鏈(OpenAI → Anthropic → Google)提供最強大的保護。
監控容錯移轉事件
您可以透過以下方式追蹤容錯移轉活動:
- 儀表板日誌 — 按頻道篩選以查看容錯移轉觸發的請求
- Webhooks — 訂閱
system.incident事件以獲取即時容錯移轉通知(請參閱 Webhooks) - 用量分析 — 各模型用量激增表示容錯移轉活動