進階功能

自訂路由

使用通道層級路由規則控制每筆請求由哪個底層模型提供服務 — 在儀表板中設定，對您的應用程式程式碼完全透明。

TokSpan 路由運作方式

TokSpan 使用基於頻道的路由模型。每個頻道將模型名稱（您的應用程式呼叫的名稱）對應到特定的上游供應商和模型（實際處理請求的後端）。透過策略性設定頻道，您無需修改應用程式程式碼即可建立靈活的路由邏輯。

在儀表板中設定路由

  1. 登入 TokSpan 儀表板，網址為api.tokspan.com/dashboard
  2. 在側邊欄中前往頻道
  3. 建立或編輯頻道以定義模型對應
  4. 設定模型名稱（對使用者公開）和上游供應商/模型（實際後端）
  5. 為每個頻道設定權重、優先順序和速率限制
  6. 使用模型群組將相關模型整合到一個面向使用者的名稱下

常見路由模式

成本最佳化路由

將 gpt-4o 等通用模型名稱對應到目前提供該模型的最便宜供應商。建立具有不同供應商但相同面向使用者名稱的頻道，每個頻道設定適當權重。

使用者群組路由

為不同使用者層級建立獨立的 API 金鑰，並將每個金鑰限定到特定模型群組：

  • 免費層級金鑰 → 限定至成本效益模型（GPT-4o-mini、Gemini 2.5 Flash、DeepSeek V3）
  • 專業層級金鑰 → 可存取高階模型（GPT-4o、Claude Opus、Gemini 2.5 Pro）
  • 企業金鑰 → 完整模型目錄及自訂速率限制

基於能力的路由

為不同工作負載設定獨立的模型群組 — 您的開發人員呼叫描述性模型名稱即可獲得最佳後端：

  • coding-assistant → 路由至 Claude Opus / GPT-4o / DeepSeek V3（程式碼最佳化模型）
  • content-writer → 路由至 Claude Sonnet / GPT-4o / Gemini Pro（品質與速度平衡）
  • data-analyst → 路由至供應商池中擁有最大上下文視窗的模型
金鑰範圍限定是使用者層級路由的主要機制。請參閱認證 — 金鑰範圍限定了解詳細設定步驟。