高度な機能
負荷分散
複数のモデルとプロバイダーにAPIトラフィックを分散し、スループットを最大化し、レイテンシを最小化し、単一プロバイダーのボトルネックを回避します — すべてダッシュボードで設定できます。
負荷分散戦略
TokSpan は複数のルーティング戦略をサポートしており、ダッシュボードでチャネルごとに設定できます：
| 戦略 | 仕組み | 最適な用途 |
|---|---|---|
| 重み付きランダム | 割り当てられた重みに基づいてリクエストを分散します（例：モデル A 70%、モデル B 30%） | 段階的移行、A/B テスト、コスト最適化 |
| 優先度（フェイルオーバー） | 最も優先度の高い利用可能なモデルにルーティングし、チェーンを下位にフォールバックします | 本番環境の耐障害性、プライマリ/バックアップ構成 |
| レート制限ベース | モデルがレート制限に達した場合に超過トラフィックを分散します | 高スループットのバッチ処理 |
ダッシュボードでの負荷分散設定
- TokSpan ダッシュボード（api.tokspan.com/dashboard）にログインします
- サイドバーの Channels に移動します
- 重み付き分散の場合：同じモデルグループに対して複数のチャネルを作成し、それぞれに異なる重みを割り当てます
- 優先度ベースの場合：単一チャネル内でモデルの優先順位を設定します
- 設定を保存します — 変更は即座に反映され、再起動は不要です
例：プロバイダー間の重み付き分散
同じモデルタイプで2つのプロバイダー間でトラフィックを 60/40 に分割するには：
| チャネル | モデル | 重み | シェア |
|---|---|---|---|
| チャネル A | GPT-4o (OpenAI) | 60 | トラフィックの 60% |
| チャネル B | Claude Opus 4.8 (Anthropic) | 40 | トラフィックの 40% |
ユーザーは1つのモデル名を呼び出すだけです — TokSpan が透過的に分散を処理します。クライアント側の変更は不要です。
プロのヒント：新しいプロバイダーをテストする際は、90/10 の分割から始めてください。信頼性と応答品質に自信が持てるようになったら、徐々に重みを増やしてください。