Расширенные возможности

Автоматическое переключение

Когда ваш основной провайдер моделей испытывает простой, TokSpan автоматически направляет трафик на вашу резервную модель — без потери запросов и без ручного вмешательства.

Как это работает

TokSpan отслеживает состояние upstream-провайдеров в реальном времени. Когда провайдер возвращает повторяющиеся ошибки 5xx или превышает порог тайм-аута, трафик автоматически перенаправляется на следующую модель в вашей цепочке фейловера. Как только основной провайдер восстанавливается, трафик возвращается к нормальной маршрутизации.

Цепочка фейловера настраивается для каждой модели в Панели управления — никаких пользовательских заголовков или изменений кода на стороне клиента не требуется.

Настройка фейловера в Панели управления

  1. Войдите в Панель управления TokSpan по адресу api.tokspan.com/dashboard
  2. Перейдите в раздел Каналы в боковом меню
  3. Выберите канал модели, который хотите защитить фейловером
  4. В настройках канала найдите конфигурацию Сопоставление моделей или Приоритет
  5. Добавьте резервные модели в порядке приоритета — первая доступная модель в списке будет обслуживать трафик
  6. Установите пороги тайм-аута и количества повторных попыток, которые запускают фейловер
  7. Сохраните конфигурацию канала

Построение надёжной цепочки фейловера

Для продакшен-нагрузок мы рекомендуем стратегию фейловера между разными провайдерами:

ПриоритетМодельПровайдерРоль
1 (Основной)GPT-4oOpenAIПо умолчанию — лучшее общее качество
2 (Резервный)Claude Sonnet 4.6AnthropicАктивируется при недоступности OpenAI
3 (Последний резерв)Gemini 2.5 FlashGoogleБюджетно-безопасная страховка
Совет: Всегда включайте хотя бы одну модель от другого провайдера в цепочку фейловера. Отказы на уровне провайдера — наиболее частый вид сбоев. Цепочка между провайдерами (OpenAI → Anthropic → Google) обеспечивает самую надёжную защиту.

Мониторинг событий фейловера

Вы можете отслеживать активность фейловера через:

  • Журналы панели управления — Фильтруйте по каналу, чтобы видеть запросы, вызвавшие фейловер
  • Webhooks — Подпишитесь на события system.incident для уведомлений о фейловере в реальном времени (см. Webhooks)
  • Аналитика использования — Всплески использования отдельных моделей указывают на активность фейловера