Расширенные возможности
Балансировка нагрузки
Распределяйте API-трафик между несколькими моделями и провайдерами для максимальной пропускной способности, минимальной задержки и избежания узких мест — всё настраивается в панели управления.
Стратегии балансировки нагрузки
TokSpan поддерживает несколько стратегий маршрутизации, настраиваемых для каждого канала в Панели управления:
| Стратегия | Как работает | Лучше всего для |
|---|---|---|
| Взвешенный случайный выбор | Распределяет запросы на основе назначенных весов (например, 70% Модель A, 30% Модель B) | Постепенная миграция, A/B-тестирование, оптимизация затрат |
| Приоритетная (фейловер) | Направляет на доступную модель с наивысшим приоритетом; при отказе переходит по цепочке вниз | Надёжность в продакшене, схемы основной/резервный |
| На основе лимитов запросов | Распределяет избыточный трафик при достижении моделью лимита запросов | Высокопроизводительная пакетная обработка |
Настройка балансировки нагрузки в Панели управления
- Войдите в Панель управления TokSpan по адресу api.tokspan.com/dashboard
- Перейдите в раздел Каналы в боковом меню
- Для взвешенного распределения: создайте несколько каналов для одной группы моделей, назначьте разные веса каждому
- Для приоритетного: настройте порядок приоритета моделей в рамках одного канала
- Сохраните конфигурацию — изменения вступают в силу немедленно, перезапуск не требуется
Пример: Взвешенное распределение между провайдерами
Чтобы разделить трафик 60/40 между двумя провайдерами для одного типа модели:
| Канал | Модель | Вес | Доля |
|---|---|---|---|
| Канал A | GPT-4o (OpenAI) | 60 | 60% трафика |
| Канал B | Claude Opus 4.8 (Anthropic) | 40 | 40% трафика |
Пользователи вызывают одно имя модели — TokSpan прозрачно обрабатывает распределение. Изменения на стороне клиента не требуются.
Совет: Начните с распределения 90/10 при тестировании нового провайдера. Постепенно увеличивайте вес по мере роста уверенности в надёжности и качестве ответов.