Расширенные возможности

Пользовательская маршрутизация

Управляйте тем, какая базовая модель обслуживает каждый запрос, используя правила маршрутизации на уровне каналов — настраивается в панели управления, прозрачно для вашего кода.

Как работает маршрутизация в TokSpan

TokSpan использует модель маршрутизации на основе каналов. Каждый канал сопоставляет имя модели (то, что вызывает ваше приложение) с конкретным upstream-провайдером и моделью (то, что фактически обрабатывает запрос). Стратегически настраивая каналы, вы строите гибкую логику маршрутизации, не изменяя код приложения.

Настройка маршрутизации в Панели управления

  1. Войдите в Панель управления TokSpan по адресу api.tokspan.com/dashboard
  2. Перейдите в раздел Каналы в боковом меню
  3. Создайте или отредактируйте канал для определения сопоставления моделей
  4. Задайте имя модели (доступное вашим пользователям) и upstream-провайдера/модель (фактический бэкенд)
  5. Настройте вес, приоритет и лимиты запросов для каждого канала
  6. Используйте Группы моделей для объединения связанных моделей под одним пользовательским именем

Типовые схемы маршрутизации

Маршрутизация с оптимизацией стоимости

Сопоставьте общее имя модели, например gpt-4o, с самым дешёвым провайдером, предлагающим её в данный момент. Создайте каналы с разными провайдерами, но одинаковым пользовательским именем, каждый с соответствующим весом.

Маршрутизация по группам пользователей

Создайте отдельные ключи API для разных пользовательских тарифов и ограничьте каждый ключ определёнными группами моделей:

  • Ключи бесплатного тарифа → Ограничены экономичными моделями (GPT-4o-mini, Gemini 2.5 Flash, DeepSeek V3)
  • Ключи Pro-тарифа → Доступ к премиум-моделям (GPT-4o, Claude Opus, Gemini 2.5 Pro)
  • Корпоративные ключи → Полный каталог моделей с настраиваемыми лимитами запросов

Маршрутизация по возможностям

Настройте отдельные группы моделей для разных рабочих нагрузок — ваши разработчики используют описательные имена моделей и получают оптимальный бэкенд:

  • coding-assistant → Направляется на Claude Opus / GPT-4o / DeepSeek V3 (оптимизированные для кода модели)
  • content-writer → Направляется на Claude Sonnet / GPT-4o / Gemini Pro (сбалансированное качество и скорость)
  • data-analyst → Направляется на модели с наибольшими контекстными окнами в вашем пуле провайдеров
Ограничение ключей — основной механизм маршрутизации по пользовательским тарифам. См. Аутентификация — Ограничение ключей для подробных шагов настройки.