Funciones Avanzadas
Balanceo de Carga
Distribuye el tráfico de API entre múltiples modelos y proveedores para maximizar el rendimiento, minimizar la latencia y evitar cuellos de botella — todo configurado en el Panel.
Estrategias de Balanceo de Carga
TokSpan admite múltiples estrategias de enrutamiento, configurables por canal en el Panel:
| Estrategia | Cómo Funciona | Ideal Para |
|---|---|---|
| Aleatorio Ponderado | Distribuye solicitudes según pesos asignados (ej., 70% Modelo A, 30% Modelo B) | Migraciones graduales, pruebas A/B, optimización de costos |
| Prioridad (Conmutación) | Enruta al modelo disponible de mayor prioridad; retrocede en la cadena | Resiliencia en producción, configuraciones primario/respaldo |
| Basado en Límite de Tasa | Distribuye el tráfico excedente cuando un modelo alcanza su límite de tasa | Procesamiento por lotes de alto rendimiento |
Configurando el Balanceo de Carga en el Panel
- Inicie sesión en el Panel de TokSpan en api.tokspan.com/dashboard
- Navegue a Canales en la barra lateral
- Para distribución ponderada: cree múltiples canales para el mismo grupo de modelos, asigne diferentes pesos a cada uno
- Para basado en prioridad: configure el orden de prioridad de modelos dentro de un solo canal
- Guarde la configuración — los cambios surten efecto inmediatamente sin necesidad de reiniciar
Ejemplo: Distribución Ponderada entre Proveedores
Para dividir el tráfico 60/40 entre dos proveedores para el mismo tipo de modelo:
| Canal | Modelo | Peso | Proporción |
|---|---|---|---|
| Canal A | GPT-4o (OpenAI) | 60 | 60% del tráfico |
| Canal B | Claude Opus 4.8 (Anthropic) | 40 | 40% del tráfico |
Los usuarios llaman un solo nombre de modelo — TokSpan maneja la distribución de forma transparente. No se necesitan cambios del lado del cliente.
Consejo profesional: Comience con una división 90/10 al probar un nuevo proveedor. Aumente gradualmente el peso a medida que gane confianza en la fiabilidad y calidad de respuesta.