Tính Năng Nâng Cao
Cân Bằng Tải
Phân phối lưu lượng API trên nhiều mô hình và nhà cung cấp để tối đa hóa thông lượng, giảm thiểu độ trễ và tránh tắc nghẽn — tất cả được cấu hình trong Bảng điều khiển.
Chiến Lược Cân Bằng Tải
TokSpan hỗ trợ nhiều chiến lược định tuyến, có thể cấu hình cho từng kênh trong Bảng điều khiển:
| Chiến Lược | Cách Thức Hoạt Động | Phù Hợp Nhất Cho |
|---|---|---|
| Ngẫu Nhiên Có Trọng Số | Phân phối yêu cầu dựa trên trọng số được gán (ví dụ: 70% Mô hình A, 30% Mô hình B) | Di chuyển dần dần, A/B testing, tối ưu chi phí |
| Ưu Tiên (Chuyển Đổi Dự Phòng) | Định tuyến đến mô hình khả dụng có ưu tiên cao nhất; lùi dần xuống chuỗi | Độ ổn định production, thiết lập chính/dự phòng |
| Dựa Trên Giới Hạn Tốc Độ | Phân phối lưu lượng tràn khi một mô hình đạt giới hạn tốc độ | Xử lý hàng loạt thông lượng cao |
Cấu Hình Cân Bằng Tải Trong Bảng Điều Khiển
- Đăng nhập vào Bảng điều khiển TokSpan tại api.tokspan.com/dashboard
- Điều hướng đến Channels trong thanh bên
- Đối với phân phối có trọng số: tạo nhiều kênh cho cùng một nhóm mô hình, gán trọng số khác nhau cho mỗi kênh
- Đối với dựa trên ưu tiên: cấu hình thứ tự ưu tiên mô hình trong một kênh duy nhất
- Lưu cấu hình — thay đổi có hiệu lực ngay lập tức, không cần khởi động lại
Ví Dụ: Phân Phối Có Trọng Số Giữa Các Nhà Cung Cấp
Để chia lưu lượng 60/40 giữa hai nhà cung cấp cho cùng một loại mô hình:
| Kênh | Mô Hình | Trọng Số | Tỷ Lệ |
|---|---|---|---|
| Kênh A | GPT-4o (OpenAI) | 60 | 60% lưu lượng |
| Kênh B | Claude Opus 4.8 (Anthropic) | 40 | 40% lưu lượng |
Người dùng gọi một tên mô hình — TokSpan xử lý phân phối một cách minh bạch. Không cần thay đổi phía client.
Mẹo hay: Bắt đầu với tỷ lệ 90/10 khi thử nghiệm nhà cung cấp mới. Tăng dần trọng số khi bạn có thêm niềm tin vào độ tin cậy và chất lượng phản hồi.