Định Tuyến Tùy Chỉnh

Cách Thức Định Tuyến Trong TokSpan

TokSpan sử dụng mô hình định tuyến dựa trên kênh. Mỗi kênh ánh xạ một tên mô hình (những gì ứng dụng của bạn gọi) đến một nhà cung cấp và mô hình ngược dòng cụ thể (những gì thực tế xử lý yêu cầu). Bằng cách cấu hình kênh một cách chiến lược, bạn xây dựng logic định tuyến linh hoạt mà không cần thay đổi code ứng dụng.

Cấu Hình Định Tuyến Trong Bảng Điều Khiển

1. Đăng nhập vào Bảng điều khiển TokSpan tại api.tokspan.com/dashboard
2. Điều hướng đến Channels trong thanh bên
3. Tạo hoặc chỉnh sửa kênh để định nghĩa ánh xạ mô hình
4. Đặt tên mô hình (hiển thị cho người dùng của bạn) và nhà cung cấp/mô hình ngược dòng (backend thực tế)
5. Cấu hình trọng số, ưu tiên và giới hạn tốc độ cho từng kênh
6. Sử dụng Nhóm Mô Hình để gộp các mô hình liên quan dưới một tên hiển thị cho người dùng

Các Mẫu Định Tuyến Phổ Biến

Định Tuyến Tối Ưu Chi Phí

Ánh xạ một tên mô hình chung như gpt-4o đến nhà cung cấp rẻ nhất hiện đang cung cấp mô hình đó. Tạo các kênh với các nhà cung cấp khác nhau nhưng cùng tên hiển thị, mỗi kênh có trọng số phù hợp.

Định Tuyến Theo Nhóm Người Dùng

Tạo các khóa API riêng biệt cho các gói người dùng khác nhau và giới hạn mỗi khóa trong các nhóm mô hình cụ thể:

• Khóa gói miễn phí → Giới hạn trong các mô hình tiết kiệm chi phí (GPT-4o-mini, Gemini 2.5 Flash, DeepSeek V3)
• Khóa gói Pro → Truy cập các mô hình cao cấp (GPT-4o, Claude Opus, Gemini 2.5 Pro)
• Khóa Enterprise → Toàn bộ danh mục mô hình với giới hạn tốc độ tùy chỉnh

Định Tuyến Theo Khả Năng

Cấu hình các nhóm mô hình riêng biệt cho các loại công việc khác nhau — nhà phát triển của bạn gọi tên mô hình mô tả và nhận backend tối ưu:

• coding-assistant → Định tuyến đến Claude Opus / GPT-4o / DeepSeek V3 (mô hình tối ưu cho code)
• content-writer → Định tuyến đến Claude Sonnet / GPT-4o / Gemini Pro (cân bằng chất lượng & tốc độ)
• data-analyst → Định tuyến đến các mô hình có cửa sổ ngữ cảnh lớn nhất trong nhóm nhà cung cấp của bạn