Tính Năng Nâng Cao

Tự Động Chuyển Đổi Dự Phòng

Khi nhà cung cấp mô hình chính của bạn gặp thời gian ngừng hoạt động, TokSpan tự động định tuyến lưu lượng đến mô hình dự phòng của bạn — không mất yêu cầu và không cần can thiệp thủ công.

Cách Thức Hoạt Động

TokSpan giám sát tình trạng của nhà cung cấp ngược dòng theo thời gian thực. Khi một nhà cung cấp trả về lỗi 5xx lặp đi lặp lại hoặc vượt quá ngưỡng thời gian chờ, lưu lượng sẽ được tự động chuyển hướng đến mô hình tiếp theo trong chuỗi chuyển đổi dự phòng của bạn. Khi nhà cung cấp chính khôi phục, lưu lượng sẽ trở lại định tuyến bình thường.

Chuỗi chuyển đổi dự phòng được cấu hình cho từng mô hình trong Bảng điều khiển — không cần thay đổi header tùy chỉnh hay code từ phía client.

Cấu Hình Chuyển Đổi Dự Phòng Trong Bảng Điều Khiển

  1. Đăng nhập vào Bảng điều khiển TokSpan tại api.tokspan.com/dashboard
  2. Điều hướng đến Channels trong thanh bên
  3. Chọn kênh mô hình mà bạn muốn bảo vệ bằng chuyển đổi dự phòng
  4. Trong cài đặt kênh, tìm cấu hình Model Mapping hoặc Priority
  5. Thêm (các) mô hình dự phòng theo thứ tự ưu tiên — mô hình khả dụng đầu tiên trong danh sách sẽ phục vụ lưu lượng
  6. Đặt ngưỡng timeout và số lần thử lại để kích hoạt chuyển đổi dự phòng
  7. Lưu cấu hình kênh

Xây Dựng Chuỗi Chuyển Đổi Dự Phòng Đáng Tin Cậy

Đối với khối lượng công việc production, chúng tôi khuyến nghị chiến lược chuyển đổi dự phòng đa nhà cung cấp:

Ưu TiênMô HìnhNhà Cung CấpVai Trò
1 (Chính)GPT-4oOpenAIMặc định — chất lượng tổng thể tốt nhất
2 (Dự Phòng)Claude Sonnet 4.6AnthropicKích hoạt nếu OpenAI gặp sự cố
3 (Phương Án Cuối)Gemini 2.5 FlashGoogleLưới an toàn tiết kiệm chi phí
Mẹo hay: Luôn bao gồm ít nhất một mô hình từ một nhà cung cấp khác trong chuỗi chuyển đổi dự phòng của bạn. Sự cố cấp nhà cung cấp là chế độ lỗi phổ biến nhất. Chuỗi đa nhà cung cấp (OpenAI → Anthropic → Google) cung cấp khả năng bảo vệ mạnh nhất.

Giám Sát Sự Kiện Chuyển Đổi Dự Phòng

Bạn có thể theo dõi hoạt động chuyển đổi dự phòng qua:

  • Nhật ký bảng điều khiển — Lọc theo kênh để xem các yêu cầu được kích hoạt chuyển đổi dự phòng
  • Webhooks — Đăng ký sự kiện system.incident để nhận thông báo chuyển đổi dự phòng thời gian thực (xem Webhooks)
  • Phân tích mức sử dụng — Sự tăng đột biến mức sử dụng theo mô hình cho thấy hoạt động chuyển đổi dự phòng