Bạn nạp toàn bộ hợp đồng 800 trang vào model. Nó trả lời — và hóa đơn cho một câu hỏi đó còn cao hơn toàn bộ chi tiêu API của bạn tháng trước. Model đã “xử lý” cửa sổ ngữ cảnh. Ngân sách của bạn thì không.
Ngữ cảnh dài là năng lực được thổi phồng nhất trong stack LLM, và sự thổi phồng đó đã tạo ra một cuộc tranh luận — “RAG chết rồi sao?” — gần như hoàn toàn đặt sai vấn đề. Cửa sổ 1M token là có thật: Gemini phát hành cửa sổ cấp 2M, Claude phát hành 1M, Kimi K3 của Moonshot ra mắt với 1M vào tháng 7 năm 2026, DeepSeek V4 Pro mang 1M ngữ cảnh với 384K đầu ra. Nhưng vật lý thì không đổi: token tốn tiền, attention suy giảm theo khoảng cách, và “tôi có nhét được không” chưa bao giờ là câu hỏi giống với “tôi có nên không”.
Hướng dẫn này bao quát phần mà cuộc tranh luận bỏ qua: phép tính chi phí (full context so với caching so với RAG), các mô hình workflow giúp cửa sổ 1M token dùng được (map-reduce, compaction, sliding window, layered context), và khung quyết định ngữ cảnh-dài-so-với-RAG chấm dứt cuộc tranh cãi bằng con số thay vì cảm tính.
API ngữ cảnh dài mang lại gì trong năm 2026
Điểm chính: cửa sổ 1M giờ đã là chuẩn trên toàn tuyến đầu — và yếu tố tạo khác biệt là chi phí, hành vi cache và chất lượng attention, không phải kích thước cửa sổ.
Đội hình 2026: cửa sổ cấp 2M của Gemini, 1M GA của Claude, 1M của Kimi K3 (model flagship mở đã thiết lập lại kỳ vọng về cả ngữ cảnh lẫn giá), DeepSeek V4 Pro với 1M ngữ cảnh, và các gia đình cấp GPT từ 400K trở lên. Danh mục model theo dõi giới hạn hiện tại theo từng nhà cung cấp qua một endpoint hợp nhất.
Ba điều mà kích thước cửa sổ không cho bạn biết:
- Chi phí mỗi token ở cửa sổ đầy đủ. Một đầu vào 1M token ở mức giá tuyến đầu là tiền thật cho mỗi câu hỏi — con số chính xác phụ thuộc nhà cung cấp và tầng giá, và đó chính là nội dung của Phần 3.
- Giá cache. Hầu hết nhà cung cấp giảm giá token đầu vào được cache xuống khoảng một phần mười giá gốc — quy ước cache được ghi nhận rộng khắp ngành — điều này thay đổi hoàn toàn kinh tế chi phí của các khối lượng công việc ngữ cảnh dài lặp lại.
- Chất lượng attention ở độ sâu. “Cửa sổ là 1M” nghĩa là model chấp nhận 1M; không có nghĩa nó dùng 1M một cách đồng đều. Suy giảm kiểu retrieval ở độ sâu là có thật, và đó là lý do kỹ thuật khiến các mô hình workflow bên dưới tồn tại.
Vì sao “1M token” không phải “1M token hữu ích”
Điểm chính: kích thước cửa sổ là trần, không phải lời hứa chất lượng — và đường cong chi phí tuyến tính trong khi đường cong attention thì không.
Ba thực tế đằng sau marketing:
- Chi phí tăng tuyến tính, đau đớn. Mọi token trong cửa sổ đều bị tính phí, dù nó có đóng góp hay không. Một câu hỏi 1M token ở mức giá cỡ đô la là một câu hỏi cỡ đô la — lặp lại được, cho đến khi không còn.
- Attention suy giảm theo khoảng cách. Bằng chứng xuyên các gia đình model cho thấy một cách nhất quán rằng model dùng phần đầu và phần cuối của ngữ cảnh dài tốt hơn phần giữa — “lost in the middle” là mô hình đã được ghi chép kỹ. Nhét vào không phải là hiểu.
- Cache thay đổi hình dạng. Với giá cache ở mức ~0.1×, câu hỏi full-window thứ hai trở nên rẻ — điều này khuyến khích các ngữ cảnh dài ổn định, lặp lại (cùng một tài liệu được truy vấn nhiều lần) và phạt các lần nạp full context dùng một lần.
Hệ quả thiết kế: ngữ cảnh dài hoạt động tốt nhất khi là một tài sản tái sử dụng — một corpus ổn định bạn truy vấn lặp lại — và tệ nhất khi là một canh bạc theo từng câu hỏi.
Phép tính chi phí: Full Context so với Cache so với RAG
Điểm chính: với các truy vấn lặp lại trên cùng một corpus, cache-rồi-RAG thường thắng; với câu hỏi một lần trên toàn bộ tài liệu, full context là trung thực; với mọi trường hợp khác, hãy chạy con số.
Phép so sánh, trên một hình dạng cụ thể — một corpus 500K token, mười câu hỏi:
| Cách tiếp cận | Yếu tố chi phí | Chi phí tương đối điển hình |
|---|---|---|
| Full context, mọi câu hỏi | 500K token × 10 | 10× giá full-input |
| Cache + full context | ~0.1× trên input được cache | ~1× giá full-input |
| RAG (truy hồi top-k) | 5K token × 10 + index | một phần nhỏ của một lần full input |
Các kết luận cấu trúc: RAG thắng về chi phí với chênh lệch nhiều bậc độ lớn cho các truy vấn lặp lại; cache khiến full-context cạnh tranh được khi cùng một corpus được truy vấn thường xuyên; full context chỉ thắng tuyệt đối cho các câu hỏi đọc sâu dùng một lần. Chất lượng đi theo một đường cong khác — retrieval có thể bỏ sót, full context có thể chôn vùi — và đó chính xác là lý do khung quyết định tồn tại.
Các con số phụ thuộc nhà cung cấp và corpus; hướng dẫn caching trong loạt bài này có phần cơ chế cache, và ví dụ tính toán bên dưới là hình dạng để bạn điền mức giá của chính mình.
Cách xây workflow 1M token
Điểm chính: bốn mô hình — map-reduce, compaction, sliding window, layered context — và quy tắc thiết kế là “không bao giờ trả tiền cho token bạn không cần”.
- Map-reduce. Chia corpus, xử lý từng chunk, gộp kết quả. Con ngựa thồ cho “trả lời trên toàn bộ tài liệu”: mỗi chunk nhỏ, song song hóa tự nhiên, và bước tổng hợp cuối chỉ đọc các bản tóm tắt. Chi phí tỷ lệ với số chunk, không phải với cửa sổ đầy đủ.
- Context compaction. Nén phần giữa — tóm tắt, trích xuất các dữ kiện chính, bỏ phần dư thừa — trước lượt tiếp theo. Compaction là cách agent giữ ngữ cảnh nhiều lượt mà không phải chịu chi phí bậc hai; nó là khác biệt giữa “agent nhớ” và “agent mang theo toàn bộ transcript”.
- Sliding window. Giữ N token gần nhất, tóm tắt phần rơi ra ngoài. Với hội thoại và luồng dữ liệu, cửa sổ bám theo hành động — mô hình giữ chi phí tương tác trong giới hạn.
- Layered context. Một đường nhanh và một đường đầy đủ: bản tóm tắt cho các lượt thông thường, truy hồi toàn đoạn văn theo nhu cầu khi câu hỏi cần nó — custom routing khiến quyết định nhanh/đầy đủ trở nên cơ học. Phân lớp chính là mô hình production biến “1M context” thành một năng lực thay vì một hóa đơn.
Sợi chỉ chung: mọi mô hình đều là một cách để trả tiền cho những token đáng giá. Endpoint chat completions lo phần cơ chế; các mô hình quyết định phần kinh tế.
Cách chọn: Long Context so với RAG so với Hybrid
Điểm chính: câu hỏi không phải “RAG có chết không” — mà là “mô hình truy vấn của tôi là gì” — và khung quyết định là ba câu hỏi, không phải một tín điều.
- Corpus có tĩnh và được truy vấn lặp lại không? Cache-cộng-RAG — index một lần, truy hồi theo từng truy vấn, cache các prefix ổn định.
- Câu hỏi có phải một lần đọc sâu trên một tài liệu lớn không? Full context — use case trung thực nơi retrieval sẽ bỏ sót và chi phí được giới hạn bởi độ hiếm của câu hỏi.
- Đó có phải một hội thoại agent kéo dài không? Layered context — bản tóm tắt cộng retrieval cộng một cửa sổ có giới hạn, không bao giờ toàn bộ lịch sử.
Mối quan hệ với hướng dẫn RAG trong loạt bài này là bổ trợ, không phải cạnh tranh: hướng dẫn đó phụ trách phần bên trong của retrieval — chunking, tìm kiếm hybrid, reranking — còn hướng dẫn này phụ trách kinh tế chi phí cửa sổ ngữ cảnh và các mô hình workflow. Cả hai đều áp dụng cho hầu hết hệ thống production, và hybrid là chuẩn mực, không phải sự thỏa hiệp.
Những sai lầm phổ biến
Điểm chính: bốn cái bẫy — ba mô hình theo chi phí, một theo chất lượng — và từng cái đều là sự thổi phồng “cửa sổ 1M” đang hành động.
- Full context theo mặc định. Cửa sổ tồn tại, nên mọi thứ đều bị nhét vào — cái bẫy chi phí tuyến tính không có thiết kế cache và không có retrieval. Các bảng ngân sách trong hướng dẫn này tồn tại vì sai lầm này là mặc định.
- Không compaction trong vòng lặp agent. Mỗi lượt đều nối thêm toàn bộ lịch sử; đến lượt thứ hai mươi, agent đang trả tiền cho mọi thứ nó từng nói. Compaction không phải tùy chọn đối với agent chạy lâu.
- Cache key trôi dạt. Hệ số cache chỉ áp dụng khi prefix ổn định đến từng byte — header động, timestamp hoặc các phần bị đảo thứ tự sẽ đưa tỷ lệ trúng về không, biến ~0.1× thành 1×. Hướng dẫn caching có phần cơ chế; kỷ luật là của bạn.
- Benchmark bỏ qua phần giữa của cửa sổ. “Nó xử lý được 1M token” được kiểm thử ở phần đầu và cuối ngữ cảnh — mô hình lost-in-the-middle vẫn sống, và bộ đánh giá không lấy mẫu phần giữa sẽ kể cho bạn một câu chuyện sai.
Câu hỏi thường gặp
Ngữ cảnh 1M token có thay thế được RAG không?
Cho các lần đọc sâu dùng một lần trên một tài liệu lớn, có — đó là use case trung thực. Cho các truy vấn lặp lại trên một corpus, không: phép tính chi phí (10× full-input so với kích thước truy hồi) khiến RAG là câu trả lời, với caching làm cầu nối. Khung ba câu hỏi quyết định, không phải marketing.
Một truy vấn 1M token thực sự tốn bao nhiêu?
Toàn bộ input ở mức giá tuyến đầu, theo từng truy vấn — con số chính xác phụ thuộc nhà cung cấp và tầng giá. Với cache hit ở ~0.1×, các truy vấn lặp lại trên cùng một corpus làm chi phí giảm mạnh. Bảng trong hướng dẫn này là hình dạng; trang nhà cung cấp của bạn là con số.
Context compaction là gì?
Nén hội thoại hoặc corpus giữa các lượt — tóm tắt, trích xuất các dữ kiện chính, bỏ phần dư thừa — để agent mang ý nghĩa thay vì toàn bộ lịch sử. Đó là mô hình giữ cho agent chạy lâu luôn trong tầm giá, và không thể thương lượng sau vài lượt.
Giá cache có thực sự ở mức ~0.1× không?
Quy ước của ngành là hệ số cache hit khoảng một phần mười giá input gốc, được ghi nhận nhất quán trên các nhà cung cấp. Nó chỉ áp dụng trên các prefix ổn định đến từng byte — đó là lý do kỷ luật cache key là đòn bẩy chi phí ẩn trong mọi triển khai ngữ cảnh dài.
Những nhà cung cấp nào có cửa sổ 1M token?
Gemini (cấp 2M), Claude (1M), Kimi K3 (1M, flagship mở) và DeepSeek V4 Pro (1M ngữ cảnh) trong thế hệ hiện tại — với danh mục model được liên kết ở trên làm tài liệu tham chiếu tính khả dụng hiện tại qua một endpoint.
Khi nào tôi nên dùng full context thay vì retrieval?
Khi câu hỏi là một lần đọc sâu mà retrieval sẽ bỏ sót — rà soát hợp đồng, phân tích tài liệu đơn lẻ, suy luận trên toàn corpus — và truy vấn đủ hiếm để chi phí chỉ là một sự kiện, không phải một mô hình. Với mọi thứ lặp lại, hãy cache hoặc retrieve.
Tóm tắt
API LLM ngữ cảnh dài đã thay đổi phép tính chi phí, không phải vật lý: cửa sổ 1M đã là chuẩn trên toàn tuyến đầu, và các yếu tố tạo khác biệt giờ là hành vi cache, chất lượng attention ở độ sâu, và các mô hình workflow giữ cho hóa đơn ở mức hợp lý. Map-reduce cho câu hỏi toàn corpus, compaction cho agent, sliding window cho luồng dữ liệu, layered context cho production — và một khung ba câu hỏi thay thế cuộc tranh luận “RAG có chết không” bằng con số. Cửa sổ là một năng lực; các mô hình biến nó thành một ngân sách.
Khung quyết định là một bài toán bảng tính. Lấy API key TokSpan của bạn — $5 tín dụng miễn phí để kiểm chứng phép tính (quickstart) — và định giá cả ba cách tiếp cận trên corpus của chính bạn.