Cargaste el contrato completo de 800 páginas en el modelo. Respondió —y la factura de esa sola pregunta fue más que todo tu gasto de API del mes pasado. El modelo había “manejado” la ventana de contexto. Tu presupuesto no.
El contexto largo es la capacidad más sobre-promocionada del stack de LLMs, y el hype ha producido un debate —“¿está muerto RAG?”— que está casi completamente mal planteado. La ventana de 1M tokens es real: Gemini ofrece una ventana clase 2M, Claude ofrece 1M, el Kimi K3 de Moonshot se lanzó con 1M en julio de 2026, el V4 Pro de DeepSeek trae 1M de contexto con 384K de salida. La física, sin embargo, no cambió: los tokens cuestan dinero, la atención se degrada con la distancia, y “¿puedo meterlo?” nunca fue la misma pregunta que “¿debería?”.
Esta guía cubre la parte que el debate omite: la matemática de costos (contexto completo versus caching versus RAG), los patrones de flujo de trabajo que hacen utilizables las ventanas de 1M tokens (map-reduce, compactación, ventanas deslizantes, contexto en capas) y el marco de decisión contexto-largo-versus-RAG que termina el argumento con números en lugar de corazonadas.
Qué entregan las APIs de contexto largo en 2026
En resumen: la ventana de 1M ahora es estándar en toda la frontera —y los diferenciadores son costo, comportamiento de caché y calidad de atención, no el tamaño de la ventana.
La alineación de 2026: las ventanas clase 2M de Gemini, el 1M GA de Claude, el 1M del Kimi K3 (el modelo insignia abierto que reajustó las expectativas tanto en contexto como en precio), el DeepSeek V4 Pro con 1M de contexto y las familias clase GPT en 400K y más. El catálogo de modelos rastrea los límites actuales por proveedor a través de un endpoint unificado.
Tres cosas que el tamaño de la ventana no te dice:
- Costo por token a ventana completa. Una entrada de 1M tokens a tarifas de modelos de frontera es dinero real por pregunta —el número exacto es específico del proveedor y del nivel, que es el punto de la sección tres.
- Precio del caché. La mayoría de los proveedores descuenta los tokens de entrada cacheados a aproximadamente una décima parte de la tarifa base —la convención de caché documentada en toda la industria— lo que cambia por completo la economía de las cargas repetidas de contexto largo.
- Calidad de atención en profundidad. “La ventana es 1M” significa que el modelo acepta 1M; no significa que lo use por igual. La degradación tipo recuperación en profundidad es real, y es la razón de ingeniería por la que existen los patrones de flujo de trabajo que veremos a continuación.
Por qué “1M tokens” no es “1M tokens útiles”
En resumen: el tamaño de la ventana es un techo, no una promesa de calidad —y la curva de costo es lineal mientras la de atención no lo es.
Tres realidades detrás del marketing:
- El costo escala linealmente, y duele. Cada token de la ventana se factura, haya contribuido o no. Una pregunta de 1M tokens a una tarifa de escala de dólares es una pregunta de escala de dólares —repetible, hasta que no lo es.
- La atención se degrada con la distancia. La evidencia entre familias de modelos muestra consistentemente que los modelos usan mejor el inicio y el final de los contextos largos que el medio —“perdido en el medio” es el patrón bien documentado. Meter a presión no es entender.
- El caché cambia la forma. Con precio de caché a ~0.1×, la segunda pregunta de ventana completa es barata —lo que recompensa los contextos largos estables y repetidos (el mismo documento consultado muchas veces) y castiga las cargas de contexto completo de una sola vez.
La consecuencia de diseño: el contexto largo funciona mejor como activo reutilizable —un corpus estable que consultas repetidamente— y peor como una apuesta por pregunta.
La matemática de costos: contexto completo vs caché vs RAG
En resumen: para consultas repetidas sobre el mismo corpus, caché-más-RAG suele ganar; para preguntas únicas de documento completo, el contexto completo es lo honesto; para todo lo demás, haz los números.
La comparación, sobre una forma concreta —un corpus de 500K tokens, diez preguntas:
| Enfoque | Factor de costo | Costo relativo típico |
|---|---|---|
| Contexto completo, cada pregunta | 500K tokens × 10 | 10× el precio de entrada completo |
| Caché + contexto completo | ~0.1× sobre entrada cacheada | ~1× el precio de entrada completo |
| RAG (recuperación top-k) | 5K tokens × 10 + índice | fracción de una entrada completa |
Las conclusiones estructurales: RAG gana en costo por órdenes de magnitud para consultas repetidas; el caché hace competitivo el contexto completo cuando el mismo corpus se consulta a menudo; el contexto completo gana de plano solo para preguntas únicas de lectura profunda. La calidad sigue otra curva —la recuperación puede fallar, el contexto completo puede enterrar— que es exactamente por qué existe el marco de decisión.
Los números tienen la forma del proveedor y del corpus; la guía de caching de esta serie tiene la mecánica del caché, y el ejemplo resuelto de abajo es la forma que debes llenar con tus propias tarifas.
Cómo construir flujos de trabajo de 1M tokens
En resumen: cuatro patrones —map-reduce, compactación, ventanas deslizantes, contexto en capas— y la regla de diseño es “nunca pagues por tokens que no necesitas”.
- Map-reduce. Divide el corpus, procesa los chunks, fusiona los resultados. El caballo de batalla para “responder sobre todo el documento”: cada chunk es pequeño, el paralelismo es natural y la síntesis final lee solo los resúmenes. El costo escala con los chunks, no con la ventana completa.
- Compactación de contexto. Comprime el medio —resume, extrae hechos clave, elimina redundancia— antes del siguiente turno. La compactación es cómo los agentes sostienen contexto multi-turno sin costos cuadráticos; es la diferencia entre “el agente recuerda” y “el agente carga el transcript completo”.
- Ventanas deslizantes. Mantén los N tokens recientes, resume lo que queda fuera. Para conversaciones y streams, la ventana sigue la acción —el patrón que mantiene acotados los costos interactivos.
- Contexto en capas. Un camino rápido y un camino completo: resúmenes para turnos rutinarios, recuperación bajo demanda del pasaje completo cuando la pregunta lo necesita —el routing personalizado hace mecánica la decisión rápido/completo. La estratificación es el patrón de producción que convierte “1M de contexto” en una capacidad en lugar de una factura.
El hilo común: cada patrón es una forma de pagar por los tokens que importan. El endpoint de chat completions maneja la mecánica; los patrones deciden la economía.
Cómo elegir: contexto largo vs RAG vs híbrido
En resumen: la pregunta no es “¿está muerto RAG?” —es “¿cuál es mi patrón de consultas?”— y el marco de decisión son tres preguntas, no una religión.
- ¿El corpus es estático y se consulta repetidamente? Caché-más-RAG —indexa una vez, recupera por consulta, cachea los prefijos estables.
- ¿La pregunta es una lectura profunda única sobre un documento grande? Contexto completo —el caso de uso honesto donde la recuperación fallaría y el costo está acotado por la rareza de la pregunta.
- ¿Es una conversación de agente de larga duración? Contexto en capas —resúmenes más recuperación más una ventana acotada, nunca el historial completo.
La relación con la guía de RAG de esta serie es complementaria, no competitiva: esa guía es dueña de los internals de recuperación —chunking, búsqueda híbrida, reranking— y esta guía es dueña de la economía de la ventana de contexto y los patrones de flujo de trabajo. Ambas aplican a la mayoría de los sistemas de producción, y el híbrido es la norma, no el compromiso.
Errores comunes
En resumen: cuatro trampas —tres con forma de costo, una con forma de calidad— y cada una es el hype de “ventana de 1M” en acción.
- Contexto completo por defecto. La ventana existe, así que todo se mete a presión —la trampa de costo lineal sin diseño de caché ni recuperación. Las tablas de presupuesto de esta guía existen porque este error es el valor por defecto.
- Sin compactación en los bucles de agentes. Cada turno anexa el historial completo; para el turno veinte el agente está pagando por todo lo que alguna vez dijo. La compactación no es opcional para agentes de larga duración.
- Claves de caché que se desvían. El multiplicador del caché solo aplica cuando el prefijo es byte-estable —headers dinámicos, timestamps o secciones reordenadas ponen la tasa de hits en cero, convirtiendo el ~0.1× en 1×. La guía de caching tiene la mecánica; la disciplina es tuya.
- Hacer el benchmark con el medio de la ventana. “Manejó 1M tokens” probado en el inicio y el final de un contexto —el patrón de perdido-en-el-medio sobrevive, y el set de evaluación que no muestrea el medio te contará la historia equivocada.
FAQ
¿Puede el contexto de 1M tokens reemplazar a RAG?
Para lecturas profundas únicas sobre un documento grande, sí —ese es el caso de uso honesto. Para consultas repetidas sobre un corpus, no: la matemática de costos (10× entrada completa versus tamaño de recuperación) hace de RAG la respuesta, con el caché como puente. El marco de tres preguntas decide, no el marketing.
¿Cuánto cuesta realmente una consulta de 1M tokens?
Entrada completa a tarifas de modelos de frontera, por consulta —la cifra exacta es específica del proveedor y del nivel. Con hits de caché a ~0.1×, las consultas repetidas sobre el mismo corpus colapsan el costo. La tabla de esta guía es la forma; la página de tu proveedor es el número.
¿Qué es la compactación de contexto?
Comprimir la conversación o el corpus entre turnos —resumir, extraer hechos clave, eliminar redundancia— para que el agente cargue significado en lugar de historial completo. Es el patrón que mantiene asequibles a los agentes de larga duración, y no es negociable pasados unos pocos turnos.
¿El precio del caché es realmente ~0.1×?
La convención de la industria es un multiplicador de cache hit de alrededor de una décima parte del precio base de entrada, documentado de forma consistente entre proveedores. Solo aplica sobre prefijos byte-estables —por eso la disciplina de la clave de caché es la palanca de costo oculta en todo despliegue de contexto largo.
¿Qué proveedores ofrecen ventanas de 1M tokens?
Gemini (clase 2M), Claude (1M), Kimi K3 (1M, modelo insignia abierto) y DeepSeek V4 Pro (1M de contexto), entre la generación actual —con el catálogo de modelos enlazado arriba como referencia de disponibilidad actual a través de un solo endpoint.
¿Cuándo debería usar contexto completo en lugar de recuperación?
Cuando la pregunta es una lectura profunda única donde la recuperación fallaría —revisión de contratos, análisis de documento único, razonamiento sobre todo el corpus— y la consulta es lo bastante rara como para que el costo sea un evento, no un patrón. Para todo lo repetido, cachea o recupera.
Resumen
Las LLM APIs de contexto largo cambiaron la matemática de costos, no la física: las ventanas de 1M son estándar en toda la frontera, y los diferenciadores ahora son el comportamiento del caché, la calidad de atención en profundidad y los patrones de flujo de trabajo que mantienen la factura en orden. Map-reduce para preguntas sobre todo el corpus, compactación para agentes, ventanas deslizantes para streams, contexto en capas para producción —y un marco de tres preguntas que reemplaza el debate “¿está muerto RAG?” con números. La ventana es una capacidad; los patrones la convierten en un presupuesto.
El marco de decisión es un problema de hoja de cálculo. Obtén tu API key de TokSpan —$5 en créditos gratis para probar la matemática (quickstart)— y cotiza los tres enfoques sobre tu propio corpus.