Saltar al contenido
Inferencia sin pérdida

Inferencia sin pérdida

, 9 min de lectura, By Jaber Jaber

Investigación

Nota editorial: Este artículo se publicó primero en nuestro sitio anterior. El producto de optimización descrito aquí está retirado. RightNow sirve modelos abiertos a través de su API.

La cuantización se volvió la forma predeterminada de acelerar la inferencia porque es la más fácil. En vLLM es un flag o un checkpoint intercambiado (docs.vllm.ai), mientras que hacer el verdadero trabajo de optimización, como escribir mejores kernels, toma meses. Así que la gente cambia el checkpoint y sigue adelante, y las mismas personas que jamás enviarían un cambio de prompt sin revisión terminan entregando un modelo cuantizado sin ejecutar una sola evaluación, porque el flag lo hace sentir como un ajuste de infraestructura cuando en realidad es un cambio de modelo

Figura 1: el panel (a) es la brecha, la puntuación del benchmark se mantiene casi plana entre precisiones mientras el éxito en tareas de horizonte largo cae. El panel (b) es dónde aterriza la pérdida, una decisión invertida a mitad de la ejecución y todo lo que sigue hereda el error. Ilustrativo

La cuantización es un intercambio, no una optimización. Ahorras memoria y pagas en calidad, y el costo es difícil de ver porque la cuantización post entrenamiento mueve cada peso un poco mientras los benchmarks estándar apenas reaccionan, ya que están saturados y prueban un paso a la vez. La pérdida real aparece en cadenas largas de razonamiento y ejecuciones de programación agéntica donde cientos de decisiones dependientes se apilan, así que el benchmark te dice que los dos modelos son iguales mientras la tasa de éxito de tu agente te dice que no. Este artículo trata sobre la pila de serving que logra la velocidad sin pagar ese costo

Las matemáticas del efecto compuesto

Si el ruido de cuantización invierte una decisión por paso con probabilidad p, entonces en n pasos dependientes la tarea sobrevive con probabilidad (1-p)^n. Un 2 por ciento por paso suena gratis hasta que ejecutas 20 pasos, porque 0.98^20 = 0.67 y un tercio de tus tareas ahora fallan, y a 50 pasos quedas en 0.36

Si mantienes p en medio por ciento, la supervivencia en 20 pasos se queda en 0.90, y esa es la diferencia entre un agente en el que confías y un agente al que cuidas. El modelo nunca se volvió visiblemente más tonto, solo quedó un 2 por ciento más ruidoso por decisión y el efecto compuesto hizo el resto

Figura 2: supervivencia de la tarea (1-p)^n contra el número de pasos para cuatro valores de p. Los puntos marcados son 0.98^20 = 0.67 y 0.98^50 = 0.36. Las curvas son exactas

Qué significa sin pérdida

Inferencia sin pérdida significa que la pila se vuelve más rápida mientras el modelo sigue siendo exactamente el mismo modelo, y yo la divido en dos niveles

Bit exacto significa que la pila optimizada devuelve los mismos logits que la referencia en cada entrada, f_opt(x) = f_ref(x). Kernels y fusión, compilación, reutilización de KV, planificación y compresión de pesos sin pérdida viven en este nivel porque cambian cómo se ejecuta la matemática sin cambiar la matemática misma

Exacto en distribución significa que la pila optimizada muestrea de la misma distribución que la referencia, P_opt(y | x) = P_ref(y | x). El decodificador especulativo con muestreo de rechazo vive aquí, donde muestras individuales pueden diferir pero la distribución nunca

Todo lo demás, PTQ, poda y destilación, cambia la función misma, lo que significa que estás sirviendo un modelo distinto con el mismo nombre. Esta definición importa porque mueve la carga de la prueba, ya que un cambio sin pérdida no necesita una evaluación cuando las salidas son la evidencia, mientras que un cambio con pérdida necesita una evaluación completa en tu carga de trabajo y no solo en MMLU. Bit exacto también compone, porque una tubería de etapas bit exactas sigue siendo bit exacta, así que puedo apilar cinco sin ejecutar cinco ciclos de evaluación

Figura 3: la definición como diagrama. Dos niveles sin pérdida con sus garantías y las técnicas dentro de cada uno, mientras los métodos con pérdida editan la función y pagan el costo compuesto

La pila sin pérdida, de abajo hacia arriba

La pila empieza con los kernels. La inferencia en tamaños de lote de serving está limitada por el ancho de banda de memoria, ya que una H100 SXM mueve unos 3.35 TB/s desde HBM mientras hace unos 989 TFLOP/s densos en BF16 (nvidia.com/en-us/data-center/h100/), así que un kernel gana su velocidad moviendo menos bytes en lugar de haciendo menos matemática. FlashAttention demostró el punto hace años al calcular atención exacta reordenando el tráfico de memoria y obteniendo grandes aceleraciones con salidas idénticas (arxiv.org/abs/2205.14135), y el reordenamiento es válido porque la softmax en línea calcula la misma normalización a partir de estadísticas corridas, así que nada del resultado cambia

La idea de FlashAttention en una imagen. Divide el cómputo en tiles que caben en SRAM, nunca materializa la matriz de atención completa, y obtiene exactamente la misma salida más rápido. Diagrama del repositorio oficial de FlashAttention (Dao et al.), licencia BSD 3 Clause: github.com/Dao-AILab/flash-attention

La fusión lleva la misma idea más allá al mantener los valores intermedios en registros y memoria compartida en lugar de ir y volver por HBM, y un megakernel lo lleva al límite ejecutando todo el paso de decodificación como un solo lanzamiento. Yo construí esto mismo. En la misma H100 mi motor bonsai-turbo corre a 1.76x el fork de llama.cpp del propio proveedor, yendo de 85.5 a 151.1 tokens por segundo con las mismas salidas (github.com/RightNow-AI/bonsai-turbo), y mi sistema de búsqueda de kernels AutoKernel alcanzó 1.31x sobre cuBLAS en sus mejores kernels a lo largo de 95 experimentos entre 18 y 187 TFLOPS manteniendo el primer lugar en la tabla de vectorsum de la B200 (github.com/RightNow-AI/autokernel)

El decodificador especulativo viene después. Un modelo borrador pequeño propone g tokens, el modelo objetivo los verifica en una pasada, y un paso de muestreo de rechazo modificado mantiene la distribución de salida exactamente igual a la del objetivo, lo que se demostró de forma independiente dos veces en 2023 (arxiv.org/abs/2211.17192, arxiv.org/abs/2302.01318). El número esperado de tokens por pasada del objetivo es (1-a^(g+1))/(1-a) con tasa de aceptación a, así que la precisión del borrador lo es todo, y la línea EAGLE es lo que la subió (arxiv.org/abs/2401.15077). EAGLE-2 lo dice sin rodeos ("la distribución del texto generado permanece sin cambios") y reporta 3.05x a 4.26x (arxiv.org/abs/2406.16858), mientras EAGLE-3 reporta hasta 6.5x (arxiv.org/abs/2503.01840)

El método EAGLE. Una cabeza pequeña extrapola características del modelo objetivo, esboza un árbol de tokens, y el objetivo verifica todo el árbol en una pasada. Diagrama del repositorio oficial de EAGLE (SafeAILab), licencia Apache 2.0: github.com/SafeAILab/EAGLE

Luego está la compresión de pesos sin pérdida. Los pesos en BF16 llevan menos de 16 bits de información real por parámetro, así que DFloat11 los codifica por entropía hasta unos 11 bits, lo que aterriza en cerca del 70 por ciento del tamaño original con salidas que siguen idénticas bit a bit al modelo original (arxiv.org/abs/2504.11651). Eso cubre la mayor parte del ahorro de memoria que la cuantización promete sin la factura de calidad

La reutilización de KV es la siguiente capa. La atención paginada terminó con la fragmentación del caché KV y elevó los tamaños reales de lote (arxiv.org/abs/2309.06180), y el caché de prefijos con árboles radix hace que la historia compartida se compute una sola vez (arxiv.org/abs/2312.07104). Esto es seguro porque las entradas del caché son una función pura del prefijo, así que reutilizarlas en las mismas posiciones no puede mover los logits

RadixAttention paso a paso. El caché KV se convierte en un árbol radix donde los turnos de conversación y las ramas comparten cada prefijo común y los nodos fríos se desalojan. Diagrama del repositorio del blog de SGLang (LMSYS), licencia MIT: github.com/lm-sys/lm-sys.github.io

La planificación está encima. El batcheo continuo rellena el lote en las fronteras de tokens en lugar de esperar a que termine la solicitud más larga (usenix.org/conference/osdi22/presentation/yu), el prefill por trozos evita que un prompt largo detenga la decodificación de todos los demás (arxiv.org/abs/2308.16369), y la desagregación de prefill y decodificación pone la mitad limitada por cómputo y la mitad limitada por ancho de banda de la carga en máquinas distintas (arxiv.org/abs/2401.09670). Ninguna de estas toca un solo logit

Figura 4: el panel (a) es la tubería de serving con cada técnica sin pérdida en su lugar, donde BE marca las etapas bit exactas y DE las exactas en distribución. El panel (b) es el roofline de la H100 SXM con las especificaciones públicas, con la cresta en 295 FLOP por byte. El panel (c) es los tokens esperados por pasada del objetivo bajo decodificación especulativa. Los paneles (b) y (c) se siguen directamente de las especificaciones y la fórmula enunciadas

La línea que se mueve

La frontera de lo sin pérdida se dibuja en el checkpoint publicado, y el checkpoint mismo se está moviendo. Kimi K2 Thinking se publicó con pesos INT4 nativos porque Moonshot ejecutó entrenamiento consciente de la cuantización en el post entrenamiento, puso INT4 en los pesos del MoE y reportó todos los benchmarks oficiales en INT4 con una generación unas 2 veces más rápida (huggingface.co/moonshotai/Kimi-K2-Thinking). OpenAI publicó gpt-oss con pesos MXFP4 en el MoE a 4.25 bits por parámetro, que cubre más del 90 por ciento de los parámetros y es la razón de que gpt-oss-120b quepa en una GPU de 80 GB (arxiv.org/abs/2508.10925)

Para estos modelos servir INT4 o MXFP4 no es cuantización con pérdida, es el checkpoint. La referencia que no debes degradar ya es de baja precisión, y el proveedor ya pagó el costo de calidad durante el entrenamiento donde corresponde, así que la cuantización se está convirtiendo en una decisión de entrenamiento mientras exprimir un checkpoint BF16 después de los hechos sigue siendo un truco de serving. Mi prueba es simple, si los pesos que sirves son los pesos que el proveedor evaluó entonces sirves el modelo, y si los exprimiste después entonces sirves tu propia edición del modelo

Figura 5: dónde se decide la precisión contra lo que cuesta relativo al checkpoint publicado. La celda superior izquierda es a donde se movieron los lanzamientos de modelos grandes en 2025, y la línea de tiempo marca el cambio

Verificación

Sin pérdida es una afirmación que puedes probar, y yo la pruebo con paridad de logits. Ejecutas los mismos prompts por la pila de referencia y por la tuya con decodificación greedy, luego comparas la máxima diferencia absoluta de logits por token, donde cero es la barra de aprobación para una afirmación bit exacta y una prueba de distribución es la barra para el decodificador especulativo. Yo publiqué esto para bonsai-turbo, donde 32 de 32 prompts pasan contra el fork del proveedor en las cuatro configuraciones del motor (github.com/RightNow-AI/bonsai-turbo). Cuando la paridad falla el diff me muestra dónde mirar, y suele ser un kernel fusionado que cortó una esquina, un RoPE que no coincide o un muestreador que renormaliza distinto

Moonshot ahora ejecuta el mismo tipo de verificación con quien sirva su modelo. El K2 Vendor Verifier envía 4,000 solicitudes idénticas a cada proveedor externo de K2 y los puntúa contra la API oficial en F1 de disparo de tool calls y exactitud de esquema (github.com/MoonshotAI/K2-Vendor-Verifier), y la brecha fue real, con exactitud de esquema desde el 100 por ciento en los mejores proveedores hasta unos 73 a 76 por ciento en motores de código abierto sin ajustes antes de que llegaran las correcciones. La calidad del modelo se volvió una propiedad de la pila de serving y los proveedores de modelos empezaron a medirla

La suma en punto flotante no es asociativa, así que el orden de reducción dentro de un kernel cambia los bits bajos, y ese orden cambia con el tamaño del lote. Thinking Machines midió la consecuencia cuando 1,000 completiones a temperatura cero en vLLM sin ajustes dieron 80 salidas distintas, mientras que kernels invariantes al lote devolvieron las 1,000 idénticas bit a bit a 1.6x a 2x el tiempo de ejecución (thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/), y Chen et al. acotaron su prueba del decodificador especulativo "dentro de la numérica del hardware" por la misma razón (arxiv.org/abs/2302.01318). Así que sin pérdida significa que la pila no añade error más allá de la numérica que ya aceptaste, y no significa salidas idénticas bit a bit entre tamaños de lote a menos que también pagues por invariancia de lote

Figura 6: el panel (a) es el protocolo de paridad que ejecuto, un conjunto de prompts por ambas pilas, comparar los logits, cero o a depurar. El panel (b) es cómo se ve el diff, donde una pila sin pérdida queda exactamente en cero. Los valores distintos de cero son ilustrativos

Por qué gana lo sin pérdida

La economía zanja la discusión. La cuantización ahorra un factor fijo una vez y sigue pagando calidad en cada paso de cada tarea, mientras que las victorias sin pérdida se multiplican entre sí, kernels por decodificación especulativa por reutilización de KV por planificación, con cada término manteniendo el modelo exacto. Un solo término ya muestra lo que compra lo sin pérdida en hardware real:

Aceleraciones sin pérdida medidas de la línea EAGLE, hasta 5.6x en Vicuna 13B y 5.0x en DeepSeek R1 LLaMA 8B con la distribución de salida sin cambios. Gráfico del repositorio oficial de EAGLE (SafeAILab), licencia Apache 2.0. No es mi benchmark pero es uno real
Figura 7: las victorias sin pérdida se componen a lo largo de la pila. Los tamaños de las barras son rangos ilustrativos, no un benchmark

Recuerdo cuando empecé a trabajar en esto, pensé que lo sin pérdida sería el futuro, y ahora estoy más seguro. En RightNow construyo exactamente esto, sirviendo modelos abiertos sobre la pila sin pérdida completa y verificándolo con paridad de logits contra la referencia