Saltar al contenido
vLLM vs SGLang vs TensorRT-LLM: un benchmark de serving

vLLM vs SGLang vs TensorRT-LLM: un benchmark de serving

, 8 min de lectura, By Jaber Jaber

Ingeniería

Puntos clave

  • No hay un único motor más rápido. El ganador cambia con el punto de operación.

  • TensorRT-LLM tuvo la latencia de primer token más baja a carga moderada (235 ms contra 514 ms de vLLM en concurrencia 32).

  • vLLM alcanzó el throughput más alto en saturación (5,333 tok/s en una H100) y el costo más bajo.

  • El costo derivado de GPU publicado más bajo es vLLM en fp8 sobre H100, $0.158 por 1 millón de tokens de salida.

  • Las filas de costo bf16 publicadas ponen a la L40S en cerca del doble del costo por token de salida de la H100.

Todo lo que sigue se limita a lo que probamos: Llama-3.1-8B-Instruct, una H100 80GB y una L40S 48GB, bf16 y fp8. No generalizamos más allá. Versiones, al 20 de junio de 2026: vLLM 0.23.0, SGLang 0.5.13, TensorRT-LLM 1.2.1. Estos son resultados auto-reportados; el harness y los datos crudos no están disponibles públicamente. Las filas publicadas de throughput y latencia con prompts únicos cubren H100 bf16. FP8 y L40S aparecen solo en resultados derivados de costo.

La versión corta

No hay un único motor más rápido. El ganador cambia según cómo lo cargues.

Si te importaUsaEn este benchmark
La latencia de primer token más baja a carga moderadaTensorRT-LLM235 ms TTFT en c32 contra 514 ms de vLLM
El throughput más alto en saturaciónvLLM5,333 tok/s en una H100
El costo más bajo por tokenvLLM en fp8$0.158 por 1 millón de tokens
Caché de prefijos compartidosuna gran victoria para ambosthroughput con 90% de aciertos, caché activada contra desactivada: 3.13x para vLLM (2,855 contra 910 tok/s), 2.84x para SGLang (2,488 contra 875 tok/s)
Guía de decisión

La regla para estas configuraciones: TensorRT-LLM para serving limitado por latencia por debajo de su techo de throughput, vLLM para el throughput más alto y el costo más bajo. vLLM iba adelante de SGLang en toda concurrencia: por 1.8 a 9.0 por ciento en throughput, y el tiempo al primer token de SGLang fue 6.2 a 26.2 por ciento más alto.

Dos cosas que dejamos explícitas

TensorRT-LLM 1.2 eliminó el backend de TensorRT; PyTorch es el único backend de ejecución en la versión 1.2.1 probada. Nuestra prueba de prefijo único no es el caso de muchos prefijos distintos para el que está diseñado RadixAttention de SGLang, así que también la ejecutamos por separado. Estos resultados aplican solo a las configuraciones probadas.

Ejecutamos cada motor con los mismos pesos, la misma GPU y el mismo flujo de solicitudes. El harness y los datos crudos no están disponibles públicamente, así que estos resultados no pueden reproducirse de forma independiente a partir de esta publicación. En las filas de costo bf16 publicadas, la L40S cuesta cerca del doble por token de salida que la H100.

Por qué lo ejecutamos

Hugging Face puso TGI en modo de mantenimiento en diciembre de 2025 y archivó el repositorio el 21 de marzo de 2026, así que muchos equipos están eligiendo de nuevo un motor de serving ahora. Las comparaciones que se encuentran son instantáneas de un momento en la carga de otra persona. Así que lo ejecutamos nosotros. Este artículo registra nuestros resultados y sus condiciones divulgadas; no proporciona un harness público de reproducción.

Cómo medimos

Un cliente maneja los tres motores con flujos de solicitudes idénticos, así que las definiciones de tiempo son las mismas en todas partes. TTFT es el tiempo hasta el primer token transmitido. Throughput es tokens de salida por segundo. Calentamos, luego cronometramos tres repeticiones por punto de operación y graficamos la media. Las repeticiones crudas y los intervalos de confianza no están disponibles públicamente. El caché de prefijos está desactivado para los barridos de prompts únicos, así que nadie recibe un acierto de caché gratis.

Throughput contra concurrencia

Barrimos la concurrencia de 1 a 256 con 1,024 tokens de entrada y 256 de salida. En lote 1 los tres motores quedan a menos de cuatro por ciento entre sí. Al subir la carga, TensorRT-LLM es competitivo o el mejor hasta concurrencia 64, y luego se aplana. vLLM sigue escalando y alcanza el pico más alto, 5,333 tok/s.

concurrenciavLLMSGLangTensorRT-LLM
1158153152
8109610051027
32292127302978
64404038984029
128494348164774
256533352354813
Throughput de salida contra concurrencia, Llama-3.1-8B bf16, una H100, tok/s de salida

La frontera de latencia contra throughput

La tabla de throughput esconde la imagen más útil. Grafica la latencia del primer token contra el throughput y la disyuntiva es clara. TensorRT-LLM mantiene el TTFT más bajo en todo el rango medio y conserva esa ventaja hasta unos 4,000 tok/s, luego choca con su techo y el TTFT se dispara. vLLM domina el extremo de throughput alto: alcanza 5,333 tok/s con un TTFT más bajo que el que los otros dos logran cerca de esa tasa.

motortok/s de salidaTTFT p50 (ms)
vLLM15835
vLLM1096177
vLLM2921514
vLLM4040790
vLLM49431658
vLLM53332221
SGLang15341
SGLang1005221
SGLang2730597
SGLang3898997
SGLang48161761
SGLang52352543
TensorRT-LLM15232
TensorRT-LLM102756
TensorRT-LLM2978235
TensorRT-LLM4029504
TensorRT-LLM47741691
TensorRT-LLM48132848
Frontera de latencia contra throughput (cada punto es un nivel de concurrencia)

Así que la frontera tiene dos dueños. TensorRT-LLM para serving sensible a la latencia por debajo de su techo, vLLM para throughput máximo. Esa es toda la idea: el motor correcto es una función de tu punto de operación, no una constante.

TensorRT-LLM: el backend en la versión 1.2.1

Lee esto antes de ponderar los números de throughput. Ejecutamos TensorRT-LLM en su backend de PyTorch, que carga un checkpoint de Hugging Face y lo sirve sin una compilación previa del motor. PyTorch es el único backend de ejecución a partir de TensorRT-LLM 1.2.

Las notas de la versión 1.2 de TensorRT-LLM de NVIDIA documentan la eliminación del backend de TensorRT y su CLI de compilación. El resultado de 4,813 tok/s es el throughput más alto que reportamos para TensorRT-LLM 1.2.1 en este barrido. No establece un techo para otras cargas ni configuraciones. TensorRT-LLM tuvo la latencia de primer token más baja de los tres en el rango medio; entre las configuraciones que ejecutamos, vLLM alcanzó el throughput más alto.

Costo por token

Convertimos throughput en dólares con una fórmula: el costo por 1 millón de tokens es el precio por hora de la GPU dividido por los tokens sostenidos por hora. La H100 cuesta $3.95 por hora y la L40S $1.95, alquiladas, observado el 20 de junio de 2026.

motorbf16 / H100fp8 / H100bf16 / L40S
vLLM0.2060.1580.425
SGLang0.210.170.438
TensorRT-LLM0.228no medidono medido
Costo por 1 millón de tokens de salida en la saturación de cada configuración (menor es mejor), $

En H100, el costo derivado reportado de vLLM es $0.158 por 1 millón de tokens de salida en fp8, contra $0.206 en bf16. Los resultados fp8 publicados no dan filas de throughput ni latencia. No establecen una aceleración.

Las filas de costo bf16 publicadas de vLLM son $0.425 por 1 millón de tokens de salida en L40S y $0.206 en H100. El costo de la L40S es casi el doble a las tarifas y puntos de saturación registrados. No se publican filas de throughput ni latencia de la L40S, así que estos resultados no sostienen una comparación de velocidad.

Cargas con prefijos compartidos

El tráfico de RAG y agentes reutiliza un prompt de sistema largo entre solicitudes, así que un caché de prefijos debería ayudar. Lo ejecutamos de dos maneras, porque la forma de la reutilización importa.

Un prefijo compartido

Primero el caso simple: un prefijo de 2,048 tokens enviado a una fracción de las solicitudes, con esa fracción variando de 0 a 90 por ciento, caché activado y desactivado. Con cero aciertos, el caché activado ya supera al desactivado: 999 contra 910 tok/s para vLLM (9.7%) y 937 contra 879 para SGLang (6.5%). Esta brecha no está explicada por los datos publicados y no es evidencia de reutilización de caché. El hardware y la precisión de este barrido no están publicados. Las razones de la guía de decisión comparan el caché activado con el desactivado a 90% de aciertos, para el mismo motor.

tasa de acierto del caché de prefijos (%)vLLM (caché activado)vLLM (caché desactivado)SGLang (caché activado)SGLang (caché desactivado)
0999910937879
5015599121528873
9028559102488875
Prefijo compartido único: throughput contra tasa de acierto, caché activado contra desactivado (c32), tok/s de salida

Con el caché activado, vLLM iba adelante de SGLang en toda tasa de acierto: por 6.6 por ciento con cero aciertos, 2.0 por ciento al 50 y 14.7 por ciento al 90. No leemos un ganador en esa brecha. Un solo prefijo compartido es el caso fácil que cualquier caché a nivel de bloques maneja bien. No es la carga para la que está construido RadixAttention de SGLang.

Muchos prefijos distintos, el caso RadixAttention

RadixAttention está diseñado para muchos prefijos distintos sostenidos a la vez en un árbol, la forma que se obtiene de conversaciones ramificadas y un conjunto de prompts de sistema. Así que ejecutamos eso: 256 solicitudes repartidas entre un número creciente de prefijos distintos de 2,048 tokens, 8 luego 32 luego 128, ambos motores con caché activado.

número de prefijos distintosvLLMSGLang
826772493
3222772086
12814671376
Muchos prefijos distintos: throughput contra número de prefijos (c32, ambos cachés activados), tok/s de salida

RadixAttention funcionó. Los registros de SGLang muestran los prefijos servidos directamente desde su caché de árbol. Pero el caché de prefijos de vLLM siguió adelante en throughput por 6.6 a 9.1 por ciento en todo número de prefijos, con TTFT más bajo. Así que en Llama-3.1-8B en una H100 no reproducimos una victoria de throughput de RadixAttention, ni siquiera en la carga a la que apunta. Ambos motores guardan bien los prefijos compartidos; vLLM fue 6.6 a 9.1 por ciento más rápido, en línea con su ventaja general en este hardware. RadixAttention puede adelantarse con prefijos más largos, árboles más profundos o una presión de desalojo mayor que la que probamos. En nuestra prueba no lo hizo, y no vamos a afirmar lo contrario.

Disponibilidad de la evidencia

El harness, los CSV crudos y los intervalos de confianza no están disponibles públicamente. Las tablas preservan nuestras mediciones auto-reportadas y condiciones divulgadas, pero no son un paquete completo de reproducción. Actualizado el 20 de septiembre de 2026: las afirmaciones anteriores de código abierto y reproducción han sido retiradas.

Actualizado el 2026-11-13: las frases que resumen las tablas ahora enuncian las cifras que las tablas dan, y el hardware se describe como alquilado sin nombrar al proveedor. Ninguna fila medida, costo derivado, fecha ni condición cambió.

Preguntas frecuentes

¿vLLM o SGLang? En tráfico simple de prompts únicos vLLM iba adelante en toda concurrencia en nuestras pruebas: por 1.8 a 9.0 por ciento en throughput, con el tiempo al primer token de SGLang 6.2 a 26.2 por ciento más alto. El costo derivado de vLLM también fue más bajo en cada configuración publicada. Usa vLLM por defecto; recurre a SGLang cuando su frontend programable encaje con tu carga.

¿Vale la pena TensorRT-LLM? Para serving sensible a la latencia por debajo de su techo de throughput, sí. Mantuvo el tiempo al primer token más bajo en todo el rango medio, 235 ms en concurrencia 32 contra los 514 ms de vLLM. Ejecutamos el backend de PyTorch, el único backend de ejecución en TensorRT-LLM 1.2.1.

¿Qué GPU debo usar? Para el costo derivado de GPU reportado en Llama-3.1-8B, la H100 es más bajo en las filas bf16 publicadas. Con vLLM, las cifras son $0.206 por 1 millón de tokens de salida en H100 y $0.425 en L40S. No se publican filas de throughput ni latencia de la L40S, así que estos resultados no sostienen una comparación de velocidad.

Notas de método y advertencias

  • Una H100 80GB y una L40S 48GB, alquiladas, una sola GPU, paralelismo de tensor 1.

  • Los mismos pesos de Llama-3.1-8B-Instruct y el mismo flujo de solicitudes entre motores. Tres repeticiones cronometradas. Las repeticiones crudas y los intervalos de confianza no están disponibles públicamente.

  • La latencia aquí es TTFT y percentiles por solicitud, no goodput con un SLO fijo. Si 514 ms al primer token con carga alta es aceptable depende de tu caso de uso; un barrido de goodput con SLO es trabajo futuro.

  • Los números son auto-reportados en nuestro harness y no están calibrados de forma cruzada contra una suite externa como MLPerf. El harness y los datos crudos no están disponibles públicamente, así que esta publicación no permite la reproducción independiente.

  • TensorRT-LLM 1.2.1 ejecutó el backend de PyTorch, su único backend de ejecución. Las notas de la versión 1.2 de TensorRT-LLM de NVIDIA documentan la eliminación del backend de TensorRT y la CLI de compilación.

  • El barrido de la L40S se detuvo en concurrencia 128 (su saturación), el de la H100 en 256.

  • Los motores cambian cada semana. Estos números son vLLM 0.23.0, SGLang 0.5.13, TensorRT-LLM 1.2.1, al 20 de junio de 2026.

Referencias

  1. Notas de la versión 1.2 de TensorRT-LLM, eliminación del backend de TensorRT

  2. Repositorio TGI de Hugging Face, en mantenimiento desde diciembre de 2025, archivado el 21 de marzo de 2026

  3. PagedAttention (vLLM), Kwon et al., SOSP 2023, arXiv:2309.06180

  4. RadixAttention (SGLang), Zheng et al., NeurIPS 2024, arXiv:2312.07104

  5. Orca: continuous batching, Yu et al., OSDI 2022