跳转到正文
vLLM vs SGLang vs TensorRT-LLM: 服务基准测试

vLLM vs SGLang vs TensorRT-LLM: 服务基准测试

, 阅读时间 8 分钟, By Jaber Jaber

工程

要点

  • 没有单一最快的引擎。胜者随工作点而变。

  • TensorRT-LLM 在中等负载下首 token 延迟最低(并发 32 时 235 ms,vLLM 为 514 ms)。

  • vLLM 在饱和时达到最高吞吐(单张 H100 上 5,333 tok/s),成本也最低。

  • 已发布的最低推导 GPU 成本是 H100 上 fp8 的 vLLM,每 100 万输出 token $0.158。

  • 已发布的 bf16 成本行显示,L40S 每输出 token 的成本约为 H100 的两倍。

以下所有内容都限定在我们测试的范围内:Llama-3.1-8B-Instruct,一张 H100 80GB 和一张 L40S 48GB,bf16 与 fp8。我们不在此范围外泛化。版本,截至 2026 年 6 月 20 日:vLLM 0.23.0、SGLang 0.5.13、TensorRT-LLM 1.2.1。这些是自我报告的结果;测试框架和原始数据不公开。已发布的唯一提示吞吐和延迟行只覆盖 H100 bf16。FP8 和 L40S 只出现在推导成本结果中。

简短版本

没有单一最快的引擎。胜者随你如何加载它而变。

如果你在意用在本基准上
中等负载下最低的首 token 延迟TensorRT-LLMc32 时 TTFT 235 ms,vLLM 为 514 ms
饱和时最高吞吐vLLM单张 H100 上 5,333 tok/s
每 token 最低成本fp8 的 vLLM每 100 万 token $0.158
共享前缀缓存两者都大有益90% 命中率下,开缓存对比关缓存:vLLM 3.13 倍(2,855 对 910 tok/s),SGLang 2.84 倍(2,488 对 875 tok/s)
决策指南

这些配置的规则:延迟受限且低于其吞吐上限的服务用 TensorRT-LLM,最高吞吐和最低成本用 vLLM。在每个并发下 vLLM 都领先 SGLang:吞吐高出 1.8 到 9.0 个百分点,SGLang 的首 token 时间高 6.2 到 26.2 个百分点。

我们明确说明的两件事

TensorRT-LLM 1.2 移除了 TensorRT 后端;PyTorch 是所测 1.2.1 版本中唯一的执行后端。我们的单前缀缓存测试不是 SGLang 的 RadixAttention 针对的多个不同前缀场景,所以我们另行运行了那一项。这些结果只适用于所测配置。

我们在相同权重、相同 GPU、相同请求流上运行每个引擎。测试框架和原始数据不公开,所以这些结果目前无法从本文独立复现。在已发布的 bf16 成本行中,L40S 每输出 token 的成本约为 H100 的两倍。

我们为什么做这次测试

Hugging Face 于 2025 年 12 月把 TGI 转入维护模式,并于 2026 年 3 月 21 日归档了仓库,所以很多团队正在重新选择服务引擎。你能找到的对比都是别人工作负载上的时点快照。所以我们自己跑了一遍。本文记录我们的结果及其披露的条件;它不提供公开的复现框架。

我们如何测量

一个客户端以相同的请求流驱动全部三个引擎,所以计时定义处处一致。TTFT 是到第一个流式 token 的时间。吞吐是每秒输出 token 数。我们先预热,然后每个工作点计时三次重复并取平均值作图。原始重复值和置信区间不公开。唯一提示扫描中前缀缓存关闭,所以谁也拿不到免费缓存命中。

吞吐对比并发

我们在 1,024 输入和 256 输出 token 下把并发从 1 扫到 256。批大小 1 时三个引擎相差在百分之四以内。负载升高后,TensorRT-LLM 在并发 64 之前有竞争力或最好,随后趋平。vLLM 持续扩展,达到最高峰值 5,333 tok/s。

并发vLLMSGLangTensorRT-LLM
1158153152
8109610051027
32292127302978
64404038984029
128494348164774
256533352354813
输出吞吐对比并发,Llama-3.1-8B bf16,单张 H100,输出 tok/s

延迟对比吞吐的前沿

吞吐表遮住了更有用的图景。把首 token 延迟对吞吐作图,取舍就清楚了。TensorRT-LLM 在整个中段保持最低 TTFT,并把这一优势保持到约 4,000 tok/s,然后到达上限,TTFT 陡升。vLLM 占据高吞吐端:它以低于另外两个接近该速率时的 TTFT 达到 5,333 tok/s。

引擎输出 tok/sTTFT p50 (ms)
vLLM15835
vLLM1096177
vLLM2921514
vLLM4040790
vLLM49431658
vLLM53332221
SGLang15341
SGLang1005221
SGLang2730597
SGLang3898997
SGLang48161761
SGLang52352543
TensorRT-LLM15232
TensorRT-LLM102756
TensorRT-LLM2978235
TensorRT-LLM4029504
TensorRT-LLM47741691
TensorRT-LLM48132848
延迟对比吞吐的前沿(每个点是一个并发级别)

所以前沿有两个主人。低于其上限的延迟敏感服务用 TensorRT-LLM,最高吞吐用 vLLM。这正是全部要点:合适的引擎是你的工作点的函数,不是常数。

TensorRT-LLM:1.2.1 版本的后端

在权衡这些吞吐数字之前先读这一段。我们在其 PyTorch 后端上运行 TensorRT-LLM,它加载 Hugging Face 检查点并直接服务,无需提前构建引擎。自 TensorRT-LLM 1.2 起,PyTorch 是唯一的执行后端。

NVIDIA 的 TensorRT-LLM 1.2 发行说明记录了 TensorRT 后端及其引擎构建 CLI 的移除。4,813 tok/s 这一结果是我们在此扫描中为 TensorRT-LLM 1.2.1 报告的最高吞吐。它不为其他工作负载或配置设定上限。在中段,TensorRT-LLM 是三者中首 token 延迟最低的;在我们运行的配置中,vLLM 达到最高吞吐。

每 token 成本

我们用一个公式把吞吐换算成美元:每 100 万 token 成本等于 GPU 小时价除以每小时持续 token 数。H100 每小时 $3.95,L40S 每小时 $1.95,租用,观测于 2026 年 6 月 20 日。

引擎bf16 / H100fp8 / H100bf16 / L40S
vLLM0.2060.1580.425
SGLang0.210.170.438
TensorRT-LLM0.228未测量未测量
每个配置饱和时每 100 万输出 token 的成本(越低越好),$ / 100 万 token

在 H100 上,vLLM 报告的推导成本在 fp8 下为每 100 万输出 token $0.158,bf16 下为 $0.206。已发布的 fp8 结果没有提供吞吐或延迟行。它们不能确立一个加速比。

已发布的 vLLM bf16 成本行是 L40S 上每 100 万输出 token $0.425,H100 上 $0.206。在记录的速率和饱和点下,L40S 成本大约高两倍。没有发布 L40S 的吞吐或延迟行,所以这些结果不支持速度比较。

共享前缀工作负载

RAG 和代理流量会在请求间复用长的系统提示,所以前缀缓存应该有帮助。我们以两种方式运行这项测试,因为复用的形状很重要。

一个共享前缀

先是简单情形:一个 2,048 token 的前缀发给一部分请求,比例从 0 变到 90%,缓存开与关都测。零命中时,开缓存已超过关缓存:vLLM 为 999 对 910 tok/s(9.7%),SGLang 为 937 对 879(6.5%)。已发布的数据无法解释这一差距,它不是缓存复用的证据。此扫描的硬件和精度未发布。决策指南里的比率是在 90% 命中率下,对同一引擎比较缓存开与关。

前缀缓存命中率 (%)vLLM(开缓存)vLLM(关缓存)SGLang(开缓存)SGLang(关缓存)
0999910937879
5015599121528873
9028559102488875
单个共享前缀:吞吐对比命中率,缓存开对比关(c32),输出 tok/s

开缓存时,vLLM 在每个命中率下都领先 SGLang:零命中时 6.6 个百分点,50% 时 2.0 个百分点,90% 时 14.7 个百分点。我们不从这个差距里读出胜者。单个共享前缀是任何块级缓存都能处理好的简单情形,不是 SGLang 的 RadixAttention 针对的工作负载。

多个不同前缀,RadixAttention 的场景

RadixAttention 为同时保存在一棵树里的多个不同前缀而设计,这是分支对话和一组系统提示会产生的形状。所以我们运行了那项测试:256 个请求分布到越来越多的 2,048 token 不同前缀上,先是 8 个,再 32 个,再 128 个,两个引擎都开缓存。

不同前缀数vLLMSGLang
826772493
3222772086
12814671376
多个不同前缀:吞吐对比前缀数(c32,两个缓存都开),输出 tok/s

RadixAttention 生效了。SGLang 的日志显示前缀直接从其树缓存服务。但 vLLM 的前缓存在每个前缀数下吞吐都领先 6.6 到 9.1 个百分点,TTFT 更低。所以在单张 H100 上的 Llama-3.1-8B 上,我们没有复现 RadixAttention 的吞吐优势,即使在它针对的工作负载上。两个引擎都能很好地缓存共享前缀;vLLM 快 6.6 到 9.1 个百分点,与它在此硬件上的整体优势一致。在比我们测试的更长前缀、更深树或更重逐出压力下,RadixAttention 可能反超。在我们的测试上它没有,我们不会声称相反。

证据可得性

测试框架、原始 CSV 和置信区间不公开。这些表格保留了我们自我报告的测量和披露的条件,但它们不是完整的复现包。2026 年 9 月 20 日更新:此前的开源与可复现声明已撤回。

2026-11-13 更新:概括表格的句子现在陈述表格给出的数字,硬件描述为租用而不点名提供商。没有任何测量行、推导成本、日期或条件改变。

常见问题

vLLM 还是 SGLang? 在普通的唯一提示流量上,我们的测试里 vLLM 在每个并发都领先:吞吐高出 1.8 到 9.0 个百分点,SGLang 的首 token 时间高 6.2 到 26.2 个百分点。在每个已发布配置中,vLLM 的推导成本也更低。默认用 vLLM;当 SGLang 的可编程前端适合你的工作负载时再选它。

TensorRT-LLM 值得用吗? 低于其吞吐上限的延迟敏感服务,值得。它在整个中段保持最低首 token 时间,并发 32 时 235 ms,vLLM 为 514 ms。我们运行的是 PyTorch 后端,TensorRT-LLM 1.2.1 中唯一的执行后端。

该用哪种 GPU? 就 Llama-3.1-8B 的报告推导 GPU 成本而言,在已发布的 bf16 行中 H100 更低。用 vLLM 时,数字是 H100 上每 100 万输出 token $0.206,L40S 上 $0.425。没有发布 L40S 的吞吐或延迟行,所以这些结果不支持速度比较。

方法说明与注意事项

  • 一张 H100 80GB 和一张 L40S 48GB,租用,单 GPU,张量并行度为 1。

  • 各引擎用相同的 Llama-3.1-8B-Instruct 权重和相同请求流。三次计时重复。原始重复值和置信区间不公开。

  • 这里的延迟是 TTFT 和每请求百分位,不是固定 SLO 下的 goodput。高负载下 514 ms 的首 token 是否可接受取决于你的场景;SLO-goodput 扫描是未来工作。

  • 数字在我们的框架上自我报告,未与 MLPerf 等外部套件交叉校准。测试框架和原始数据不公开,所以本文不支持独立复现。

  • TensorRT-LLM 1.2.1 运行 PyTorch 后端,其唯一执行后端。NVIDIA 的 TensorRT-LLM 1.2 发行说明记录了 TensorRT 后端和引擎构建 CLI 的移除。

  • L40S 扫描停在并发 128(其饱和点),H100 停在 256。

  • 引擎每周都在变。这些数字是 vLLM 0.23.0、SGLang 0.5.13、TensorRT-LLM 1.2.1,截至 2026 年 6 月 20 日。

参考文献

  1. TensorRT-LLM 1.2 发行说明,TensorRT 后端移除

  2. Hugging Face TGI 仓库,自 2025 年 12 月起维护,2026 年 3 月 21 日归档

  3. PagedAttention (vLLM), Kwon et al., SOSP 2023, arXiv:2309.06180

  4. RadixAttention (SGLang), Zheng et al., NeurIPS 2024, arXiv:2312.07104

  5. Orca: continuous batching, Yu et al., OSDI 2022