
vLLM vs SGLang vs TensorRT-LLM: 服务基准测试
, 阅读时间 8 分钟, By Jaber Jaber
工程要点
没有单一最快的引擎。胜者随工作点而变。
TensorRT-LLM 在中等负载下首 token 延迟最低(并发 32 时 235 ms,vLLM 为 514 ms)。
vLLM 在饱和时达到最高吞吐(单张 H100 上 5,333 tok/s),成本也最低。
已发布的最低推导 GPU 成本是 H100 上 fp8 的 vLLM,每 100 万输出 token $0.158。
已发布的 bf16 成本行显示,L40S 每输出 token 的成本约为 H100 的两倍。
以下所有内容都限定在我们测试的范围内:Llama-3.1-8B-Instruct,一张 H100 80GB 和一张 L40S 48GB,bf16 与 fp8。我们不在此范围外泛化。版本,截至 2026 年 6 月 20 日:vLLM 0.23.0、SGLang 0.5.13、TensorRT-LLM 1.2.1。这些是自我报告的结果;测试框架和原始数据不公开。已发布的唯一提示吞吐和延迟行只覆盖 H100 bf16。FP8 和 L40S 只出现在推导成本结果中。
简短版本
没有单一最快的引擎。胜者随你如何加载它而变。
| 如果你在意 | 用 | 在本基准上 |
|---|---|---|
| 中等负载下最低的首 token 延迟 | TensorRT-LLM | c32 时 TTFT 235 ms,vLLM 为 514 ms |
| 饱和时最高吞吐 | vLLM | 单张 H100 上 5,333 tok/s |
| 每 token 最低成本 | fp8 的 vLLM | 每 100 万 token $0.158 |
| 共享前缀缓存 | 两者都大有益 | 90% 命中率下,开缓存对比关缓存:vLLM 3.13 倍(2,855 对 910 tok/s),SGLang 2.84 倍(2,488 对 875 tok/s) |
这些配置的规则:延迟受限且低于其吞吐上限的服务用 TensorRT-LLM,最高吞吐和最低成本用 vLLM。在每个并发下 vLLM 都领先 SGLang:吞吐高出 1.8 到 9.0 个百分点,SGLang 的首 token 时间高 6.2 到 26.2 个百分点。
我们明确说明的两件事
TensorRT-LLM 1.2 移除了 TensorRT 后端;PyTorch 是所测 1.2.1 版本中唯一的执行后端。我们的单前缀缓存测试不是 SGLang 的 RadixAttention 针对的多个不同前缀场景,所以我们另行运行了那一项。这些结果只适用于所测配置。
我们在相同权重、相同 GPU、相同请求流上运行每个引擎。测试框架和原始数据不公开,所以这些结果目前无法从本文独立复现。在已发布的 bf16 成本行中,L40S 每输出 token 的成本约为 H100 的两倍。
我们为什么做这次测试
Hugging Face 于 2025 年 12 月把 TGI 转入维护模式,并于 2026 年 3 月 21 日归档了仓库,所以很多团队正在重新选择服务引擎。你能找到的对比都是别人工作负载上的时点快照。所以我们自己跑了一遍。本文记录我们的结果及其披露的条件;它不提供公开的复现框架。
我们如何测量
一个客户端以相同的请求流驱动全部三个引擎,所以计时定义处处一致。TTFT 是到第一个流式 token 的时间。吞吐是每秒输出 token 数。我们先预热,然后每个工作点计时三次重复并取平均值作图。原始重复值和置信区间不公开。唯一提示扫描中前缀缓存关闭,所以谁也拿不到免费缓存命中。
吞吐对比并发
我们在 1,024 输入和 256 输出 token 下把并发从 1 扫到 256。批大小 1 时三个引擎相差在百分之四以内。负载升高后,TensorRT-LLM 在并发 64 之前有竞争力或最好,随后趋平。vLLM 持续扩展,达到最高峰值 5,333 tok/s。
| 并发 | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|
| 1 | 158 | 153 | 152 |
| 8 | 1096 | 1005 | 1027 |
| 32 | 2921 | 2730 | 2978 |
| 64 | 4040 | 3898 | 4029 |
| 128 | 4943 | 4816 | 4774 |
| 256 | 5333 | 5235 | 4813 |
延迟对比吞吐的前沿
吞吐表遮住了更有用的图景。把首 token 延迟对吞吐作图,取舍就清楚了。TensorRT-LLM 在整个中段保持最低 TTFT,并把这一优势保持到约 4,000 tok/s,然后到达上限,TTFT 陡升。vLLM 占据高吞吐端:它以低于另外两个接近该速率时的 TTFT 达到 5,333 tok/s。
| 引擎 | 输出 tok/s | TTFT p50 (ms) |
|---|---|---|
| vLLM | 158 | 35 |
| vLLM | 1096 | 177 |
| vLLM | 2921 | 514 |
| vLLM | 4040 | 790 |
| vLLM | 4943 | 1658 |
| vLLM | 5333 | 2221 |
| SGLang | 153 | 41 |
| SGLang | 1005 | 221 |
| SGLang | 2730 | 597 |
| SGLang | 3898 | 997 |
| SGLang | 4816 | 1761 |
| SGLang | 5235 | 2543 |
| TensorRT-LLM | 152 | 32 |
| TensorRT-LLM | 1027 | 56 |
| TensorRT-LLM | 2978 | 235 |
| TensorRT-LLM | 4029 | 504 |
| TensorRT-LLM | 4774 | 1691 |
| TensorRT-LLM | 4813 | 2848 |
所以前沿有两个主人。低于其上限的延迟敏感服务用 TensorRT-LLM,最高吞吐用 vLLM。这正是全部要点:合适的引擎是你的工作点的函数,不是常数。
TensorRT-LLM:1.2.1 版本的后端
在权衡这些吞吐数字之前先读这一段。我们在其 PyTorch 后端上运行 TensorRT-LLM,它加载 Hugging Face 检查点并直接服务,无需提前构建引擎。自 TensorRT-LLM 1.2 起,PyTorch 是唯一的执行后端。
NVIDIA 的 TensorRT-LLM 1.2 发行说明记录了 TensorRT 后端及其引擎构建 CLI 的移除。4,813 tok/s 这一结果是我们在此扫描中为 TensorRT-LLM 1.2.1 报告的最高吞吐。它不为其他工作负载或配置设定上限。在中段,TensorRT-LLM 是三者中首 token 延迟最低的;在我们运行的配置中,vLLM 达到最高吞吐。
每 token 成本
我们用一个公式把吞吐换算成美元:每 100 万 token 成本等于 GPU 小时价除以每小时持续 token 数。H100 每小时 $3.95,L40S 每小时 $1.95,租用,观测于 2026 年 6 月 20 日。
| 引擎 | bf16 / H100 | fp8 / H100 | bf16 / L40S |
|---|---|---|---|
| vLLM | 0.206 | 0.158 | 0.425 |
| SGLang | 0.21 | 0.17 | 0.438 |
| TensorRT-LLM | 0.228 | 未测量 | 未测量 |
在 H100 上,vLLM 报告的推导成本在 fp8 下为每 100 万输出 token $0.158,bf16 下为 $0.206。已发布的 fp8 结果没有提供吞吐或延迟行。它们不能确立一个加速比。
已发布的 vLLM bf16 成本行是 L40S 上每 100 万输出 token $0.425,H100 上 $0.206。在记录的速率和饱和点下,L40S 成本大约高两倍。没有发布 L40S 的吞吐或延迟行,所以这些结果不支持速度比较。
共享前缀工作负载
RAG 和代理流量会在请求间复用长的系统提示,所以前缀缓存应该有帮助。我们以两种方式运行这项测试,因为复用的形状很重要。
一个共享前缀
先是简单情形:一个 2,048 token 的前缀发给一部分请求,比例从 0 变到 90%,缓存开与关都测。零命中时,开缓存已超过关缓存:vLLM 为 999 对 910 tok/s(9.7%),SGLang 为 937 对 879(6.5%)。已发布的数据无法解释这一差距,它不是缓存复用的证据。此扫描的硬件和精度未发布。决策指南里的比率是在 90% 命中率下,对同一引擎比较缓存开与关。
| 前缀缓存命中率 (%) | vLLM(开缓存) | vLLM(关缓存) | SGLang(开缓存) | SGLang(关缓存) |
|---|---|---|---|---|
| 0 | 999 | 910 | 937 | 879 |
| 50 | 1559 | 912 | 1528 | 873 |
| 90 | 2855 | 910 | 2488 | 875 |
开缓存时,vLLM 在每个命中率下都领先 SGLang:零命中时 6.6 个百分点,50% 时 2.0 个百分点,90% 时 14.7 个百分点。我们不从这个差距里读出胜者。单个共享前缀是任何块级缓存都能处理好的简单情形,不是 SGLang 的 RadixAttention 针对的工作负载。
多个不同前缀,RadixAttention 的场景
RadixAttention 为同时保存在一棵树里的多个不同前缀而设计,这是分支对话和一组系统提示会产生的形状。所以我们运行了那项测试:256 个请求分布到越来越多的 2,048 token 不同前缀上,先是 8 个,再 32 个,再 128 个,两个引擎都开缓存。
| 不同前缀数 | vLLM | SGLang |
|---|---|---|
| 8 | 2677 | 2493 |
| 32 | 2277 | 2086 |
| 128 | 1467 | 1376 |
RadixAttention 生效了。SGLang 的日志显示前缀直接从其树缓存服务。但 vLLM 的前缓存在每个前缀数下吞吐都领先 6.6 到 9.1 个百分点,TTFT 更低。所以在单张 H100 上的 Llama-3.1-8B 上,我们没有复现 RadixAttention 的吞吐优势,即使在它针对的工作负载上。两个引擎都能很好地缓存共享前缀;vLLM 快 6.6 到 9.1 个百分点,与它在此硬件上的整体优势一致。在比我们测试的更长前缀、更深树或更重逐出压力下,RadixAttention 可能反超。在我们的测试上它没有,我们不会声称相反。
证据可得性
测试框架、原始 CSV 和置信区间不公开。这些表格保留了我们自我报告的测量和披露的条件,但它们不是完整的复现包。2026 年 9 月 20 日更新:此前的开源与可复现声明已撤回。
2026-11-13 更新:概括表格的句子现在陈述表格给出的数字,硬件描述为租用而不点名提供商。没有任何测量行、推导成本、日期或条件改变。
常见问题
vLLM 还是 SGLang? 在普通的唯一提示流量上,我们的测试里 vLLM 在每个并发都领先:吞吐高出 1.8 到 9.0 个百分点,SGLang 的首 token 时间高 6.2 到 26.2 个百分点。在每个已发布配置中,vLLM 的推导成本也更低。默认用 vLLM;当 SGLang 的可编程前端适合你的工作负载时再选它。
TensorRT-LLM 值得用吗? 低于其吞吐上限的延迟敏感服务,值得。它在整个中段保持最低首 token 时间,并发 32 时 235 ms,vLLM 为 514 ms。我们运行的是 PyTorch 后端,TensorRT-LLM 1.2.1 中唯一的执行后端。
该用哪种 GPU? 就 Llama-3.1-8B 的报告推导 GPU 成本而言,在已发布的 bf16 行中 H100 更低。用 vLLM 时,数字是 H100 上每 100 万输出 token $0.206,L40S 上 $0.425。没有发布 L40S 的吞吐或延迟行,所以这些结果不支持速度比较。
方法说明与注意事项
一张 H100 80GB 和一张 L40S 48GB,租用,单 GPU,张量并行度为 1。
各引擎用相同的 Llama-3.1-8B-Instruct 权重和相同请求流。三次计时重复。原始重复值和置信区间不公开。
这里的延迟是 TTFT 和每请求百分位,不是固定 SLO 下的 goodput。高负载下 514 ms 的首 token 是否可接受取决于你的场景;SLO-goodput 扫描是未来工作。
数字在我们的框架上自我报告,未与 MLPerf 等外部套件交叉校准。测试框架和原始数据不公开,所以本文不支持独立复现。
TensorRT-LLM 1.2.1 运行 PyTorch 后端,其唯一执行后端。NVIDIA 的 TensorRT-LLM 1.2 发行说明记录了 TensorRT 后端和引擎构建 CLI 的移除。
L40S 扫描停在并发 128(其饱和点),H100 停在 256。
引擎每周都在变。这些数字是 vLLM 0.23.0、SGLang 0.5.13、TensorRT-LLM 1.2.1,截至 2026 年 6 月 20 日。