本文へスキップ
vLLM vs SGLang vs TensorRT-LLM: サービングベンチマーク

vLLM vs SGLang vs TensorRT-LLM: サービングベンチマーク

, 8分で読めます, By Jaber Jaber

エンジニアリング

主要な要点

  • 単一の最速エンジンは存在しません。勝者は動作点によって変わります。

  • 中程度の負荷では TensorRT-LLM が最も低い最初のトークンのレイテンシを記録しました (同時実行数 32 で vLLM の 514 ms に対し 235 ms)。

  • vLLM は飽和時の最高スループット (H100 1 枚で 5,333 tok/s) と最も低いコストに達しました。

  • 公表されている導出 GPU コストの最安値は、H100 の fp8 での vLLM の 100 万出力トークンあたり 0.158 ドルです。

  • 公表された bf16 のコスト行では、L40S は出力トークンあたり H100 の約 2 倍の費用になります。

以下のすべては、私たちがテストした範囲に限られます: Llama-3.1-8B-Instruct、H100 80GB 1 枚と L40S 48GB 1 枚、bf16 と fp8。この先には一般化しません。バージョンは 2026 年 6 月 20 日時点で vLLM 0.23.0、SGLang 0.5.13、TensorRT-LLM 1.2.1。これらは自己申告の結果であり、ハーネスと生データは公開されていません。公表されたユニークプロンプトのスループットとレイテンシの行は H100 bf16 を対象とします。FP8 と L40S は導出コストの結果にのみ現れます。

短い要約

単一の最速エンジンは存在しません。勝者は負荷のかけ方によって変わります。

重視するもの使うものこのベンチマークでの結果
中程度の負荷での最も低い最初のトークンレイテンシTensorRT-LLMc32 で TTFT 235 ms、vLLM は 514 ms
飽和時の最高スループットvLLMH100 1 枚で 5,333 tok/s
トークンあたりの最安コストfp8 の vLLM100 万トークンあたり 0.158 ドル
共有プレフィックスのキャッシング両方に大きな利点ヒット率 90% でのスループット、キャッシュ オン対オフ: vLLM で 3.13 倍 (2,855 対 910 tok/s)、SGLang で 2.84 倍 (2,488 対 875 tok/s)
選択のガイド

これらの構成での規則はこうです。スループット天井より下のレイテンシ重視のサービングには TensorRT-LLM、最高スループットと最安コストには vLLM。vLLM はすべての同時実行数で SGLang を上回りました。スループットで 1.8 から 9.0 パーセント、SGLang の最初のトークンまでの時間は 6.2 から 26.2 パーセント高かったです。

明示しておく 2 つのこと

TensorRT-LLM 1.2 は TensorRT バックエンドを削除しました。テストした 1.2.1 リリースでは PyTorch が唯一の実行バックエンドです。私たちの単一プレフィックスのキャッシュテストは、SGLang の RadixAttention が対象とする多数の異なるプレフィックスのケースではないため、それも別途実行しました。これらの結果はテストした構成にのみ当てはまります。

すべてのエンジンを同じウェイト、同じ GPU、同じリクエストストリームで実行しました。ハーネスと生データは公開されていないため、これらの結果は現時点でこの出版物から独立して再現できません。公表された bf16 のコスト行では、L40S は出力トークンあたり H100 の約 2 倍の費用になります。

なぜ実行したのか

Hugging Face は 2025 年 12 月に TGI をメンテナンスモードにし、2026 年 3 月 21 日にリポジトリをアーカイブしたため、多くのチームが今まさにサービングエンジンを選び直しています。手に入る比較は、他人のワークロード上の一時点のスナップショットです。だから自分たちで実行しました。この記事は私たちの結果と開示された条件を記録するものであり、公開の再現ハーネスは提供しません。

どう測定したか

1 つのクライアントが 3 つのエンジンすべてを同一のリクエストストリームで駆動するため、計時の定義はどこでも同じです。TTFT は最初のストリームトークンまでの時間です。スループットは 1 秒あたりの出力トークンです。ウォームアップの後、動作点ごとに 3 回の反復を計時し、平均をチャートにします。生の反復と信頼区間は公開されていません。ユニークプロンプトのスイープではプレフィックスキャッシングをオフにし、どのエンジンも無償のキャッシュヒットを得ないようにしました。

スループット対同時実行数

入力 1,024 トークン、出力 256 トークンで、同時実行数を 1 から 256 までスイープしました。バッチ 1 では 3 エンジンは 4 パーセント以内に収まります。負荷が上がると、TensorRT-LLM は同時実行数 64 まで競争力があるか最良で、その後頭打ちになります。vLLM はスケールを続け、最高ピークの 5,333 tok/s に達します。

同時実行数vLLMSGLangTensorRT-LLM
1158153152
8109610051027
32292127302978
64404038984029
128494348164774
256533352354813
出力スループット対同時実行数、Llama-3.1-8B bf16、H100 1 枚、出力 tok/s

レイテンシとスループットのフロンティア

スループットの表は、より有用な全体像を隠しています。最初のトークンのレイテンシをスループットに対してプロットすると、トレードオフは明確です。TensorRT-LLM は中域全体で最も低い TTFT を保ち、その優位は約 4,000 tok/s まで続いた後、天井に達して TTFT が急上昇します。vLLM は高スループット域を独占します。他の 2 つがその速度に近づくときより低い TTFT で 5,333 tok/s に達します。

エンジン出力 tok/sTTFT p50 (ms)
vLLM15835
vLLM1096177
vLLM2921514
vLLM4040790
vLLM49431658
vLLM53332221
SGLang15341
SGLang1005221
SGLang2730597
SGLang3898997
SGLang48161761
SGLang52352543
TensorRT-LLM15232
TensorRT-LLM102756
TensorRT-LLM2978235
TensorRT-LLM4029504
TensorRT-LLM47741691
TensorRT-LLM48132848
レイテンシ対スループットのフロンティア (各点は 1 つの同時実行数レベル)

つまりフロンティアには 2 つの持ち主がいます。天井より下のレイテンシ敏感なサービングには TensorRT-LLM、最大スループットには vLLM。要点はそれです。正しいエンジンは定数ではなく、あなたの動作点の関数です。

TensorRT-LLM: バージョン 1.2.1 のバックエンド

スループットの数値を評価する前に、これをお読みください。私たちは TensorRT-LLM を PyTorch バックエンドで実行しました。これは Hugging Face のチェックポイントをロードし、事前のエンジンビルドなしでサーブします。TensorRT-LLM 1.2 の時点で、PyTorch が唯一の実行バックエンドです。

NVIDIA の TensorRT-LLM 1.2 のリリースノートは、TensorRT バックエンドとそのエンジンビルド CLI の削除を文書しています。4,813 tok/s の結果は、このスイープで TensorRT-LLM 1.2.1 について報告した最も高いスループットです。他のワークロードや構成の天井を示すものではありません。TensorRT-LLM は 3 つの中で中域全体の最も低い最初のトークンレイテンシを持ち、私たちが実行した構成の中では vLLM が最高スループットに達しました。

トークンあたりのコスト

スループットをドルに変える式は 1 つです。100 万トークンあたりのコストは、GPU の時間料金を 1 時間あたりの持続トークン数で割ったものです。H100 は 1 時間 3.95 ドル、L40S は 1 時間 1.95 ドルで、レンタル、2026 年 6 月 20 日時点の観測です。

エンジンbf16 / H100fp8 / H100bf16 / L40S
vLLM0.2060.1580.425
SGLang0.210.170.438
TensorRT-LLM0.228not measurednot measured
各構成の飽和時の 100 万出力トークンあたりのコスト (低い方が良い)、ドル / 100 万トークン

H100 では、vLLM の報告された導出コストは fp8 で 100 万出力トークンあたり 0.158 ドル、bf16 では 0.206 ドルです。公表された fp8 の結果にはスループットやレイテンシの行がありません。スピードアップを示すものではありません。

公表された vLLM の bf16 コスト行は、L40S で 100 万出力トークンあたり 0.425 ドル、H100 で 0.206 ドルです。L40S のコストは、記録されたレートと飽和点でおおよそ 2 倍です。L40S のスループットやレイテンシの行は公表されていないため、これらの結果は速度の比較を裏付けません。

共有プレフィックスのワークロード

RAG とエージェントのトラフィックは、リクエストをまたいで長いシステムプロンプトを再利用するため、プレフィックスキャッシュが効くはずです。再利用の形が問題になるので、2 通りの方法で実行しました。

1 つの共有プレフィックス

まず単純なケースです。2,048 トークンのプレフィックス 1 つをリクエストの一部に送り、その割合を 0 から 90 パーセントまで変え、キャッシングの オンと オフで測ります。ヒットゼロでも、キャッシュ オンはすでに オフを上回ります: vLLM で 910 対 999 tok/s (9.7%)、SGLang で 879 対 937 (6.5%)。この差は公表データでは説明されておらず、キャッシュ再利用の証拠ではありません。このスイープのハードウェアと精度は公表されていません。選択のガイドの比率は、同じエンジンについて、ヒット率 90% でのキャッシュ オンと オフを比較します。

プレフィックスキャッシュのヒット率 (%)vLLM (キャッシュ オン)vLLM (キャッシュ オフ)SGLang (キャッシュ オン)SGLang (キャッシュ オフ)
0999910937879
5015599121528873
9028559102488875
単一の共有プレフィックス: スループット対ヒット率、キャッシング オン対 オフ (c32)、出力 tok/s

キャッシュ オンでは、vLLM はすべてのヒット率で SGLang を上回りました。ヒットゼロで 6.6 パーセント、50 パーセントで 2.0 パーセント、90 パーセントで 14.7 パーセントです。この差から勝者を読み取ることはしません。単一の共有プレフィックスは、どんなブロックレベルのキャッシュでもうまく扱える簡単なケースです。それは SGLang の RadixAttention が対象とするワークロードではありません。

多数の異なるプレフィックス、RadixAttention のケース

RadixAttention は、多数の異なるプレフィックスを一度にツリーに保持するよう設計されています。分岐する会話とシステムプロンプトのプールから得られる形です。そこでそれを実行しました。256 リクエストを、増えていく数の異なる 2,048 トークンのプレフィックス (8、32、128) に分散し、両エンジンともキャッシュ オンで実行します。

異なるプレフィックスの数vLLMSGLang
826772493
3222772086
12814671376
多数の異なるプレフィックス: スループット対プレフィックス数 (c32、両キャッシュ オン)、出力 tok/s

RadixAttention は機能しました。SGLang のログは、プレフィックスがツリーキャッシュから直接供給されたことを示しています。しかし vLLM のプレフィックスキャッシュは、どのプレフィックス数でも 6.6 から 9.1 パーセント、TTFT も低く、スループットで先行し続けました。つまり H100 1 枚の Llama-3.1-8B では、RadixAttention が対象とするワークロードでも、RadixAttention のスループットの勝利は再現しませんでした。両エンジンとも共有プレフィックスをうまくキャッシュし、vLLM は 6.6 から 9.1 パーセント速く、このハードウェアでの全体的な優位と一致していました。RadixAttention は、私たちがテストしたより長いプレフィックス、深いツリー、重い退去圧力で先行するかもしれません。私たちのテストではそうなりませんでしたし、そう主張するつもりもありません。

エビデンスの入手可能性

ハーネス、生の CSV、信頼区間は公開されていません。表は私たちの自己申告の測定と開示された条件を保存しますが、完全な再現パッケージではありません。2026 年 9 月 20 日更新: 以前のオープンソースと再現の主張は撤回されました。

2026-11-13 更新: 表を要約する文は、表が示す数値を述べるようになり、ハードウェアはプロバイダー名なしのレンタルと記述されます。変更された測定行、導出コスト、日付、条件はありません。

FAQ

vLLM か SGLang か? 通常のユニークプロンプトのトラフィックでは、vLLM がテストしたすべての同時実行数で先行しました。スループットで 1.8 から 9.0 パーセント、SGLang の最初のトークンまでの時間は 6.2 から 26.2 パーセント高かったです。vLLM の導出コストは、公表されたすべての構成で低かったです。デフォルトには vLLM を使います。SGLang は、そのプログラマブルなフロントエンドがワークロードに合うときに選びます。

TensorRT-LLM は価値がありますか? スループット天井より下のレイテンシ敏感なサービングなら、はい。中域全体で最も低い最初のトークンまでの時間を保持し、同時実行数 32 では 235 ms、vLLM は 514 ms でした。TensorRT-LLM 1.2.1 の唯一の実行バックエンドである PyTorch バックエンドで実行しました。

どの GPU を使うべきですか? Llama-3.1-8B の報告された導出 GPU コストでは、公表された bf16 の行で H100 の方が低いです。vLLM では、100 万出力トークンあたり H100 で 0.206 ドル、L40S で 0.425 ドルです。L40S のスループットやレイテンシの行は公表されていないため、これらの結果は速度の比較を裏付けません。

方法の注記と注意事項

  • H100 80GB 1 枚と L40S 48GB 1 枚、レンタル、シングル GPU、テンソル並列サイズ 1。

  • 同じ Llama-3.1-8B-Instruct のウェイトと同じリクエストストリームを全エンジンで。計時は 3 回の反復。生の反復と信頼区間は公開されていません。

  • ここでのレイテンシは TTFT とリクエストごとのパーセンタイルであり、固定 SLO でのグッドプットではありません。高負荷で 514 ms の最初のトークンが許容かどうかはユースケース次第です。SLO グッドプットのスイープは今後の課題です。

  • 数値は私たちのハーネスでの自己申告であり、MLPerf のような外部スイートと相互較正されていません。ハーネスと生データは公開されていないため、この出版物は独立した再現を裏付けません。

  • TensorRT-LLM 1.2.1 は、唯一の実行バックエンドである PyTorch バックエンドを実行しました。NVIDIA の TensorRT-LLM 1.2 のリリースノートは、TensorRT バックエンドとエンジンビルド CLI の削除を文書しています。

  • L40S のスイープは同時実行数 128 (その飽和) で停止し、H100 は 256 です。

  • エンジンは週ごとに動きます。これらの数値は 2026 年 6 月 20 日時点の vLLM 0.23.0、SGLang 0.5.13、TensorRT-LLM 1.2.1 です。

参考文献

  1. TensorRT-LLM 1.2 リリースノート、TensorRT バックエンドの削除

  2. Hugging Face TGI リポジトリ、2025 年 12 月からメンテナンス、2026 年 3 月 21 日にアーカイブ

  3. PagedAttention (vLLM), Kwon et al., SOSP 2023, arXiv:2309.06180

  4. RadixAttention (SGLang), Zheng et al., NeurIPS 2024, arXiv:2312.07104

  5. Orca: continuous batching, Yu et al., OSDI 2022