トークンを1つ書くたびに、モデルの重みをGPUメモリから読み出します。そのため毎秒トークン数は、おおよそメモリ帯域幅をメモリ上のモデルのサイズで割った値になります。
| マシン | VRAM | GPUあたりの帯域幅 | フォームファクタ |
|---|---|---|---|
| H200 NVL | 141 GB HBM3e | 4.8 TB/s | 4U rack |
| RTX PRO 6000 Server Edition | 96 GB GDDR7 | 1.6 TB/s | 4U rack |
| RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Prosumer tower |
| Workstation RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Workstation tower |
| B300 | 288 GB HBM3e | 8 TB/s | HGX ラック |
H200 NVL · RTX PRO 6000 Server Edition · RTX 5090 · Workstation RTX 5090 · B300
オープンモデルの毎秒トークン数と最初のトークンまでの時間を、ハードウェアごとに1行で。各行の最速の実行はそれぞれ別のモデルなので、行をまたがずに行の中で比べてください。
出典を明示したコミュニティの実行結果であり、B3IQ の構成を測定した値ではありません。ここには B3IQ のワークロード測定は掲載していません。使用予定の構成でモデル、精度、コンテキスト、同時実行数を検証してください。
| ハードウェア | モデル | 最速の実行 | 最初のトークン |
|---|---|---|---|
| H200 SXM | Qwen3.5-122B-A10B-FP8 | 878.38 tok/s | 491 ms |
| H200 SXM | MiniMax-M2.5 | 503.74 tok/s | 368 ms |
| H200 SXM | MiniMax-M2.1 | 499.2 tok/s | 417 ms |
| H200 SXM | MiniMax-M2.7 | 495.88 tok/s | 349 ms |
| H200 SXM | MiniMax-M2 | 492.6 tok/s | 390 ms |
| H200 NVL | Qwen3.5-0.8B-Base | 2665.14 tok/s | 143 ms |
| H200 NVL | MiniMax-M2.7 | 338.89 tok/s | 570 ms |
| H200 NVL | MiniMax-M2.5 | 333.93 tok/s | 375 ms |
| H200 NVL | MiniMax-M2.1 | 332.9 tok/s | 642 ms |
| H200 NVL | MiniMax-M2 | 302.51 tok/s | 727 ms |
| RTX PRO 6000 Blackwell | Gemma-4-26B-A4B-NVFP4 | 1048 tok/s | — |
| RTX PRO 6000 Blackwell | Qwen3.6-35B-A3B-NVFP4 | 506.2 tok/s | 113.4 ms |
| RTX 3090 | LFM2.5-8B-A1B-GGUF | 302.9 tok/s | 144.2 ms |
| Radeon AI Pro R9700 | Qwen2.5-7B | 1405.39 tok/s | 270.64 ms |
| Radeon AI Pro R9700 | gpt-oss-20b | 991.1 tok/s | 175.4 ms |
| Radeon AI Pro R9700 | Qwen3.5-9B | 371.8 tok/s | 63.2 ms |
| Radeon AI Pro R9700 | Qwen3.5-27B | 286.64 tok/s | 110.63 ms |
| RTX 5090 | NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | 285.6 tok/s | 200 ms |
| RTX A5000 | gemma-3-1b-it-GGUF | 325.19 tok/s | — |
| RTX A5000 | Qwen2.5-1.5B-Instruct-GGUF | 320.55 tok/s | — |
| RX 7900 XTX | Qwen3.5-9B | 576.85 tok/s | 82.93 ms |
| RX 7900 XTX | Qwen3.5-0.8B-Q8_0.gguf | 346.22 tok/s | — |
https://www.localmaxxing.com — community-submitted local LLM benchmarks · 2026-05-31T03:17:06.105Z