每產生一個 token 都要從 GPU 記憶體讀取一遍模型權重，所以每秒 token 數大致等於記憶體頻寬除以模型在記憶體中的大小。
| 機器 | 顯示記憶體 | 每張 GPU 頻寬 | 外形 |
|---|---|---|---|
| H200 NVL | 141 GB HBM3e | 4.8 TB/s | 4U rack |
| RTX PRO 6000 Server Edition | 96 GB GDDR7 | 1.6 TB/s | 4U rack |
| RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Prosumer tower |
| Workstation RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Workstation tower |
| B300 | 288 GB HBM3e | 8 TB/s | HGX 機架 |
H200 NVL · RTX PRO 6000 Server Edition · RTX 5090 · Workstation RTX 5090 · B300
開放模型的每秒 token 數與首個 token 延遲，每種硬體一行。每行最快的一次執行用的是不同的模型，所以請在同一行內比較，而非跨行比較。
這些是註明來源的社群執行結果，不是 B3IQ 整機的測量。此處未發佈 B3IQ 工作負載基準；請在預計使用的配置上驗證模型、精度、上下文和並行。
| 硬體 | 模型 | 最快一次 | 首個 token |
|---|---|---|---|
| H200 SXM | Qwen3.5-122B-A10B-FP8 | 878.38 tok/s | 491 ms |
| H200 SXM | MiniMax-M2.5 | 503.74 tok/s | 368 ms |
| H200 SXM | MiniMax-M2.1 | 499.2 tok/s | 417 ms |
| H200 SXM | MiniMax-M2.7 | 495.88 tok/s | 349 ms |
| H200 SXM | MiniMax-M2 | 492.6 tok/s | 390 ms |
| H200 NVL | Qwen3.5-0.8B-Base | 2665.14 tok/s | 143 ms |
| H200 NVL | MiniMax-M2.7 | 338.89 tok/s | 570 ms |
| H200 NVL | MiniMax-M2.5 | 333.93 tok/s | 375 ms |
| H200 NVL | MiniMax-M2.1 | 332.9 tok/s | 642 ms |
| H200 NVL | MiniMax-M2 | 302.51 tok/s | 727 ms |
| RTX PRO 6000 Blackwell | Gemma-4-26B-A4B-NVFP4 | 1048 tok/s | — |
| RTX PRO 6000 Blackwell | Qwen3.6-35B-A3B-NVFP4 | 506.2 tok/s | 113.4 ms |
| RTX 3090 | LFM2.5-8B-A1B-GGUF | 302.9 tok/s | 144.2 ms |
| Radeon AI Pro R9700 | Qwen2.5-7B | 1405.39 tok/s | 270.64 ms |
| Radeon AI Pro R9700 | gpt-oss-20b | 991.1 tok/s | 175.4 ms |
| Radeon AI Pro R9700 | Qwen3.5-9B | 371.8 tok/s | 63.2 ms |
| Radeon AI Pro R9700 | Qwen3.5-27B | 286.64 tok/s | 110.63 ms |
| RTX 5090 | NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | 285.6 tok/s | 200 ms |
| RTX A5000 | gemma-3-1b-it-GGUF | 325.19 tok/s | — |
| RTX A5000 | Qwen2.5-1.5B-Instruct-GGUF | 320.55 tok/s | — |
| RX 7900 XTX | Qwen3.5-9B | 576.85 tok/s | 82.93 ms |
| RX 7900 XTX | Qwen3.5-0.8B-Q8_0.gguf | 346.22 tok/s | — |
https://www.localmaxxing.com — community-submitted local LLM benchmarks · 2026-05-31T03:17:06.105Z