每生成一个 token 都要从 GPU 显存读取一遍模型权重，所以每秒 token 数大致等于显存带宽除以模型在显存中的大小。
| 机器 | 显存 | 每块 GPU 带宽 | 外形 |
|---|---|---|---|
| H200 NVL | 141 GB HBM3e | 4.8 TB/s | 4U rack |
| RTX PRO 6000 Server Edition | 96 GB GDDR7 | 1.6 TB/s | 4U rack |
| RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Prosumer tower |
| Workstation RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Workstation tower |
| B300 | 288 GB HBM3e | 8 TB/s | HGX 机架 |
H200 NVL · RTX PRO 6000 Server Edition · RTX 5090 · Workstation RTX 5090 · B300
开放模型的每秒 token 数与首个 token 延迟，每种硬件一行。每行最快的一次运行用的是不同的模型，所以请在同一行内比较，而不是跨行比较。
这些是注明来源的社区运行结果，不是 B3IQ 整机的测量。此处未发布 B3IQ 工作负载基准；请在计划使用的配置上验证模型、精度、上下文和并发。
| 硬件 | 模型 | 最快一次 | 首个 token |
|---|---|---|---|
| H200 SXM | Qwen3.5-122B-A10B-FP8 | 878.38 tok/s | 491 ms |
| H200 SXM | MiniMax-M2.5 | 503.74 tok/s | 368 ms |
| H200 SXM | MiniMax-M2.1 | 499.2 tok/s | 417 ms |
| H200 SXM | MiniMax-M2.7 | 495.88 tok/s | 349 ms |
| H200 SXM | MiniMax-M2 | 492.6 tok/s | 390 ms |
| H200 NVL | Qwen3.5-0.8B-Base | 2665.14 tok/s | 143 ms |
| H200 NVL | MiniMax-M2.7 | 338.89 tok/s | 570 ms |
| H200 NVL | MiniMax-M2.5 | 333.93 tok/s | 375 ms |
| H200 NVL | MiniMax-M2.1 | 332.9 tok/s | 642 ms |
| H200 NVL | MiniMax-M2 | 302.51 tok/s | 727 ms |
| RTX PRO 6000 Blackwell | Gemma-4-26B-A4B-NVFP4 | 1048 tok/s | — |
| RTX PRO 6000 Blackwell | Qwen3.6-35B-A3B-NVFP4 | 506.2 tok/s | 113.4 ms |
| RTX 3090 | LFM2.5-8B-A1B-GGUF | 302.9 tok/s | 144.2 ms |
| Radeon AI Pro R9700 | Qwen2.5-7B | 1405.39 tok/s | 270.64 ms |
| Radeon AI Pro R9700 | gpt-oss-20b | 991.1 tok/s | 175.4 ms |
| Radeon AI Pro R9700 | Qwen3.5-9B | 371.8 tok/s | 63.2 ms |
| Radeon AI Pro R9700 | Qwen3.5-27B | 286.64 tok/s | 110.63 ms |
| RTX 5090 | NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | 285.6 tok/s | 200 ms |
| RTX A5000 | gemma-3-1b-it-GGUF | 325.19 tok/s | — |
| RTX A5000 | Qwen2.5-1.5B-Instruct-GGUF | 320.55 tok/s | — |
| RX 7900 XTX | Qwen3.5-9B | 576.85 tok/s | 82.93 ms |
| RX 7900 XTX | Qwen3.5-0.8B-Q8_0.gguf | 346.22 tok/s | — |
https://www.localmaxxing.com — community-submitted local LLM benchmarks · 2026-05-31T03:17:06.105Z