토큰 하나를 쓸 때마다 GPU 메모리에서 모델 가중치를 읽습니다. 그래서 초당 토큰 수는 대략 메모리 대역폭을 메모리에 올린 모델 크기로 나눈 값입니다.
| 머신 | VRAM | GPU당 대역폭 | 폼 팩터 |
|---|---|---|---|
| H200 NVL | 141 GB HBM3e | 4.8 TB/s | 4U rack |
| RTX PRO 6000 Server Edition | 96 GB GDDR7 | 1.6 TB/s | 4U rack |
| RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Prosumer tower |
| Workstation RTX 5090 | 32 GB GDDR7 | 1.8 TB/s | Workstation tower |
| B300 | 288 GB HBM3e | 8 TB/s | HGX 랙 |
H200 NVL · RTX PRO 6000 Server Edition · RTX 5090 · Workstation RTX 5090 · B300
오픈 모델의 초당 토큰 수와 첫 토큰까지의 시간을 하드웨어별로 한 행씩. 행마다 가장 빠른 실행은 서로 다른 모델이므로, 행끼리가 아니라 한 행 안에서 비교하세요.
출처를 명시한 커뮤니티 실행 결과이며, B3IQ 구성의 측정값은 아닙니다. 여기에 B3IQ 워크로드 벤치마크는 게시되어 있지 않습니다. 사용하려는 구성에서 모델, 정밀도, 컨텍스트와 동시 실행을 검증하세요.
| 하드웨어 | 모델 | 최고 속도 | 첫 토큰 |
|---|---|---|---|
| H200 SXM | Qwen3.5-122B-A10B-FP8 | 878.38 tok/s | 491 ms |
| H200 SXM | MiniMax-M2.5 | 503.74 tok/s | 368 ms |
| H200 SXM | MiniMax-M2.1 | 499.2 tok/s | 417 ms |
| H200 SXM | MiniMax-M2.7 | 495.88 tok/s | 349 ms |
| H200 SXM | MiniMax-M2 | 492.6 tok/s | 390 ms |
| H200 NVL | Qwen3.5-0.8B-Base | 2665.14 tok/s | 143 ms |
| H200 NVL | MiniMax-M2.7 | 338.89 tok/s | 570 ms |
| H200 NVL | MiniMax-M2.5 | 333.93 tok/s | 375 ms |
| H200 NVL | MiniMax-M2.1 | 332.9 tok/s | 642 ms |
| H200 NVL | MiniMax-M2 | 302.51 tok/s | 727 ms |
| RTX PRO 6000 Blackwell | Gemma-4-26B-A4B-NVFP4 | 1048 tok/s | — |
| RTX PRO 6000 Blackwell | Qwen3.6-35B-A3B-NVFP4 | 506.2 tok/s | 113.4 ms |
| RTX 3090 | LFM2.5-8B-A1B-GGUF | 302.9 tok/s | 144.2 ms |
| Radeon AI Pro R9700 | Qwen2.5-7B | 1405.39 tok/s | 270.64 ms |
| Radeon AI Pro R9700 | gpt-oss-20b | 991.1 tok/s | 175.4 ms |
| Radeon AI Pro R9700 | Qwen3.5-9B | 371.8 tok/s | 63.2 ms |
| Radeon AI Pro R9700 | Qwen3.5-27B | 286.64 tok/s | 110.63 ms |
| RTX 5090 | NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | 285.6 tok/s | 200 ms |
| RTX A5000 | gemma-3-1b-it-GGUF | 325.19 tok/s | — |
| RTX A5000 | Qwen2.5-1.5B-Instruct-GGUF | 320.55 tok/s | — |
| RX 7900 XTX | Qwen3.5-9B | 576.85 tok/s | 82.93 ms |
| RX 7900 XTX | Qwen3.5-0.8B-Q8_0.gguf | 346.22 tok/s | — |
https://www.localmaxxing.com — community-submitted local LLM benchmarks · 2026-05-31T03:17:06.105Z