對比每一台機器。 速度取決於頻寬。
每產生一個 token 都要從 GPU 記憶體讀取一遍模型權重,所以每秒 token 數大致等於記憶體頻寬除以模型在記憶體中的大小。
記憶體最快的排在前面。
B3IQ 在售機器,按每張 GPU 的記憶體頻寬排序
機器每張 GPU 頻寬起價
價格 = 我們的零組件到岸成本 + 一筆 5% 的組裝與 AI 保障費,零組件不加價。下一步即可設定確切的機型。
了解數字背後的設定。

GPU 外觀
H200 NVL
- 每個 GPU 的記憶體
- 141 GB HBM3e
- 每張 GPU 頻寬
- 4.8 TB/s
- 已安裝 GPU 記憶體
- 8× · 1.13 TB
- GPU 互連
- 支援 NVLink
已安裝的 GPU 記憶體分布在各張卡上。支援互連並不代表模型能夠執行,也不代表單一共享記憶體池;仍需考慮配置方式、執行環境與工作負載。
查看這台機器 ↗外觀參考圖。各視圖獨立取景,並非統一的物理比例。模型能否執行取決於執行環境、快取與工作負載。 目錄規格說明所提供的設定。下方帶日期的社群工作負載參考來自獨立執行,並非這台機器的實測效能。
規格表。
記憶體
H200 NVL$329,032 | RTX PRO 6000 Server Edition$104,171 | RTX 5090$7,880 | Workstation RTX 5090$12,506 | |
|---|---|---|---|---|
| GPU 記憶體 | ||||
| 系統記憶體 | DDR5 RDIMM · 1536 GB | DDR5 RDIMM · 512–768 GB | DDR5 UDIMM (consumer) · 64–128 GB | DDR5 RDIMM · 64–512 GB |
整機
| 外形 | 4U 機架 | 4U 機架 | 準專業塔式機殼 | 工作站塔式機殼 |
|---|---|---|---|---|
| NVLink | 有 | 無 | 無 | 無 |
| CPU | 2× AMD EPYC 9355 (32c) | 2× AMD EPYC 9355 (32c) | Ryzen 9 9950X (16c) | Threadripper PRO 9955WX (16c) |
| 儲存 | 4 TB NVMe | 4 TB NVMe | 2 TB NVMe | 4 TB NVMe |
| 滿載功耗 | 6 kW | 2.8 kW | 1.6 kW | 2.4 kW |
| 交期 | 6–8 weeks | 6–8 weeks | ~1 week | ~1 week |
實測速度。
開放模型的每秒 token 數與首個 token 延遲,每種硬體一行。每行最快的一次執行用的是不同的模型,所以請在同一行內比較,而非跨行比較。
這些是註明來源的社群執行結果,不是 B3IQ 整機的測量。此處未發佈 B3IQ 工作負載基準;請在預計使用的配置上驗證模型、精度、上下文和並行。
按硬體分列的實測吞吐量
硬體最快一次首個 token模型
H200 SXM878 tok/sQwen3.5-122B-A10B-FP8491 ms5
H200 NVL2665 tok/sQwen3.5-0.8B-Base143 ms5
RTX PRO 6000 Blackwell1048 tok/sGemma-4-26B-A4B-NVFP4—2
RTX 3090303 tok/sLFM2.5-8B-A1B-GGUF144 ms1
Radeon AI Pro R97001405 tok/sQwen2.5-7B271 ms4
RTX 5090286 tok/sNVIDIA-Nemotron-3-Nano-30B-A3B-BF16200 ms1
RTX A5000325 tok/sgemma-3-1b-it-GGUF—2
RX 7900 XTX577 tok/sQwen3.5-9B83 ms2
社群行來自 LocalMaxxing community。 快照日期:2026年5月。 localmaxxing.com
在兩台之間猶豫?
下一步:哪些模型放得下






