跳到正文

對比每一台機器。 速度取決於頻寬。

每產生一個 token 都要從 GPU 記憶體讀取一遍模型權重,所以每秒 token 數大致等於記憶體頻寬除以模型在記憶體中的大小。

記憶體最快的排在前面。

B3IQ 在售機器,按每張 GPU 的記憶體頻寬排序

機器每張 GPU 頻寬起價
H200 NVL4.8 TB/s$329,032
RTX 50901.8 TB/s$7,880
Workstation RTX 50901.8 TB/s$12,506
RTX PRO 6000 Server Edition1.6 TB/s$104,171

價格 = 我們的零組件到岸成本 + 一筆 5% 的組裝與 AI 保障費,零組件不加價。下一步即可設定確切的機型。

了解數字背後的設定。

H200 NVL
GPU 外觀

H200 NVL

每個 GPU 的記憶體
141 GB HBM3e
每張 GPU 頻寬
4.8 TB/s
已安裝 GPU 記憶體
8× · 1.13 TB
GPU 互連
支援 NVLink

已安裝的 GPU 記憶體分布在各張卡上。支援互連並不代表模型能夠執行,也不代表單一共享記憶體池;仍需考慮配置方式、執行環境與工作負載。

查看這台機器 ↗

外觀參考圖。各視圖獨立取景,並非統一的物理比例。模型能否執行取決於執行環境、快取與工作負載。 目錄規格說明所提供的設定。下方帶日期的社群工作負載參考來自獨立執行,並非這台機器的實測效能。

規格表。

記憶體

B3IQ 在售機器對比
H200 NVL$329,032
RTX PRO 6000 Server Edition$104,171
RTX 5090$7,880
Workstation RTX 5090$12,506
GPU 記憶體
8 × 141 GB HBM3e滿配共 1.13 TB
最多 8 × 96 GB GDDR7滿配共 768 GB
1 × 32 GB GDDR7滿配共 32 GB
最多 2 × 32 GB GDDR7滿配共 64 GB
系統記憶體DDR5 RDIMM · 1536 GBDDR5 RDIMM · 512–768 GBDDR5 UDIMM (consumer) · 64–128 GBDDR5 RDIMM · 64–512 GB

整機

外形4U 機架4U 機架準專業塔式機殼工作站塔式機殼
NVLink有無無無
CPU2× AMD EPYC 9355 (32c)2× AMD EPYC 9355 (32c)Ryzen 9 9950X (16c)Threadripper PRO 9955WX (16c)
儲存4 TB NVMe4 TB NVMe2 TB NVMe4 TB NVMe
滿載功耗6 kW2.8 kW1.6 kW2.4 kW
交期6–8 weeks6–8 weeks~1 week~1 week

實測速度。

開放模型的每秒 token 數與首個 token 延遲,每種硬體一行。每行最快的一次執行用的是不同的模型,所以請在同一行內比較,而非跨行比較。

這些是註明來源的社群執行結果,不是 B3IQ 整機的測量。此處未發佈 B3IQ 工作負載基準;請在預計使用的配置上驗證模型、精度、上下文和並行。

按硬體分列的實測吞吐量

硬體最快一次首個 token模型
H200 SXM社群564 GB878 tok/sQwen3.5-122B-A10B-FP8491 ms5
H200 NVL社群141 GB搭載此 GPU 的機器2665 tok/sQwen3.5-0.8B-Base143 ms5
RTX PRO 6000 Blackwell社群96 GB搭載此 GPU 的機器1048 tok/sGemma-4-26B-A4B-NVFP4—2
RTX 3090社群48 GB303 tok/sLFM2.5-8B-A1B-GGUF144 ms1
Radeon AI Pro R9700社群32 GB1405 tok/sQwen2.5-7B271 ms4
RTX 5090社群32 GB搭載此 GPU 的機器286 tok/sNVIDIA-Nemotron-3-Nano-30B-A3B-BF16200 ms1
RTX A5000社群24 GB325 tok/sgemma-3-1b-it-GGUF—2
RX 7900 XTX社群24 GB577 tok/sQwen3.5-9B83 ms2

社群行來自 LocalMaxxing community。 快照日期:2026年5月。 localmaxxing.com