跳到正文

对比每一台机器。 速度取决于带宽。

每生成一个 token 都要从 GPU 显存读取一遍模型权重,所以每秒 token 数大致等于显存带宽除以模型在显存中的大小。

显存最快的排在前面。

B3IQ 在售机器,按每块 GPU 的显存带宽排序

机器每块 GPU 带宽起价
H200 NVL4.8 TB/s$329,032
RTX 50901.8 TB/s$7,880
Workstation RTX 50901.8 TB/s$12,506
RTX PRO 6000 Server Edition1.6 TB/s$104,171

价格 = 我们的零部件到岸成本 + 一笔 5% 的组装与 AI 保障费,零部件不加价。下一步即可配置确切的机型。

了解数字背后的配置。

H200 NVL
GPU 外观

H200 NVL

每个 GPU 的内存
141 GB HBM3e
每块 GPU 带宽
4.8 TB/s
已安装 GPU 内存
8× · 1.13 TB
GPU 互连
支持 NVLink

已安装的 GPU 内存分布在各张卡上。支持互连并不代表模型能够运行,也不代表单一共享内存池;仍需考虑放置方式、运行时和工作负载。

查看这台机器 ↗

外观参考图。各视图独立取景,并非统一的物理比例。模型能否运行取决于运行时、缓存和工作负载。 目录规格说明所提供的配置。下方带日期的社区工作负载参考来自独立运行,并非这台机器的实测性能。

规格表。

显存

B3IQ 在售机器对比
H200 NVL$329,032
RTX PRO 6000 Server Edition$104,171
RTX 5090$7,880
Workstation RTX 5090$12,506
GPU 显存
8 × 141 GB HBM3e满配共 1.13 TB
最多 8 × 96 GB GDDR7满配共 768 GB
1 × 32 GB GDDR7满配共 32 GB
最多 2 × 32 GB GDDR7满配共 64 GB
系统内存DDR5 RDIMM · 1536 GBDDR5 RDIMM · 512–768 GBDDR5 UDIMM (consumer) · 64–128 GBDDR5 RDIMM · 64–512 GB

整机

外形4U 机架4U 机架准专业塔式机箱工作站塔式机箱
NVLink有无无无
CPU2× AMD EPYC 9355 (32c)2× AMD EPYC 9355 (32c)Ryzen 9 9950X (16c)Threadripper PRO 9955WX (16c)
存储4 TB NVMe4 TB NVMe2 TB NVMe4 TB NVMe
满载功耗6 kW2.8 kW1.6 kW2.4 kW
交付周期6–8 weeks6–8 weeks~1 week~1 week

实测速度。

开放模型的每秒 token 数与首个 token 延迟,每种硬件一行。每行最快的一次运行用的是不同的模型,所以请在同一行内比较,而不是跨行比较。

这些是注明来源的社区运行结果,不是 B3IQ 整机的测量。此处未发布 B3IQ 工作负载基准;请在计划使用的配置上验证模型、精度、上下文和并发。

按硬件分列的实测吞吐量

硬件最快一次首个 token模型
H200 SXM社区564 GB878 tok/sQwen3.5-122B-A10B-FP8491 ms5
H200 NVL社区141 GB搭载此 GPU 的机器2665 tok/sQwen3.5-0.8B-Base143 ms5
RTX PRO 6000 Blackwell社区96 GB搭载此 GPU 的机器1048 tok/sGemma-4-26B-A4B-NVFP4—2
RTX 3090社区48 GB303 tok/sLFM2.5-8B-A1B-GGUF144 ms1
Radeon AI Pro R9700社区32 GB1405 tok/sQwen2.5-7B271 ms4
RTX 5090社区32 GB搭载此 GPU 的机器286 tok/sNVIDIA-Nemotron-3-Nano-30B-A3B-BF16200 ms1
RTX A5000社区24 GB325 tok/sgemma-3-1b-it-GGUF—2
RX 7900 XTX社区24 GB577 tok/sQwen3.5-9B83 ms2

社区行来自 LocalMaxxing community。 快照日期:2026年5月。 localmaxxing.com