什麼裝得下。 什麼能證明。
模型名稱和 GPU 記憶體總量並不是部署測試。我們把來源事實、設定選擇和實測資料分開呈現，讓你看清一項建議背後的依據。
更新於 2026-09-30 · B3IQ 工程團隊
四種證據。
上游已記錄
發布方的檢查點身分、授權中繼資料以及預期的輸入或輸出。每份指南都連結到所審閱的模型卡版本。這證明的是來源的說法，而不是 B3IQ 已經部署了它。
目錄已設定
確切的執行環境設定檔、產物識別碼、已設定的上下文、並行數和記憶體門檻。這些值來自共享模型目錄及其硬體配套資料。標籤可能變動；未固定版本的產物會被標示。
估算
用於早期規劃的算術，附帶公式和排除項。估算無法證明安裝成功、完整上下文能否裝下、回答品質或延遲目標。
B3IQ 實測
在明確的硬體和軟體上可重現的執行，附帶工作負載、結果和日期。目前的模型指南不發布 B3IQ 基準測試結果。目錄標記或上游分數不能取代執行記錄。
記憶體由多個部分組成。
權重只是開始。推論服務還需要激活值、執行階段緩衝區，而對於自迴歸文字模型，還需要隨序列長度和並行請求數增長的 KV 快取。
同一個檢查點在不同的量化、執行環境和工作負載設定下，所需記憶體可能不同。分布在多張卡上的 GPU 記憶體並不會自動成為一個可用的整體。
僅計權重的算術
參數量（十億）× 位元數 ÷ 8 = 十進位 GB
在 16 位元下，每個參數佔兩個位元組。它不包括量化中繼資料、未量化的層、緩衝區和 KV 快取。目錄中的參數量可能經過四捨五入。
現有的規劃工具會加上 20% 並取整到整數 GB。這個預留量是經驗法則，而不是針對特定上下文或並行數的測量。小模型的取整可能使其不適用；請使用權重算術並測量完整程序。
機器候選只是起點。
我們透過設定工具所用的同一套硬體與定價引擎，把設定檔在目錄中的正數記憶體門檻與商店中可見的配置進行比對。一台機器出售時所配的 GPU 數量可能多於模型最低記憶體計算所需。
詳情指南會連結到比對得出的 GPU 數量和配置。目前價格和供應情況以機器頁面為準。門檻缺失、商店機型清單未知或不支援的比對，都不會產生自動推薦。
購買前，請確認執行環境支援、精度、GPU 拓撲、CPU/記憶體、儲存以及工作負載的效能目標。沒有經過驗證的客戶路徑，任何指南都不會提供部署操作。
發布的基準測試需要什麼。
結果必須與某個配置和某個工作負載綁定。在稱其為 B3IQ 測量結果之前，我們要求具備以下內容：
- 模型版本和產物摘要；執行環境、驅動程式和相關核心版本。
- 確切的 GPU 型號和數量、互連、CPU、系統記憶體和精度。
- 輸入/輸出長度或媒體尺寸/時長、批次大小、並行數、推理（reasoning）模式設定和暖機。
- 多次重複執行，並保留峰值記憶體、錯誤和記憶體不足（OOM）故障記錄。
- 文字模型的首個 Token 時間、Token 間延遲和總吞吐量；嵌入、視覺或音訊模型則採用與工作相符的品質和延遲指標。
- 執行日期、重現步驟、審閱人，以及結果適用範圍的明確限制。
社群報告有助於選擇測試，但其吞吐量不會作為 B3IQ 的結果呈現。歷史結果也不能證明現在有可用容量。
指南如何保持最新。
模型身分和執行環境設定保留在共享目錄中。商店配置和價格保留在商店中。公開發布記錄保存所審閱的來源、原始說明和路由；它不另外維護一張規格表。
目錄探索可以提出一個模型。發布則需要經過審閱的身分、來源、存取條款和有用的指引。執行環境變更、產物變更和授權變更都會觸發審閱；舊的測試仍附在所測試的版本上。
我們只發布列入允許清單的設定檔。租戶模型名稱、私有儲存庫、提示詞、節點位址和客戶資料不會進入公開頁面。