Loading
Taking longer than expected.
Reload page

何が収まるか。 何を証明できるか。

モデル名と GPU メモリの合計は、デプロイのテストではありません。出典の事実、構成の選択、測定結果を分けて示すことで、推奨の根拠が何かを確認できるようにしています。

更新日 2026-09-30 · B3IQ エンジニアリング

4 種類の証拠。

01

上流で文書化

公開元のチェックポイントの識別情報、ライセンスのメタデータ、想定される入力または出力。各ガイドはレビューしたモデルカードのリビジョンにリンクします。これは出典の記述を証明するもので、B3IQ がデプロイ済みであることを示すものではありません。

02

カタログで構成

正確なランタイムプロファイル、アーティファクト識別子、設定済みのコンテキスト、同時実行数、メモリしきい値。これらの値は共有モデルカタログとそのハードウェア付属データに由来します。タグは変わることがあり、固定されていないアーティファクトにはその旨を表示します。

03

見積もり

初期計画のための計算で、式と除外項目を添えています。見積もりでは、インストールの成功、フルコンテキストでの適合、回答品質、レイテンシ目標を立証できません。

04

B3IQ による測定

特定したハードウェアとソフトウェア上での再現可能な実行で、ワークロード、結果、日付を伴います。現在のモデルガイドは B3IQ のベンチマーク結果を公開していません。カタログのフラグや上流のスコアは実行記録の代わりにはなりません。

メモリは複数の部分からなる。

重みは始まりにすぎません。サービングには活性化、ランタイムのバッファ、そして自己回帰型テキストモデルではシーケンス長と同時リクエスト数に応じて増える KV キャッシュも必要です。

同じチェックポイントでも、量子化、ランタイム、ワークロードの設定が異なれば必要なメモリは変わります。複数のカードに分かれた GPU メモリは、自動的にひとつの使えるプールにはなりません。

重みのみの計算

パラメータ数(十億)× ビット数 ÷ 8 = 10 進 GB

16 ビットでは、パラメータ 1 つあたり 2 バイトです。量子化のメタデータ、量子化されていない層、バッファ、KV キャッシュは含みません。カタログのパラメータ数は丸められている場合があります。

既存の計画ヘルパーは 20% を加えて整数 GB に丸めます。この予備は経験則であり、コンテキストや同時実行数に固有の測定ではありません。小さなモデルでは丸めにより不適切になることがあります。重みの計算を使い、プロセス全体を測定してください。

マシン候補は出発点。

設定ツールと同じハードウェア・価格エンジンを通じて、プロファイルのカタログ上の正のメモリしきい値を、ストアで表示中の構成と照合します。マシンは、モデルの最小メモリ計算が求めるより多くの GPU を積んで販売されることがあります。

詳細ガイドは、照合で得られた GPU 数と構成にリンクします。現在の価格と在庫はマシンページに記載します。しきい値がない、ストアの機種一覧が不明、適合が未対応の場合、自動の推奨は行いません。

購入前に、ランタイムの対応、精度、GPU トポロジー、CPU/RAM、ストレージ、ワークロードの性能目標を確認してください。検証済みの顧客向け手順がない限り、どのガイドもデプロイ操作を提供しません。

公開ベンチマークに必要なもの。

結果は構成とワークロードに結び付いていなければなりません。B3IQ の測定と呼ぶ前に、次を必須としています。

  • モデルのリビジョンとアーティファクトのダイジェスト。ランタイム、ドライバー、関連するカーネルのバージョン。
  • 正確な GPU のエディションと枚数、インターコネクト、CPU、システム RAM、精度。
  • 入出力の長さまたはメディアの寸法/再生時間、バッチサイズ、同時実行数、リーズニング設定、ウォームアップ。
  • ピークメモリ、エラー、メモリ不足の失敗を記録に残した複数回の実行。
  • テキストでは最初のトークンまでの時間、トークン間レイテンシ、総スループット。埋め込み、画像、音声ではタスクに適した品質とレイテンシ。
  • 実行日、再現手順、レビュー担当者、結果が適用される範囲の明示的な限界。

コミュニティの報告はテスト選びの参考になりますが、そのスループットを B3IQ の結果として示すことはありません。過去の結果は、今その容量が利用できることの証明にもなりません。

ガイドを最新に保つ方法。

モデルの識別情報とランタイム設定は共有カタログに置かれます。ストアの構成と価格はストアに置かれます。公開の発行記録はレビューした出典、元の説明、ルートを保持し、別の仕様表は維持しません。

カタログの検出はモデルを提案できます。公開には、レビュー済みの識別情報、出典、アクセス条件、役に立つガイダンスが必要です。ランタイム、アーティファクト、ライセンスの変更はレビューを引き起こし、古いテストはテストしたバージョンに結び付いたままです。

公開するのは許可リストに載ったプロファイルだけです。テナントのモデル名、プライベートリポジトリ、プロンプト、ノードのアドレス、顧客データは公開ページには流れません。

技術リファレンス。