ハードウェア
自分のコンピューターで何が動くか
お持ちのマシンについて6つの質問に答えてください。どのプロファイルに当たるか、そのプロファイルが対応するモデルのクラス、根拠がどこまであるか、何ができないかがわかります。
互換性は、メモリ容量だけでなく、OS、アーキテクチャ、ストレージ、アクセラレーション、モデルプロファイルの組み合わせで決まります。
マシンのクラスごとの用途。
プロファイルを選んでください。数値はすべて、このページで OS の予約分から計算したもので、速度ではありません。速度は実測したものだけを公開しています。
Essential
未計測16 GB のメモリと十分な SSD ストレージを備えた対応システム。
- メモリ
- 16 GB
- メモリの種類
- ユニファイドメモリ, システムメモリ
- OS 分を除いた利用可能量
- 16 GB のマシンは OS 用に 5 GB を確保し、約 11 GB が残ります
- モデルのクラス
- 効率的なローカルアシスタント
- 用途
- ローカルでのチャット、効率的なモデルプロファイル、軽いコーディング、限られた数の文書。
- 制限
- フロンティア級のモデルはここでは動きません。そうでないかのように言うこともしません。16 ギガバイトは入口であって、保証ではありません。OS、アーキテクチャ、ストレージ、アクセラレーションのすべてが判断にかかわります。
Personal
未計測プラットフォームに応じて、24〜48 GB のユニファイドメモリまたはシステムメモリ。
- メモリ
- 24–48 GB
- メモリの種類
- ユニファイドメモリ, システムメモリ
- OS 分を除いた利用可能量
- 32 GB のマシンは OS 用に 6 GB を確保し、約 26 GB が残ります
- モデルのクラス
- 効率的なオープンモデルと中規模のオープンモデル
- 用途
- 本格的なプライベートアシスタント、引用付きの文書、より能力の高いモデルプロファイル。
- 制限
- この段階では、大きな Mixture-of-Experts プロファイルには届きません。
Professional
1台で実測済み64〜128 GB のメモリ、または十分なシステム RAM と高速な NVMe を備えた独立 GPU 構成。
- メモリ
- 64–128 GB
- メモリの種類
- ユニファイドメモリ, システムメモリ, GPU メモリ
- OS 分を除いた利用可能量
- 128 GB のマシンは OS 用に 8 GB を確保し、約 120 GB が残ります
- モデルのクラス
- プロ向けのオープンモデル
- 用途
- より大きなモデル、大量の文書コレクション、ローカル API、業務の自動化。
- 制限
- このクラスでは、130.7 GB のユニファイドメモリを持つ1台のマシンについて根拠があります。メモリがそれより少ないマシンは対象外で、最大のプロファイルはマシンを専有する必要があります。
Frontier Workstation
未計測192〜512 GB のユニファイドメモリ、またはそれに相当する大容量メモリのワークステーション。
- メモリ
- 192–512 GB
- メモリの種類
- ユニファイドメモリ, システムメモリ
- OS 分を除いた利用可能量
- 512 GB のマシンは OS 用に 12 GB を確保し、約 500 GB が残ります
- モデルのクラス
- フロンティア級のオープンモデル
- 用途
- フロンティア級のオープンウェイトモデルと、高度なローカル作業。
- 制限
- この段階でどのモデルを使えるかは、メモリだけでなく検証によって決まります。このクラスのマシンはまだ計測していないため、対応モデルは示していません。
Private AI Rack
予定プライベートネットワーク内でつながった、信頼できる複数のコンピューター。
- メモリ
- 複数のマシン
- メモリの種類
- プライベートなノードに分散
- OS 分を除いた利用可能量
- マシンごと。各ノードが自分のメモリを持ちます。
- モデルのクラス
- 複数のマシンにまたがる非常に大きなプロファイル
- 用途
- 分散実行、チームでの利用、非常に大きなモデルプロファイルのために設計。
- 制限
- 複数ノードでの実行は設計済みですが、実装されていません。各マシンは自分のメモリを持ちます。ノードは明示的な分散実行によって資源を合わせて使う想定で、ひとつの共有メモリ領域にはなりません。