硬件
我的电脑能运行什么?
回答关于您现有电脑的六个问题。结果会告诉您它属于哪个配置档、该配置档支持哪一类模型、证据进展到哪一步,以及它做不到什么。
兼容性由操作系统、架构、存储、加速和模型配置档共同决定,而不只看内存容量。
每一类机器适合做什么。
选择一个配置档。每个数字都是本页根据操作系统预留算出来的,这里没有任何一个是速度:速度只在实际测量过的地方公布。
Essential
尚未实测一台配备 16 GB 内存和足够 SSD 存储的兼容系统。
- 内存
- 16 GB
- 内存类型
- 统一内存, 系统内存
- 扣除操作系统后的可用量
- 一台 16 GB 的机器为操作系统预留 5 GB,剩下约 11 GB
- 模型类别
- 高效的本地助手
- 工作负载
- 本地聊天、一个高效的模型配置档、轻量编程,以及有限的文档集。
- 限制
- 前沿级模型不能在这里运行,我们也不会暗示可以。16 GB 是起点,并不代表一定可行:操作系统、架构、存储和加速都会影响判断。
Personal
尚未实测视平台而定,24 到 48 GB 的统一内存或系统内存。
- 内存
- 24–48 GB
- 内存类型
- 统一内存, 系统内存
- 扣除操作系统后的可用量
- 一台 32 GB 的机器为操作系统预留 6 GB,剩下约 26 GB
- 模型类别
- 高效与中等规模的开放模型
- 工作负载
- 完整的私有助手、附引用的文档,以及能力更强的模型配置档。
- 限制
- 在这一档,大型 Mixture-of-Experts 配置档仍然无法使用。
Professional
已在一台机器上实测64 到 128 GB 内存,或独立 GPU 配置,并配有足够的系统 RAM 和高速 NVMe。
- 内存
- 64–128 GB
- 内存类型
- 统一内存, 系统内存, GPU 内存
- 扣除操作系统后的可用量
- 一台 128 GB 的机器为操作系统预留 8 GB,剩下约 120 GB
- 模型类别
- 专业级开放模型
- 工作负载
- 更大的模型、大量文档集、本地 API 和专业自动化。
- 限制
- 这一类机器中,有证据的是一台拥有 130.7 GB 统一内存的机器。内存更少的机器不在其覆盖范围内,最大的配置档需要独占整台机器。
Frontier Workstation
尚未实测192 到 512 GB 统一内存,或同等的大内存工作站。
- 内存
- 192–512 GB
- 内存类型
- 统一内存, 系统内存
- 扣除操作系统后的可用量
- 一台 512 GB 的机器为操作系统预留 12 GB,剩下约 500 GB
- 模型类别
- 前沿级开放模型
- 工作负载
- 前沿级开放权重模型和高级本地工作负载。
- 限制
- 在这一档能用哪些模型由验证决定,而不只看内存。这一类机器还没有测量过,因此不为其声称任何模型。
Private AI Rack
计划中在私有网络中互相连接的多台可信电脑。
- 内存
- 多台机器
- 内存类型
- 分布在私有节点上
- 扣除操作系统后的可用量
- 按每台机器计算。每个节点保留自己的内存。
- 模型类别
- 跨多台机器的超大配置档
- 工作负载
- 为分布式执行、团队访问和超大模型配置档而设计。
- 限制
- 多节点执行已完成设计,尚未实现。每台机器保留自己的内存。各节点会通过明确的分布式执行汇集资源;它们不会组成一个共享的内存池。