AI Stays Local

技术

运行时如何让 AI 适配您的机器。

纸面上装得下的模型,实际运行起来不一定好。AI Stays Local 运行时围绕实际存在的硬件进行规划,只推荐有记录证据的配置档,并把整个生命周期保留在您的机器上。本页说明的是方法,而不是引擎的内部机制。

方法

每个配置档背后的七项原则。

硬件适配

内存、算力、存储和加速能力都从机器上读取。规划针对这台机器制定,而不是针对一台平均水平的机器,硬件变化时规划也会随之改变。

模型配置档

配置档是指某个特定的开放权重模型,采用固定的修订版本和明确的精度,并附带评估所用的硬件以及评估结果。它是运行时推荐、安装和运行的基本单位。

内存、算力与存储感知

可用内存等于总内存减去操作系统保留的部分。统一内存、系统 RAM 和独立 GPU 内存被视为不同的资源,可用存储空间也是规划的一部分。

本地运行

推理在您掌控的机器上运行。正常的本地推理不按 token 计费,问题在哪里提出,就在哪里得到回答。

执行生命周期

获取、校验、启动、健康检查、停止和删除都由运行时负责。安装失败不会替换已在正常工作的已校验模型。

基于证据的验证

能运行、已验证、可用和可获取是不同的事实,分别记录。参数量从不被当作证据,每个公布的数字都注明其硬件和方法。

清晰的隐私边界

本地推理期间,提示词和文档在机器上处理。网络用于获取运行时和模型文件,许可证检查不携带任何内容,遥测默认关闭。

为什么是配置档,而不是模型

同一个模型,在一台机器上可能是正确的选择,在另一台上却可能是错误的。

一个模型是否有用,取决于模型本身、它的精度、它能使用的内存、可用的加速能力、读取它的存储的速度,以及它要完成的工作。单看一个内存数字,几乎预测不了什么。

因此,运行时推荐的是配置档,而不是模型名称。每个配置档都附带其背后的证据以及各个维度的状态,为一台机器给出的推荐只从证据覆盖该类硬件的配置档中选取。

公开的内容

哪些您可以核查,哪些保留在产品内部。

  • 配置档:模型、发布者、许可证、固定修订版本和精度。
  • 每项测量所用的硬件,以及背后的方法。
  • 每个配置档的状态:是否能运行、是否已验证、是否可用、是否可获取。
  • 获取过程如何校验,以及本地 API 接受什么。

引擎如何在内存中放置和移动模型数据属于产品的一部分,本网站不作描述。

安全与隐私边界 (英文)

功劳归于应得者

构建于开放模型之上,并逐一署名致谢。

每个模型都归其发布者所有,适用各自的许可证。运行时所使用的上游引擎成果在产品声明中注明致谢,上游项目报告的结果从不被说成是我们的。AI Stays Local 是在此之上的产品层:硬件规划、获取、运行时编排、生命周期管理以及各类应用。运行时是专有软件,我们不将其描述为开源。

第三方声明 (英文)