Adaptación al hardware
La memoria, la capacidad de cómputo, el almacenamiento y la aceleración se leen de la máquina. El plan se hace para esa máquina, no para una media, y cambia cuando cambia el hardware.
Tecnología
Cómo adapta el entorno de ejecución la IA a su máquina.
Un modelo que cabe sobre el papel no siempre funciona bien en la práctica. El entorno de ejecución de AI Stays Local planifica en función del hardware que realmente hay, recomienda solo perfiles con evidencia registrada y mantiene todo el ciclo de vida en su máquina. Esta página explica el enfoque, no los métodos internos del motor.
El enfoque
Siete principios detrás de cada perfil.
Perfiles de modelo
Un perfil es un modelo de pesos abiertos concreto en una revisión fijada y con una precisión indicada, junto con el hardware en el que se evaluó y lo que encontró la evaluación. Es la unidad que el entorno de ejecución recomienda, instala y ejecuta.
Conocimiento de la memoria, el cómputo y el almacenamiento
La memoria utilizable es la memoria total menos lo que se reserva el sistema operativo. La memoria unificada, la RAM del sistema y la memoria de una GPU dedicada se tratan como recursos distintos, y el almacenamiento libre forma parte del plan.
Funcionamiento local
La inferencia se ejecuta en la máquina que usted controla. La inferencia local normal no se factura por token, y una pregunta se responde donde se hizo.
Ciclo de vida de ejecución
La obtención, la verificación, el arranque, el estado, la parada y la eliminación corresponden al entorno de ejecución. Una instalación fallida no sustituye a un modelo verificado que ya funcionaba.
Validación basada en evidencia
Ejecutarse, estar validado, ser utilizable y estar disponible son hechos distintos, registrados por separado. Un número de parámetros nunca se trata como evidencia, y cada cifra publicada indica su hardware y su método.
Un límite de privacidad claro
Las peticiones y los documentos se procesan en la máquina durante la inferencia local. La red se usa para obtener el entorno de ejecución y los archivos del modelo, las comprobaciones de licencia no transmiten contenido y la telemetría está desactivada por defecto.
Por qué perfiles y no modelos
El mismo modelo puede ser la elección correcta en una máquina y la equivocada en otra.
Que un modelo sea útil depende del modelo, de su precisión, de la memoria que puede usar, de la aceleración disponible, de la velocidad del almacenamiento desde el que se lee y del trabajo que se le pide. Una cifra de memoria, por sí sola, predice muy poco.
Por eso el entorno de ejecución recomienda perfiles en lugar de nombres de modelos. Cada perfil lleva la evidencia que lo respalda y un estado para cada dimensión, y la recomendación para una máquina se toma solo de perfiles cuya evidencia cubre esa clase de hardware.
Qué se publica
Lo que usted puede comprobar, y lo que queda dentro del producto.
- El perfil: modelo, editor, licencia, revisión fijada y precisión.
- El hardware en el que se tomó cada medición, y el método que la respalda.
- El estado de cada perfil: si se ejecuta, si está validado, si es utilizable y si está disponible.
- Cómo se verifica la obtención, y qué acepta la API local.
Cómo coloca y mueve el motor los datos del modelo en la memoria forma parte del producto y no se describe en este sitio.
Reconocimiento a quien corresponde
Construido sobre modelos abiertos, reconocidos por su nombre.
Cada modelo pertenece a su editor, bajo su propia licencia. El trabajo de los motores de terceros que usa el entorno de ejecución se reconoce en los avisos del producto, y los resultados publicados por proyectos de terceros nunca se presentan como nuestros. AI Stays Local es la capa de producto que va encima: planificación del hardware, obtención, orquestación del entorno de ejecución, gestión del ciclo de vida y las aplicaciones. El entorno de ejecución es propietario y no se describe como código abierto.