Hardwareanpassung
Speicher, Rechenleistung, Datenträger und Beschleunigung werden vom Rechner gelesen. Der Plan wird für diesen Rechner gemacht, nicht für einen durchschnittlichen, und er ändert sich, wenn sich die Hardware ändert.
Technik
Wie die Laufzeitumgebung KI an Ihren Rechner anpasst.
Ein Modell, das auf dem Papier passt, läuft in der Praxis nicht immer gut. Die Laufzeitumgebung von AI Stays Local plant mit der Hardware, die tatsächlich vorhanden ist, empfiehlt nur Profile mit erfassten Nachweisen und hält den gesamten Lebenszyklus auf Ihrem Rechner. Diese Seite erklärt den Ansatz, nicht die internen Verfahren der Engine.
Der Ansatz
Sieben Prinzipien hinter jedem Profil.
Modellprofile
Ein Profil ist ein bestimmtes Open-Weight-Modell in einer festgelegten Revision und einer angegebenen Präzision, zusammen mit der Hardware, auf der es bewertet wurde, und dem Ergebnis dieser Bewertung. Es ist die Einheit, die die Laufzeitumgebung empfiehlt, installiert und ausführt.
Speicher, Rechenleistung und Datenträger im Blick
Nutzbarer Speicher ist der Gesamtspeicher abzüglich dessen, was das Betriebssystem behält. Unified Memory, System-RAM und dedizierter GPU-Speicher gelten als verschiedene Ressourcen, und freier Datenträgerplatz ist Teil des Plans.
Lokaler Betrieb
Die Inferenz läuft auf dem Rechner, den Sie kontrollieren. Normale lokale Inferenz wird nicht pro Token abgerechnet, und eine Frage wird dort beantwortet, wo sie gestellt wurde.
Ausführungslebenszyklus
Bezug, Prüfung, Start, Zustandsprüfung, Stopp und Entfernung liegen bei der Laufzeitumgebung. Eine fehlgeschlagene Installation ersetzt kein geprüftes Modell, das bereits funktionierte.
Nachweisbasierte Validierung
Laufen, validiert sein, nutzbar sein und verfügbar sein sind getrennte Tatsachen und werden getrennt erfasst. Eine Parameterzahl gilt nie als Nachweis, und jede veröffentlichte Zahl nennt ihre Hardware und Methode.
Eine klare Datenschutzgrenze
Eingaben und Dokumente werden bei lokaler Inferenz auf dem Rechner verarbeitet. Das Netzwerk wird genutzt, um Laufzeitumgebung und Modelldateien zu beziehen, Lizenzprüfungen übertragen keine Inhalte, und Telemetrie ist standardmäßig aus.
Warum Profile statt Modelle
Dasselbe Modell kann auf einem Rechner die richtige Wahl sein und auf einem anderen die falsche.
Ob ein Modell nützlich ist, hängt vom Modell ab, von seiner Präzision, vom Speicher, den es nutzen kann, von der verfügbaren Beschleunigung, der Geschwindigkeit des Datenträgers, von dem es gelesen wird, und von der Arbeit, die es erledigen soll. Eine Speicherangabe allein sagt sehr wenig voraus.
Deshalb empfiehlt die Laufzeitumgebung Profile statt Modellnamen. Jedes Profil trägt die Nachweise, auf denen es beruht, und einen Zustand für jede Dimension, und die Empfehlung für einen Rechner stammt nur aus Profilen, deren Nachweise diese Hardwareklasse abdecken.
Was veröffentlicht wird
Was Sie prüfen können, und was im Produkt bleibt.
- Das Profil: Modell, Herausgeber, Lizenz, festgelegte Revision und Präzision.
- Die Hardware, auf der jede Messung durchgeführt wurde, und die Methode dahinter.
- Der Zustand jedes Profils: ob es läuft, validiert ist, nutzbar ist und verfügbar ist.
- Wie der Bezug geprüft wird, und was die lokale API annimmt.
Wie die Engine Modelldaten im Speicher platziert und verschiebt, ist Teil des Produkts und wird auf dieser Website nicht beschrieben.
Ehre, wem Ehre gebührt
Gebaut auf offenen Modellen, namentlich genannt.
Jedes Modell gehört seinem Herausgeber und steht unter seiner eigenen Lizenz. Die Engine-Vorarbeit anderer Projekte, die die Laufzeitumgebung nutzt, wird in den Produkthinweisen genannt, und Ergebnisse, die diese Projekte veröffentlichen, werden nie als unsere ausgegeben. AI Stays Local ist die Produktschicht darüber: Hardwareplanung, Bezug, Orchestrierung der Laufzeitumgebung, Lebenszyklusverwaltung und die Anwendungen. Die Laufzeitumgebung ist proprietär und wird nicht als Open Source bezeichnet.