So funktioniert es
Was auf Ihrem Computer tatsächlich passiert
Kein Diagramm aus Kästen und Pfeilen. Hier ist das Ganze, in der Reihenfolge, in der Sie ihm begegnen würden.
Laufzeitumgebung und Dokumentantworten mit Quellenangaben funktionieren für zugelassene Tester. Die Desktop-App und das Container-Image sind geplant und noch nicht gebaut. Veröffentlichte Zeiten gelten nur für die Hardware, die im jeweiligen Benchmark genannt ist.
Sie wählen die Arbeit. AI Stays Local übernimmt die Konfiguration von Modell und Laufzeitumgebung.
Hardware prüfen
Prozessor, Beschleuniger, die Art des Speichers, wie schnell der Datenträger ist und was das Betriebssystem für sich behalten muss.
Eine geprüfte Konfiguration empfehlen
Das leistungsfähigste Modellprofil, das dieser Rechner gut ausführen kann, gewählt aus Profilen mit veröffentlichten Nachweisen, mit genannten Grenzen, bevor etwas heruntergeladen wird.
Das Modell beziehen und einrichten
Vom Herausgeber oder aus einem zugelassenen Repository, in einer unveränderlichen Revision, geprüft, bevor es als bereit gilt, und mit einer für diesen Rechner eingerichteten Laufzeitumgebung.
Lokal ausführen
Heute über die Kommandozeile oder die lokale API, für ausgewählte Tester. Die Desktop-App und das Container-Image sind geplant.
Wählen Sie Ihre Dokumente
Nennen Sie die Ordner, die es kennen soll. Außerhalb davon wird nichts gelesen, und Sie können einen Ordner jederzeit zurücknehmen.
Fragen Sie ganz natürlich
In normaler Sprache, so wie Sie jemanden im Team fragen würden, der alles gelesen hat und sich an alles erinnert.
Antworten mit lokalen Quellen
Jede Antwort aus Ihren Dokumenten nennt Datei und Seite dahinter, sodass Sie die Aussage selbst prüfen können.
Jedes nützliche KI-Werkzeug will zuerst Ihre Dateien
Das Muster ist so alltäglich, dass es nicht mehr als Entscheidung wahrgenommen wird. Sie brauchen Hilfe bei einem Vertrag, bei Fallnotizen oder bei den Finanzunterlagen eines Mandanten, also hängen Sie die Datei an, und sie geht an eine Infrastruktur, die Ihnen nicht gehört, zu Bedingungen, die Sie nicht verhandelt haben, in Protokolle, die Sie nicht einsehen können.
Für die meisten Menschen ist das meistens ein vertretbarer Tausch. Für ein Dokument, das Sie beruflich schützen müssen, ist es ein Tausch, den Sie womöglich gar nicht eingehen dürfen. Und die Alternative war bisher meist, auf die Hilfe zu verzichten.
Das Modell kann auch zum Dokument kommen.
Große Modelle ohne einen Raum voller GPUs.
Ein validiertes Profil braucht keine GPU-Farm.
Die meiste Infrastruktur für große Modelle hält riesige Mengen an Gewichten im Speicher der Beschleuniger. Das bringt hervorragende Geschwindigkeit und verlangt teure Hardware.
Mixture-of-Experts-Modelle eröffnen einen anderen Weg. An jedem erzeugten Token ist nur ein Teil der spezialisierten Experten beteiligt. Eine hardwarebewusste Laufzeitumgebung kann daher häufig genutzte Komponenten im Speicher halten und die übrigen bei Bedarf vom lokalen NVMe-Speicher nachladen.
Herkömmlicher Einsatz
- Alle Modellgewichte im Speicher
- Mehrere Rechenzentrums-GPUs
- Großer Bedarf an Beschleunigerspeicher
- Cloud oder dedizierter Servercluster
Architektur von AI Stays Local
- Modell lokal gespeichert
- Der Experten-Router wählt pro Token
- Ausgewählte Experten aktiviert
- RAM und lokale Rechenleistung
- Experten-Streaming von NVMe
- Optionale GPU-Beschleunigung
- Kein GPU-Cluster vorausgesetzt
- Keine Cloud-Inferenz vorausgesetzt
Es ist ein praktischer Tausch: lokale Hoheit und Zugang zu deutlich größeren Modellen, ohne dass jeder Parameter gleichzeitig im GPU-Speicher liegen muss.
Hardwareanforderungen und Geschwindigkeit hängen vom Modell ab. Größere Systeme können viel RAM und schnellen NVMe-Speicher erfordern, und Modelle extremer Größe können langsamer sein als Cloud-Inferenz.
Ein Modell ist eine Datei, die Sie einmal herunterladen
Überraschend ist, wie gewöhnlich das Ganze ist. Ein Modell ist eine große Datei: einige Gigabyte, manchmal mehr. Sie liegt auf Ihrem Datenträger. Wenn Sie eine Frage stellen, führt Ihr Computer die Rechnung aus, die aus der Frage eine Antwort macht, so wie er die Rechnungen einer Tabellenkalkulation ausführt. Nichts wird gemietet, nichts wird nach Verbrauch abgerechnet.
Was Sie das kostet, ist Leistungsfähigkeit. Ein Modell, das klein genug für einen Laptop ist, ist nicht das größte Modell der Welt, und bei wirklich schwierigem Schlussfolgern wird es diesem unterliegen. Was es dafür gewinnt, ist alles andere: Ihre Dokumente bleiben, wo sie sind, es funktioniert im Flugzeug, und niemand stellt Ihnen jede Frage in Rechnung.
Wird ein Ordner ausgeschaltet, wird sein Index von diesem Rechner entfernt.
Einen Ordner freizugeben ist das ganze Berechtigungsmodell
AI Stays Local liest, was Sie freigeben, und sonst nichts. Die Freigabe eines Ordners erstellt auf Ihrem Rechner einen Index dieses Ordners, einen Wortindex, der ihn durchsuchbar macht. Wird die Freigabe zurückgenommen, wird dieser Index gelöscht.
Es gibt kein Konto, in dem Ihre Dateien liegen, weil es kein Konto gibt, in dem Ihre Dateien liegen. Das Privacy Centre soll der eine Bildschirm sein, der auf einen Blick zeigt, was lesbar ist, was indexiert ist und ob überhaupt etwas nach außen darf.
Eine Antwort, die ihre Quelle zeigt
Stammt eine Antwort aus Ihren Dokumenten, trägt sie den Dateinamen und die verwendete Passage. Das ist keine Dekoration. Sprachmodelle machen Fehler mit großer Überzeugung, und die einzige praktische Absicherung für jemanden, dessen berufliche Pflichten auf dem Spiel stehen, ist, sich zum Absatz durchzuklicken und ihn selbst zu lesen.
Sie
Welche Kündigungsfrist muss ich Kaplan & Ruiz gegenüber einhalten, und unterscheidet sie sich vom Nordwind-Vertrag?
AI Stays Local
Dreißig Tage bei Nordwind, sechzig bei Kaplan & Ruiz. Beide Fristen laufen ab der schriftlichen Kündigung, und die Nordwind-Klausel verlangt sie schriftlich an die eingetragene Anschrift statt per E-Mail.
Keiner der beiden Verträge erlaubt eine Kündigung ohne Grund innerhalb des ersten Jahres.
Ein Rechner erledigt die Arbeit
Die Arbeit geschieht auf einem Rechner, den Sie kontrollieren, denn dort sind Prozessor, Speicher und Dokumente bereits. Der Plan darüber hinaus ist nicht, Ihre Daten auf mehr Geräte zu verteilen, sondern den Geräten, denen Sie schon vertrauen, den Zugriff auf den einen Rechner zu geben, der sie hält.
Desktop
Die geführte Desktop-Anwendung. Geplant und noch nicht gebaut; heute wird die Laufzeitumgebung über die Kommandozeile und die lokale API genutzt.
GeplantIhre anderen Computer
Über Ihr eigenes Netzwerk auf den Rechner zugreifen, der Ihre Dokumente hält.
GeplantSmartphone und Tablet
Eine private Verbindung zurück zu Ihrem eigenen Rechner statt einer zweiten Kopie Ihrer Daten.
Geplant