Fragen und Antworten

AI Stays Local ist private KI für Dateien, die Sie nicht hochladen können. Es betreibt ein Open-Weight-Modell auf Hardware, die Sie kontrollieren: Sie geben ausgewählte Ordner frei, stellen Fragen in normaler Sprache und prüfen jede Antwort an der zitierten Datei und Seite, und wenn der Nachweis fehlt, ist es darauf ausgelegt, abzulehnen. Es prüft Ihren Rechner und empfiehlt ein dazu passendes Modellprofil. Im lokalen Modus bleiben die Dokumente, zu denen Sie fragen, auf Ihrem Gerät.

Über die private Beta, ja. Laufzeitumgebung und Dokumentantworten mit Quellenangaben funktionieren für zugelassene Tester. Die Desktop-App und das Container-Image sind geplant und noch nicht gebaut. Veröffentlichte Zeiten gelten nur für die Hardware, die im jeweiligen Benchmark genannt ist. Über das Anfrageformular auf dieser Website bitten Sie um Zugang.

Diese Dienste laufen auf der Infrastruktur des Anbieters: Ihre Eingabe und jede angehängte Datei werden dorthin gesendet. Hier läuft das Modell auf Ihrem Rechner, also entsteht eine lokale Antwort, ohne dass Ihr Dokument irgendwohin gesendet wird. Der Kompromiss ist real: Ein Modell, das auf einen Laptop passt, ist kleiner als eines in einem Rechenzentrum und wird bei den schwierigsten Aufgaben nicht mithalten.

Sie geben bestimmte Ordner frei. Deren Inhalt wird auf Ihrem Computer indexiert, damit Fragen dazu beantwortet werden können. Der Index bleibt auf Ihrem Rechner, und wird ein Ordner entfernt, wird sein Index entfernt. Bei normaler lokaler Nutzung wird nichts hochgeladen.

Privater als ein gehosteter Assistent, aber nicht vollkommen: Keine Software sollte Ihnen etwas anderes erzählen. Was wir sagen können, ist konkret: Im rein lokalen Modus ist die Anwendung darauf ausgelegt, ohne Netzwerkverbindung zu laufen, sodass ein Dokument nirgendwohin gelangen kann. Wenn Sie Controlled Cloud einschalten und eine Anfrage genehmigen, verlässt der Inhalt dieser Anfrage Ihren Computer, und der Anbieter, an den Sie sie leiten, verarbeitet ihn nach seinen eigenen Bedingungen. Die Datenschutzseite erklärt jeden Modus und was er bedeutet.

Das Produkt wird so gebaut, dass Analyse und Absturzberichte nur mit Ihrer Zustimmung aktiv sind und nicht standardmäßig, und dass die Anwendung bei gesperrtem ausgehendem Netzwerkzugriff funktioniert. Das ist eine Designverpflichtung während der Entwicklung, kein geprüftes Ergebnis, und wir veröffentlichen vor dem Start der Beta, was die ausgelieferte Version tatsächlich tut.

Die Hardwarekompatibilität ist unterschiedlich. Meist ist der Speicher der begrenzende Faktor: Mehr Speicher erlaubt ein größeres, leistungsfähigeres Modell. Ein kompatibler Rechner mit 16 GB Speicher ist der Einstieg für ein kleines Modell, auch wenn noch kein Rechner mit 16 GB gemessen wurde; ab 32 GB kommen leistungsfähigere Modelle in Frage. Die Kompatibilitätsseite erklärt die Kompromisse, ohne ein Ergebnis für einen Rechner zu versprechen, den wir nicht getestet haben.

Alle veröffentlichten Messungen stammen von einem erfassten professionellen Rechner: einem NVIDIA DGX Spark (GB10) mit 130.7 GB Unified Memory unter Linux auf ARM64. Die Kommandozeile läuft für ausgewählte Tester unter Linux und macOS. Die geplante Desktop-Anwendung zielt auf Linux, macOS und Windows; keine dieser Endkundenversionen existiert oder wurde bisher gemessen. Mobiler Zugriff ist als private Verbindung zu Ihrem eigenen Rechner geplant, nicht als zweite Kopie Ihrer Daten.

Sie brauchen eine, um die Laufzeitumgebung und ein Modell zu beziehen. Danach ist der rein lokale Modus darauf ausgelegt, ohne Verbindung zu funktionieren. Controlled Cloud braucht natürlich eine und läuft nur, wenn Sie eine bestimmte Anfrage genehmigen.

Eine kleine erste Gruppe, ausgewählt nach einer Bandbreite an Hardware und nach echter Arbeit, aus der wir lernen können: Menschen, die beruflich mit vertraulichen Dokumenten arbeiten, und Menschen, die bereit sind, uns zu sagen, wenn etwas nicht stimmt. Wir melden uns direkt bei Bewerbern; es gibt keinen Platz in einer Warteschlange, den Sie abfragen müssten.

Wir nutzen sie, um Tester auszuwählen und zu verstehen, welche Hardware wir unterstützen sollten. Wir fragen nicht nach Dokumenten oder vertraulichem Material, und das Formular sollte nie dafür genutzt werden, solches zu senden. Der Datenschutzhinweis der Website erklärt die Aufbewahrung und wie Sie die Löschung verlangen.

Es wird eine kostenlose Edition geben, die ein lokales Modell ohne Gebühr pro Nachricht ausführt, und bezahlte Editionen für Dokumentensuche, größere Modelle und professionelle Nutzung. Die Beträge stehen nicht fest, und die Preisseite sagt das überall, wo sie einen zeigt. Die private Beta ist für alle Ausgewählten kostenlos.

Das Produkt ist kommerziell und proprietär. Es ist für mehr als eine Inferenz-Engine gebaut, darunter Open-Source-Engines, die unter ihren eigenen Lizenzen genutzt werden, und diese Lizenzen und Nennungen stehen in den Hinweisen der Anwendung. Wir geben die Arbeit anderer nicht als unsere aus.

Ein unabhängiger Entwickler, der ein kommerzielles Produkt baut, kein risikokapitalfinanziertes Team und kein Nebenprojekt von etwas anderem. Die Seite Über uns ist offen, was die Größe des Vorhabens angeht, denn das gehört zu dem, was Sie bewerten.