Come funziona
Che cosa succede davvero sul suo computer
Nessun diagramma di caselle e frecce. Ecco tutto, nell'ordine in cui lo incontrerebbe.
Il runtime e le risposte con citazioni dai documenti funzionano per i tester approvati. L'app desktop e l'immagine container sono previste e non ancora realizzate. I tempi pubblicati valgono solo per l'hardware indicato in ciascun benchmark.
Lei sceglie il lavoro. AI Stays Local si occupa della configurazione del modello e del runtime.
Esaminare l'hardware
Il processore, l'acceleratore, il tipo di memoria, la velocità dell'archiviazione e ciò che il sistema operativo deve tenere per sé.
Raccomandare una configurazione verificata
Il profilo di modello più capace che quel computer può eseguire bene, scelto tra profili con prove pubblicate, con i limiti indicati prima di scaricare qualsiasi cosa.
Acquisire e configurare il modello
Dall'editore o da un repository approvato, a una revisione immutabile, verificato prima di essere segnato come pronto, e con il runtime configurato per quel computer.
Eseguirlo in locale
Oggi tramite la riga di comando o l'API locale, per tester selezionati. L'app desktop e l'immagine container sono previste.
Scelga i suoi documenti
Indichi le cartelle che deve conoscere. Nulla al di fuori viene letto, e può ritirare una cartella in qualsiasi momento.
Chieda in modo naturale
In linguaggio comune, come chiederebbe a un collega che ha letto tutto e ricorda tutto.
Risposte con fonti locali
Ogni risposta tratta dai suoi documenti indica il file e la pagina da cui deriva, così può verificare l'affermazione da sé.
Ogni strumento di IA utile le chiede prima di caricare i file
La pratica è così normale che non viene più percepita come una decisione. Le serve aiuto con un contratto, con gli appunti di un caso o con la documentazione finanziaria di un cliente, quindi allega il file, e questo finisce su un'infrastruttura che non è sua, a condizioni che non ha negoziato, in registri che non può vedere.
Per la maggior parte delle persone, quasi sempre, è uno scambio accettabile. Per un documento che è professionalmente tenuto a proteggere, è uno scambio che forse non le è nemmeno consentito fare. E l'alternativa, di solito, è stata rinunciare all'aiuto.
Può essere il modello ad andare dal documento.
Modelli grandi senza una stanza piena di GPU.
Un profilo validato non richiede una farm di GPU.
Gran parte dell'infrastruttura per modelli grandi tiene enormi quantità di pesi nella memoria degli acceleratori. Ne risulta una velocità eccellente, e richiede hardware costoso.
I modelli Mixture-of-Experts aprono un'altra strada. A ogni token generato partecipa solo un sottoinsieme di esperti specializzati, quindi un runtime attento all'hardware può tenere residenti i componenti usati spesso e caricare in streaming gli altri dall'archiviazione NVMe locale quando vengono richiamati.
Distribuzione convenzionale
- Tutti i pesi del modello in memoria
- Più GPU da data center
- Grande fabbisogno di memoria per acceleratori
- Cloud o cluster di server dedicato
Architettura di AI Stays Local
- Modello archiviato in locale
- Il router degli esperti sceglie a ogni token
- Esperti selezionati attivati
- RAM e calcolo locale
- Streaming degli esperti da NVMe
- Accelerazione GPU facoltativa
- Nessun cluster di GPU obbligatorio
- Nessuna inferenza cloud obbligatoria
È un compromesso pratico: controllo locale e accesso a modelli molto più grandi, senza che ogni parametro debba stare nella memoria della GPU nello stesso momento.
I requisiti hardware e la velocità dipendono dal modello. I sistemi più grandi possono richiedere molta RAM e un'archiviazione NVMe veloce, e i modelli di scala estrema possono essere più lenti dell'inferenza cloud.
Un modello è un file che si scarica una volta
Ciò che sorprende è quanto sia ordinario. Un modello è un file grande: qualche gigabyte, a volte di più. Sta sul suo disco. Quando fa una domanda, il suo computer esegue i calcoli che trasformano la domanda in una risposta, nello stesso senso in cui esegue i calcoli di un foglio di calcolo. Nulla è in affitto e nulla è a consumo.
Ciò che le costa è capacità. Un modello abbastanza piccolo da stare su un portatile non è il modello più grande del mondo, e perderà contro di esso nei ragionamenti davvero difficili. Ciò che guadagna è tutto il resto: i suoi documenti restano dove sono, funziona in aereo e nessuno le fattura ogni domanda.
Disattivare una cartella rimuove il suo indice da questo computer.
Concedere una cartella è l'intero modello di autorizzazione
AI Stays Local legge ciò che lei concede e nient'altro. Concedere una cartella crea sul suo computer un indice di quella cartella, un indice di parole che la rende ricercabile. Ritirare la cartella elimina quell'indice.
Non esiste un account che conserva i suoi file, perché non c'è alcun account che conserva i suoi file. Il Privacy Centre è progettato per essere l'unica schermata che dice a colpo d'occhio che cosa è leggibile, che cosa è indicizzato e se qualcosa è autorizzato a uscire.
Una risposta che mostra la sua fonte
Quando una risposta proviene dai suoi documenti, riporta il nome del file e il passaggio usato. Non è una decorazione. I modelli linguistici sbagliano con sicurezza, e l'unica difesa pratica per chi ha obblighi professionali in gioco è poter arrivare con un clic al paragrafo e leggerlo di persona.
Lei
Quale preavviso devo dare a Kaplan & Ruiz, ed è diverso da quello del contratto Nordwind?
AI Stays Local
Trenta giorni per Nordwind, sessanta per Kaplan & Ruiz. Entrambi decorrono dalla comunicazione scritta, e la clausola Nordwind la richiede per iscritto alla sede legale anziché per email.
Nessuno dei due contratti consente il recesso per convenienza entro il primo anno.
Una sola macchina fa il lavoro
Il lavoro avviene su una macchina che lei controlla, perché è lì che si trovano già il processore, la memoria e i documenti. Il piano oltre questo non è spargere i suoi dati su più dispositivi, ma permettere ai dispositivi di cui già si fida di raggiungere l'unica macchina che li custodisce.
Desktop
L'applicazione desktop guidata. Prevista e non ancora realizzata; oggi il runtime si usa tramite la riga di comando e l'API locale.
PrevistoI suoi altri computer
Raggiungere la macchina che custodisce i suoi documenti attraverso la sua rete.
PrevistoTelefono e tablet
Una connessione privata verso la sua macchina, invece di una seconda copia dei suoi dati.
Previsto