Hardware
Che cosa può eseguire il mio computer?
Risponda a sei domande sul computer che già possiede. Il risultato le dice in quale profilo rientra, quale classe di modelli quel profilo supporta, a che punto sono le prove e che cosa non farà.
La compatibilità dipende insieme da sistema operativo, architettura, archiviazione, accelerazione e profilo del modello, non dalla sola quantità di memoria.
A che cosa serve ogni classe di computer.
Scelga un profilo. Ogni valore è calcolato in questa pagina a partire dalla riserva del sistema operativo, e nulla di tutto ciò è una velocità: una velocità viene pubblicata solo dove è stata misurata.
Essential
Non ancora misuratoUn sistema compatibile con 16 GB di memoria e spazio SSD adeguato.
- Memoria
- 16 GB
- Tipo di memoria
- Memoria unificata, Memoria di sistema
- Utilizzabile dopo il sistema operativo
- Una macchina da 16 GB riserva 5 GB al sistema operativo e lascia circa 11 GB
- Classe di modello
- Assistenti locali efficienti
- Carichi di lavoro
- Chat locale, un profilo di modello efficiente, programmazione leggera e una raccolta di documenti limitata.
- Limiti
- I modelli di classe frontiera non girano qui, e non diremo il contrario. Sedici gigabyte sono un punto di partenza, non una garanzia: sistema operativo, architettura, archiviazione e accelerazione concorrono tutti alla decisione.
Personal
Non ancora misuratoDa 24 a 48 GB di memoria unificata o di sistema, a seconda della piattaforma.
- Memoria
- 24–48 GB
- Tipo di memoria
- Memoria unificata, Memoria di sistema
- Utilizzabile dopo il sistema operativo
- Una macchina da 32 GB riserva 6 GB al sistema operativo e lascia circa 26 GB
- Classe di modello
- Modelli aperti efficienti e di medie dimensioni
- Carichi di lavoro
- Un assistente privato completo, documenti con citazioni e profili di modello più capaci.
- Limiti
- I grandi profili Mixture-of-Experts restano fuori portata a questo livello.
Professional
Misurato su una macchinaDa 64 a 128 GB di memoria, oppure una configurazione con GPU dedicata affiancata da RAM di sistema sufficiente e NVMe veloce.
- Memoria
- 64–128 GB
- Tipo di memoria
- Memoria unificata, Memoria di sistema, Memoria GPU
- Utilizzabile dopo il sistema operativo
- Una macchina da 128 GB riserva 8 GB al sistema operativo e lascia circa 120 GB
- Classe di modello
- Modelli aperti professionali
- Carichi di lavoro
- Modelli più grandi, ampie raccolte di documenti, l'API locale e automazione professionale.
- Limiti
- Esistono prove per una macchina di questa classe, con 130.7 GB di memoria unificata. Una macchina con meno memoria non è coperta da queste prove, e i profili più grandi richiedono la macchina tutta per sé.
Frontier Workstation
Non ancora misuratoDa 192 a 512 GB di memoria unificata, o una workstation equivalente con molta memoria.
- Memoria
- 192–512 GB
- Tipo di memoria
- Memoria unificata, Memoria di sistema
- Utilizzabile dopo il sistema operativo
- Una macchina da 512 GB riserva 12 GB al sistema operativo e lascia circa 500 GB
- Classe di modello
- Modelli aperti di classe frontiera
- Carichi di lavoro
- Modelli a pesi aperti di classe frontiera e carichi di lavoro locali avanzati.
- Limiti
- A questo livello la disponibilità dei modelli la decide la validazione, non la sola memoria. Nessuna macchina di questa classe è stata misurata, quindi per essa non si dichiara alcun modello.
Private AI Rack
PrevistoPiù computer fidati collegati all'interno di una rete privata.
- Memoria
- Più macchine
- Tipo di memoria
- Distribuita tra nodi privati
- Utilizzabile dopo il sistema operativo
- Per macchina. Ogni nodo mantiene la propria memoria.
- Classe di modello
- Profili molto grandi distribuiti su più macchine
- Carichi di lavoro
- Progettato per esecuzione distribuita, accesso di gruppo e profili di modello molto grandi.
- Limiti
- L'esecuzione su più nodi è progettata e non implementata. Ogni macchina mantiene la propria memoria. I nodi fornirebbero risorse aggregate tramite un'esecuzione distribuita esplicita; non formano un unico bacino di memoria condivisa.