Hardware
O que meu computador consegue rodar?
Responda a seis perguntas sobre a máquina que você já tem. O resultado mostra em qual perfil ela se encaixa, que classe de modelo esse perfil suporta, como estão as evidências e o que ela não vai fazer.
A compatibilidade é decidida em conjunto pelo sistema operacional, pela arquitetura, pelo armazenamento, pela aceleração e pelo perfil do modelo, e não só pela quantidade de memória.
Para que serve cada classe de máquina.
Escolha um perfil. Cada número é calculado nesta página a partir da reserva do sistema operacional, e nada aqui é uma velocidade: uma velocidade só é publicada onde foi medida.
Essential
Ainda não medidoUm sistema compatível com 16 GB de memória e armazenamento SSD suficiente.
- Memória
- 16 GB
- Tipo de memória
- Memória unificada, Memória do sistema
- Utilizável depois do sistema operacional
- Uma máquina de 16 GB reserva 5 GB para o sistema operacional e deixa cerca de 11 GB
- Classe de modelo
- Assistentes locais eficientes
- Cargas de trabalho
- Chat local, um perfil de modelo eficiente, programação leve e uma coleção limitada de documentos.
- Limitações
- Modelos de classe de fronteira não rodam aqui, e não vamos sugerir o contrário. Dezesseis gigabytes são um ponto de entrada, não uma garantia: o sistema operacional, a arquitetura, o armazenamento e a aceleração participam da decisão.
Personal
Ainda não medidoDe 24 a 48 GB de memória unificada ou do sistema, conforme a plataforma.
- Memória
- 24–48 GB
- Tipo de memória
- Memória unificada, Memória do sistema
- Utilizável depois do sistema operacional
- Uma máquina de 32 GB reserva 6 GB para o sistema operacional e deixa cerca de 26 GB
- Classe de modelo
- Modelos abertos eficientes e de porte médio
- Cargas de trabalho
- Um assistente privado completo, documentos com citações e perfis de modelo mais capazes.
- Limitações
- Perfis grandes de Mixture-of-Experts continuam fora de alcance neste nível.
Professional
Medido em uma máquinaDe 64 a 128 GB de memória, ou uma configuração com GPU dedicada acompanhada de RAM do sistema suficiente e NVMe rápido.
- Memória
- 64–128 GB
- Tipo de memória
- Memória unificada, Memória do sistema, Memória da GPU
- Utilizável depois do sistema operacional
- Uma máquina de 128 GB reserva 8 GB para o sistema operacional e deixa cerca de 120 GB
- Classe de modelo
- Modelos abertos profissionais
- Cargas de trabalho
- Modelos maiores, coleções extensas de documentos, a API local e automação profissional.
- Limitações
- Há evidências para uma máquina desta classe, com 130.7 GB de memória unificada. Uma máquina com menos memória não é coberta por elas, e os maiores perfis precisam da máquina só para si.
Frontier Workstation
Ainda não medidoDe 192 a 512 GB de memória unificada, ou uma estação de trabalho equivalente com muita memória.
- Memória
- 192–512 GB
- Tipo de memória
- Memória unificada, Memória do sistema
- Utilizável depois do sistema operacional
- Uma máquina de 512 GB reserva 12 GB para o sistema operacional e deixa cerca de 500 GB
- Classe de modelo
- Modelos abertos de classe de fronteira
- Cargas de trabalho
- Modelos de pesos abertos de classe de fronteira e cargas de trabalho locais avançadas.
- Limitações
- Neste nível, a disponibilidade de modelos é decidida pela validação, e não só pela memória. Nenhuma máquina desta classe foi medida, então nenhum modelo é declarado para ela.
Private AI Rack
PlanejadoVários computadores confiáveis conectados dentro de uma rede privada.
- Memória
- Várias máquinas
- Tipo de memória
- Distribuída entre nós privados
- Utilizável depois do sistema operacional
- Por máquina. Cada nó mantém a própria memória.
- Classe de modelo
- Perfis muito grandes distribuídos entre máquinas
- Cargas de trabalho
- Projetado para execução distribuída, acesso em equipe e perfis de modelo muito grandes.
- Limitações
- A execução em vários nós está projetada e não implementada. Cada máquina mantém a própria memória. Os nós forneceriam recursos agregados por meio de execução distribuída explícita; eles não formam um único conjunto de memória compartilhada.