하드웨어
내 컴퓨터로 무엇을 실행할 수 있을까요?
가지고 있는 컴퓨터에 관한 여섯 가지 질문에 답하세요. 어떤 프로필에 해당하는지, 그 프로필이 지원하는 모델 등급, 근거가 어디까지 있는지, 무엇을 할 수 없는지 알려 드립니다.
호환성은 메모리 용량만이 아니라 운영체제, 아키텍처, 저장 장치, 가속, 모델 프로필을 함께 보고 결정합니다.
컴퓨터 등급별 용도.
프로필을 선택하세요. 모든 수치는 이 페이지에서 운영체제 예약분을 바탕으로 계산한 것이며, 속도가 아닙니다. 속도는 측정한 경우에만 공개합니다.
Essential
아직 측정 안 됨16 GB 메모리와 충분한 SSD 저장 공간을 갖춘 호환 시스템.
- 메모리
- 16 GB
- 메모리 종류
- 통합 메모리, 시스템 메모리
- 운영체제를 제외하고 사용 가능한 양
- 16 GB 컴퓨터는 운영체제용으로 5 GB를 확보하고 약 11 GB가 남습니다
- 모델 등급
- 효율적인 로컬 어시스턴트
- 용도
- 로컬 채팅, 효율적인 모델 프로필, 가벼운 코딩, 제한된 문서 모음.
- 한계
- 프런티어급 모델은 여기서 실행되지 않으며, 그렇지 않은 것처럼 말하지 않겠습니다. 16기가바이트는 시작점일 뿐 보증이 아닙니다. 운영체제, 아키텍처, 저장 장치, 가속이 모두 판단에 관여합니다.
Personal
아직 측정 안 됨플랫폼에 따라 24~48 GB의 통합 메모리 또는 시스템 메모리.
- 메모리
- 24–48 GB
- 메모리 종류
- 통합 메모리, 시스템 메모리
- 운영체제를 제외하고 사용 가능한 양
- 32 GB 컴퓨터는 운영체제용으로 6 GB를 확보하고 약 26 GB가 남습니다
- 모델 등급
- 효율적인 오픈 모델과 중간 규모 오픈 모델
- 용도
- 완전한 프라이빗 어시스턴트, 인용이 포함된 문서, 더 강력한 모델 프로필.
- 한계
- 이 단계에서는 큰 Mixture-of-Experts 프로필을 쓸 수 없습니다.
Professional
한 대에서 측정됨64~128 GB 메모리, 또는 충분한 시스템 RAM과 빠른 NVMe를 갖춘 외장 GPU 구성.
- 메모리
- 64–128 GB
- 메모리 종류
- 통합 메모리, 시스템 메모리, GPU 메모리
- 운영체제를 제외하고 사용 가능한 양
- 128 GB 컴퓨터는 운영체제용으로 8 GB를 확보하고 약 120 GB가 남습니다
- 모델 등급
- 전문가용 오픈 모델
- 용도
- 더 큰 모델, 방대한 문서 모음, 로컬 API, 업무 자동화.
- 한계
- 이 등급에서는 130.7 GB 통합 메모리를 갖춘 컴퓨터 한 대에 대한 근거가 있습니다. 메모리가 더 적은 컴퓨터는 그 근거에 포함되지 않으며, 가장 큰 프로필은 컴퓨터를 단독으로 써야 합니다.
Frontier Workstation
아직 측정 안 됨192~512 GB 통합 메모리, 또는 그에 준하는 대용량 메모리 워크스테이션.
- 메모리
- 192–512 GB
- 메모리 종류
- 통합 메모리, 시스템 메모리
- 운영체제를 제외하고 사용 가능한 양
- 512 GB 컴퓨터는 운영체제용으로 12 GB를 확보하고 약 500 GB가 남습니다
- 모델 등급
- 프런티어급 오픈 모델
- 용도
- 프런티어급 오픈 웨이트 모델과 고급 로컬 작업.
- 한계
- 이 단계에서 어떤 모델을 쓸 수 있는지는 메모리만이 아니라 검증으로 결정됩니다. 이 등급의 컴퓨터는 측정한 적이 없으므로 지원 모델을 제시하지 않습니다.
Private AI Rack
예정사설 네트워크 안에서 연결된, 신뢰할 수 있는 여러 대의 컴퓨터.
- 메모리
- 여러 대의 컴퓨터
- 메모리 종류
- 사설 노드에 분산
- 운영체제를 제외하고 사용 가능한 양
- 컴퓨터별. 각 노드는 자체 메모리를 가집니다.
- 모델 등급
- 여러 컴퓨터에 걸친 매우 큰 프로필
- 용도
- 분산 실행, 팀 단위 접근, 매우 큰 모델 프로필을 위해 설계.
- 한계
- 여러 노드에서의 실행은 설계되었지만 구현되지 않았습니다. 각 컴퓨터는 자체 메모리를 가집니다. 노드는 명시적인 분산 실행을 통해 자원을 모아 쓰는 방식이며, 하나의 공유 메모리 풀을 이루지 않습니다.