하드웨어 적응
메모리, 연산 자원, 저장 공간, 가속을 컴퓨터에서 직접 읽습니다. 계획은 평균적인 컴퓨터가 아니라 바로 그 컴퓨터를 위해 세워지며, 하드웨어가 바뀌면 계획도 바뀝니다.
기술
런타임이 AI를 내 컴퓨터에 맞추는 방식.
서류상으로 들어가는 모델이 실제로도 잘 돌아가는 것은 아닙니다. AI Stays Local 런타임은 실제로 있는 하드웨어를 기준으로 계획하고, 기록된 근거가 있는 프로필만 추천하며, 수명 주기 전체를 여러분의 컴퓨터 안에 둡니다. 이 페이지는 접근 방식을 설명하며, 엔진의 내부 방법은 다루지 않습니다.
접근 방식
모든 프로필 뒤에 있는 일곱 가지 원칙.
모델 프로필
프로필은 고정된 리비전과 명시된 정밀도의 특정 오픈 웨이트 모델에, 평가에 쓰인 하드웨어와 평가 결과를 더한 것입니다. 런타임이 추천하고, 설치하고, 실행하는 단위입니다.
메모리, 연산 자원, 저장 공간 인식
사용 가능한 메모리는 전체 메모리에서 운영체제가 확보하는 양을 뺀 것입니다. 통합 메모리, 시스템 RAM, 외장 GPU 메모리는 서로 다른 자원으로 다루며, 여유 저장 공간도 계획에 포함됩니다.
로컬 운영
추론은 여러분이 관리하는 컴퓨터에서 실행됩니다. 일반적인 로컬 추론은 토큰 단위로 과금하지 않으며, 질문은 질문한 곳에서 답변됩니다.
실행 수명 주기
확보, 검증, 시작, 상태 확인, 중지, 제거를 런타임이 맡습니다. 설치에 실패해도 이미 작동하던 검증된 모델을 대체하지 않습니다.
근거에 기반한 검증
실행된다는 것, 검증되었다는 것, 쓸 수 있다는 것, 이용 가능하다는 것은 서로 다른 사실이며 따로 기록됩니다. 파라미터 수는 결코 근거로 취급하지 않으며, 공개된 모든 수치에는 하드웨어와 방법이 명시됩니다.
명확한 개인정보 경계
로컬 추론 중에는 입력한 내용과 문서가 컴퓨터에서 처리됩니다. 네트워크는 런타임과 모델 파일을 받을 때 사용되고, 라이선스 확인에는 콘텐츠가 담기지 않으며, 원격 측정은 기본적으로 꺼져 있습니다.
모델이 아니라 프로필인 이유
같은 모델이 어떤 컴퓨터에서는 맞는 선택이고, 다른 컴퓨터에서는 틀린 선택일 수 있습니다.
모델이 쓸모 있는지는 모델 자체, 정밀도, 사용할 수 있는 메모리, 이용 가능한 가속, 모델을 읽어 오는 저장 장치의 속도, 그리고 맡기는 작업에 따라 달라집니다. 메모리 수치 하나만으로는 예측할 수 있는 것이 거의 없습니다.
그래서 런타임은 모델 이름이 아니라 프로필을 추천합니다. 각 프로필에는 그 뒤의 근거와 차원별 상태가 붙어 있으며, 컴퓨터에 대한 추천은 그 등급의 하드웨어를 근거가 포괄하는 프로필 가운데서만 나옵니다.
공개하는 것
확인할 수 있는 것과 제품 안에 남는 것.
- 프로필: 모델, 배포자, 라이선스, 고정된 리비전, 정밀도.
- 각 측정이 이루어진 하드웨어와 그 방법.
- 각 프로필의 상태: 실행되는지, 검증되었는지, 쓸 수 있는지, 이용 가능한지.
- 모델 확보를 검증하는 방식과 로컬 API가 받아들이는 것.
엔진이 메모리에서 모델 데이터를 배치하고 옮기는 방식은 제품의 일부이며, 이 사이트에서 설명하지 않습니다.
공로는 제대로 밝힙니다
오픈 모델 위에 만들고, 이름으로 출처를 밝힙니다.
모든 모델은 배포자의 것이며 자체 라이선스를 따릅니다. 런타임이 사용하는 업스트림 엔진 작업의 출처는 제품 고지에 밝히며, 업스트림 프로젝트가 보고한 결과를 저희 것으로 내세우지 않습니다. AI Stays Local은 그 위의 제품 계층입니다. 하드웨어 계획, 모델 확보, 런타임 오케스트레이션, 수명 주기 관리, 애플리케이션을 담당합니다. 런타임은 독점 소프트웨어이며 오픈 소스라고 소개하지 않습니다.