질문과 답변

AI Stays Local은 업로드할 수 없는 파일을 위한 프라이빗 AI입니다. 여러분이 관리하는 하드웨어에서 오픈 웨이트 모델을 실행합니다. 선택한 폴더에 접근을 허용하고, 평소 쓰는 말로 질문하고, 인용된 파일과 페이지에서 각 답변을 확인합니다. 근거가 없으면 답변을 거부하도록 설계되어 있습니다. 컴퓨터를 점검하고 그에 맞는 모델 프로필을 추천합니다. 로컬 모드에서는 질문 대상 문서가 기기 안에 머뭅니다.

비공개 베타를 통해서라면 가능합니다. 런타임과 인용이 포함된 문서 답변은 승인된 테스터가 사용할 수 있습니다. 데스크톱 앱과 컨테이너 이미지는 예정 단계이며 아직 만들어지지 않았습니다. 공개된 소요 시간은 각 벤치마크에 명시된 하드웨어에만 해당합니다. 접근은 이 사이트의 신청 양식으로 요청하면 됩니다.

그런 서비스는 제공자의 인프라에서 실행됩니다. 입력한 내용과 첨부한 파일이 제공자에게 전송됩니다. 여기서는 모델이 여러분의 컴퓨터에서 실행되므로, 문서를 어디에도 보내지 않고 로컬에서 답변이 만들어집니다. 절충은 분명히 있습니다. 노트북에 들어가는 모델은 데이터센터에서 실행되는 모델보다 작고, 가장 어려운 작업에서는 따라가지 못합니다.

특정 폴더에 접근을 허용합니다. 그 내용은 여러분의 컴퓨터에서 색인되어 질문에 답할 수 있게 됩니다. 색인은 컴퓨터에 남아 있으며, 폴더를 제거하면 색인도 제거됩니다. 일반적인 로컬 사용 중에는 아무것도 업로드되지 않습니다.

호스팅형 어시스턴트보다는 비공개이지만, 완벽하지는 않습니다. 완벽하다고 말하는 소프트웨어는 없어야 합니다. 구체적으로 말할 수 있는 것은 이렇습니다. 로컬 전용 모드에서 애플리케이션은 네트워크 연결 없이 실행되도록 설계되어 있어, 문서가 나갈 곳이 없습니다. Controlled Cloud를 켜고 요청을 승인하면, 그 요청의 내용은 컴퓨터 밖으로 나가며, 요청을 보낸 제공자가 자체 약관에 따라 처리합니다. 개인정보 페이지에서 각 모드와 그 의미를 설명합니다.

제품은 사용 분석과 충돌 보고가 기본적으로 꺼져 있고 사용자가 동의해야 켜지도록, 그리고 외부로 나가는 네트워크 접근을 막아도 작동하도록 만들고 있습니다. 이는 개발 중의 설계 원칙이지 감사를 받은 결과가 아니며, 베타가 열리기 전에 배포 빌드가 실제로 무엇을 하는지 공개하겠습니다.

하드웨어 호환성은 경우마다 다릅니다. 대개 메모리가 제약 요인이며, 메모리가 많을수록 더 크고 성능 높은 모델을 쓸 수 있습니다. 소형 모델의 시작점은 16 GB 메모리를 갖춘 호환 컴퓨터이지만, 16 GB 컴퓨터는 아직 측정하지 않았습니다. 32 GB 이상이면 더 성능 높은 모델을 선택할 수 있습니다. 호환성 페이지에서는 테스트하지 않은 컴퓨터에 대해 결과를 약속하지 않고 절충점을 설명합니다.

공개된 모든 측정값은 기록된 전문가용 컴퓨터 한 대에서 나왔습니다. 130.7 GB 통합 메모리를 갖춘 NVIDIA DGX Spark(GB10)이며, ARM64 기반 Linux를 실행합니다. 명령줄은 선정된 테스터를 위해 Linux와 macOS에서 실행됩니다. 예정된 데스크톱 애플리케이션은 Linux, macOS, Windows를 목표로 하지만, 이런 일반 사용자용 버전은 아직 존재하지 않으며 측정하지도 않았습니다. 모바일 접근은 데이터의 두 번째 사본이 아니라 내 컴퓨터로의 비공개 연결로 예정되어 있습니다.

런타임과 모델을 받을 때는 필요합니다. 그 후에는 로컬 전용 모드가 연결 없이 작동하도록 설계되어 있습니다. Controlled Cloud는 당연히 연결이 필요하며, 특정 요청을 여러분이 승인할 때만 실행됩니다.

다양한 하드웨어와 저희가 배울 수 있는 실제 업무를 기준으로 뽑은 소수의 첫 그룹입니다. 업무상 기밀 문서를 다루는 분, 그리고 문제가 있으면 솔직하게 알려 주실 분을 찾습니다. 신청자에게는 직접 연락드리며, 확인할 대기 순번은 없습니다.

테스터를 선정하고 어떤 하드웨어를 지원해야 할지 파악하는 데 씁니다. 문서나 기밀 자료는 요청하지 않으며, 양식으로 그런 것을 보내서도 안 됩니다. 보관 기간과 삭제 요청 방법은 웹사이트 개인정보 처리 고지에 나와 있습니다.

메시지별 요금 없이 로컬 모델을 실행하는 무료 에디션과, 문서 검색, 더 큰 모델, 업무용을 위한 유료 에디션이 있을 예정입니다. 금액은 확정되지 않았으며, 요금 페이지는 금액을 보여 주는 곳마다 그 점을 밝힙니다. 비공개 베타는 선정된 모든 분께 무료입니다.

제품은 상용이며 독점 소프트웨어입니다. 여러 추론 엔진과 함께 작동하도록 만들어졌으며, 각자의 라이선스에 따라 사용하는 오픈 소스 엔진도 포함됩니다. 그 라이선스와 저작자 표시는 애플리케이션 고지에 포함되어 있습니다. 다른 사람의 성과를 저희 것으로 내세우지 않습니다.

상용 제품을 만드는 독립 개발자입니다. 벤처 투자를 받은 팀도, 다른 무언가의 부업 프로젝트도 아닙니다. 운영 규모도 평가 대상이므로, 소개 페이지에서 그 점을 솔직하게 밝히고 있습니다.