직접 AI 모델을 돌릴 때 얻는 것과 잃는 것
자신의 컴퓨터에서 돌아가는 모델은 텍스트가 기기 밖으로 전혀 나가지 않는 유일한 구성입니다. 그 대가는 하드웨어, 설정에 드는 시간, 그리고 답변 품질입니다. 일반 컴퓨터에 들어가는 모델은 호스팅 채팅 뒤에 있는 모델보다 작기 때문입니다. 프라이빗 호스팅 채팅은 대신 운영사의 규칙을 신뢰하라고 요구합니다. 대부분의 개인적인 질문에는 그 거래로 충분하지만, 어디로도 보내면 안 되는 데이터에는 로컬 모델이나 자체 서버만이 답입니다.
"프라이빗 AI"라는 말은 아주 다른 두 가지를 가리키는 데 쓰입니다. 당신에 대한 정보를 거의 남기지 않겠다고 약속하는 호스팅 채팅, 그리고 당신이 직접 관리하는 하드웨어에서 돌아가는 프라이빗 LLM입니다. 둘은 서로 다른 문제를 해결하므로, 무엇을 고를지는 당신의 텍스트가 무엇인지에서 시작됩니다.
로컬 모델이 주는 것
모델이 당신의 컴퓨터에서 돌아갈 때는 입력한 어떤 것도 어디로도 전송되지 않습니다. 운영사도 없고, 다른 누군가의 서버에 남는 로그도 없으며, 내년에 바뀔지 모르는 정책도 없습니다. 인터넷 연결 없이도 작동합니다. 공유가 허락되지 않은 문서, 이를테면 계약에 따른 클라이언트 파일에는 다른 누구의 약속도 필요 없는 유일한 방식이 바로 이것입니다.
그 대가로 치러야 하는 것
우선 하드웨어입니다. 일반 노트북은 작은 모델을 돌릴 수 있지만, 더 큰 모델에는 메모리가 많은 그래픽 카드가 필요합니다. 다음은 설정입니다. 소프트웨어를 설치하고 모델을 고르고 둘 다 최신 상태로 유지해야 합니다. 그리고 품질입니다. 가정용 컴퓨터에 들어가는 모델은 호스팅 채팅 뒤에 있는 모델보다 작고, 어려운 질문에서는 그 차이가 드러납니다.
프라이빗 호스팅 채팅이 주는 것
호스팅 채팅은 설치 없이 어떤 기기에서든 몇 초 만에 더 큰 모델을 돌립니다. 그 대가는 신뢰입니다. 텍스트는 운영사의 서버에 도달하며, 그다음 무슨 일이 벌어지는지는 운영사의 규칙에 달려 있습니다. 그 규칙은 확인할 수 있습니다. 계정이 필요한가? 로그를 남기는가? 텍스트가 학습에 쓰이는가? 다른 회사로 넘어가는가? 이 4가지 모두에 문서로 답하는 채팅은 기준으로 삼을 근거를 줍니다.
기업을 위한 프라이빗 AI
프라이빗 AI 플랫폼을 찾는 기업은 대개 계약과 관련된 질문을 던지고 있는 것입니다. 데이터가 어디서 처리되는지, 누가 접근할 수 있는지, 무언가를 학습시키는 데 쓰이는지입니다. 회사 자체 서버에서 돌아가는 모델은 설계상 이 3가지 모두에 답하지만, 그것을 운영할 누군가도 필요합니다. 호스팅 서비스는 데이터 처리 약관에서 이 질문들에 답하며, 그 약관이야말로 누군가 클라이언트 데이터를 붙여넣기 전에 법무팀이 읽어야 할 것입니다.
간단한 판단 방법
이 텍스트를 운영사가 읽는다면 곤란해질지 자문해 보십시오. 아니라면 계정 없는 프라이빗 호스팅 채팅으로 충분하고, 그편이 더 빠릅니다. 그렇다면 직접 모델을 돌리거나 회사 자체 서버에서 돌리십시오. 확신이 서지 않는다면 먼저 이름과 숫자, 장소를 텍스트에서 빼보십시오. 대부분의 질문은 그래도 성립하며, 그러면 선택의 중요성은 줄어듭니다.
프라이버시 AI 관련 질문
프라이빗 LLM이란 무엇인가요?
당신 또는 당신 회사가 관리하는 하드웨어에서 돌아가는 언어 모델을 말합니다. 그래서 입력한 텍스트가 외부 서비스로 전송되지 않습니다.
로컬 모델은 무엇이든 답해주나요?
자동으로 그렇게 되지는 않습니다. 중간에 끼어드는 서비스 쪽 장치는 없지만, 학습 내용이 여전히 무엇에 어떻게 답할지를 좌우합니다. 공개된 모델 중에는 호스팅 모델만큼이나 답을 거부하도록 학습된 것도 있습니다.
이 채팅은 어디서 돌아가나요?
네덜란드에 있는 자체 서버에서 돌아가며, 계정도 프로필도 없습니다. 호스팅 채팅이므로 그 거래를 받아들일 수 있는 질문에 맞습니다.
일상적인 질문은 계정도 설치도 없이 여기서 물어보세요.
프라이빗 채팅 열기