본문으로 건너뛰기

온디바이스 모델과 클라우드 모델

Rephlo는 AI 모델을 사용자의 컴퓨터에서 실행할 수도 있고, 요청을 클라우드 모델 로 보낼 수도 있습니다. 둘 다 같은 모델 선택기에 나타나고 같은 채팅 창에서 답하기 때문에, 서로 바꿔 써도 되는 것처럼 느끼기 쉽습니다.

그렇지 않습니다. 이 페이지는 그 차이를 쉬운 말로 설명해 알맞은 쪽을 고를 수 있게 하고, 로컬 처리의 프라이버시 대부분과 큰 클라우드 모델의 성능을 동시에 얻는 방법도 보여 줍니다.

짧은 답변​

온디바이스 모델은 클라우드 모델보다 훨씬 작은 AI입니다. 노트북에서 돌아가야 하니 그 메모리에 들어가야 합니다. 클라우드 모델은 자동차보다 비싼 하드웨어를 갖춘 데이터센터에서 돌아갑니다.

온디바이스 모델은 일상적인 글 작업에 정말 쓸모가 있지만, 클라우드 모델이라면 걸리지 않을 지점에서 막힐 것도 각오하세요. 같은 것의 작지만 대등한 버전이 아니라, 능력의 등급 자체가 다릅니다.

왜 격차가 이렇게 큰가​

AI 모델은 파라미터 수로 측정합니다 — 아주 대략적으로, 학습 과정에서 익힌 내부 조정값의 개수입니다. 파라미터가 많을수록 대체로 능력이 높아지고, 그만큼 메모리도 더 씁니다.

Rephlo의 온디바이스 카탈로그는 약 20억에서 140억 파라미터 범위입니다. 개인용 컴퓨터에 무리 없이 들어가는 크기가 그 정도이기 때문입니다. 큰 클라우드 모델은 그보다 수십 배에서 수백 배 큽니다.

이 격차는 판단력 의 차이로 드러납니다. 길고 여러 겹인 지시를 끝까지 따라가는 일, 복잡한 문서를 머릿속에 두고 답하는 일, 질문에 잘못된 전제가 들어 있음을 알아채는 일 같은 것들이죠. 작은 모델은 뻔한 일은 잘하고 미묘한 일은 들쭉날쭉합니다.

나란히 비교​

온디바이스 모델클라우드 모델
텍스트가 가는 곳아무 데도 안 감 — 컴퓨터에 남음그 모델을 제공하는 업체
오프라인 동작됨안 됨
메시지당 비용없음credits, 또는 BYOK라면 본인의 제공업체 청구
속도하드웨어에 좌우됨일정하고 대체로 더 빠름
어려운 문제 추론제한적강함
긴 문서제한적강함
웹 검색안 됨지원하는 제공업체에서 가능
이미지 읽기안 됨비전 지원 모델에서 가능
첨부 문서 읽기됨 — PDF, 텍스트, Office 파일됨
준비수 GB를 한 번 내려받기없음
이용 조건Pro, Enterprise 또는 영구 라이선스모든 플랜

온디바이스 모델이 잘하는 일​

다음 작업에서는 격차가 거의 드러나지 않습니다.

  • 고쳐 쓰기와 바꿔 쓰기 — 어조 변경, 줄이기, 더 격식 있게 다듬기
  • 문법과 맞춤법 교정
  • 짧거나 중간 길이 글 요약
  • 간단한 추출 — 문단에서 이름, 날짜, 목록 항목 뽑아내기
  • 일상적인 글의 빠른 번역
  • 오프라인 작업 — 비행기 안, 보안 시설, 연결이 없는 환경
  • 기기 밖으로 내보내고 싶지 않을 만큼 민감한 모든 내용

어디서 막히는가​

다음에서는 결과가 약할 것을 예상하세요.

  • 복잡한 추론 — 여러 단계 논리, 수학, 꼼꼼한 분석
  • 긴 문서 — 작은 모델의 작업 기억은 금세 찹니다
  • 짧은 조각을 넘어서는 코드 생성
  • 길고 겹겹인 지시 — 작은 모델은 앞의 몇 개만 따르고 나머지에서 벗어나는 경향
  • 뉘앙스와 사실 정확도 — 작은 모델은 자신 있게 틀리게 말하는 경향이 더 큼

미리 알아 둘 두 가지 확실한 한계​

웹 검색이 안 됩니다. 온디바이스 모델은 완전히 오프라인으로 돌아가므로 무엇도 찾아볼 수 없습니다. 지식은 학습 데이터에서 멈춥니다. 웹 검색 커넥터는 개발 중이며, 지금 최신 정보가 필요하다면 검색을 지원하는 클라우드 제공업체를 쓰세요.

시각 인식이 안 됩니다. 온디바이스 모델은 이미지를 볼 수 없습니다. 이미지를 첨부하면 Rephlo가 기기에서 그 안의 텍스트를 읽어 대신 전달합니다 — 쓸모는 있지만, 모델이 실제로 차트를 보는 것과는 다릅니다. Rephlo가 파일을 읽는 방식을 참고하세요.

두 마리 토끼: 로컬에서 마스킹한 뒤 클라우드 모델 쓰기​

민감한 업무를 다루는 대부분의 분들께 저희가 권하는 구성이며, 대다수 사용자가 있는 줄도 모르는 구성입니다.

“강력하지만 내 데이터가 나간다” 와 “안전하지만 능력이 부족하다” 중에 고를 필요가 없습니다. Rephlo는 사용자의 컴퓨터에서 요청에 담긴 개인 정보를 걷어낸 뒤에야 큰 클라우드 모델로 보낼 수 있습니다. 어려운 사고는 클라우드 모델이 맡고, 개인적인 세부 정보는 아예 길을 나서지 않습니다.

설정 방법: Settings ▸ Privacy ▸ Remove personal info before cloud requests 를 켠 다음, 마스킹할 항목을 고르세요.

탐지는 두 개의 층이 맡습니다.

  • 패턴 매칭 은 기본 제공되며 언제나 쓸 수 있고, 형태가 예측 가능한 것을 잡아냅니다 — 이메일 주소, 전화번호, 사회보장번호, 카드 정보 일체.
  • 온디바이스 AI 모델 은 필요할 때 내려받으며(약 1.16 GB), 정해진 형태가 없는 것을 잡아냅니다 — 이름, 생년월일, 주소, 운전면허증·여권 같은 신분증 번호.

두 번째 모델을 내려받기 전까지는 그것에 의존하는 항목이 사용할 수 없음으로 표시되므로, 실제로 무엇이 제거되는지 오해할 일이 없습니다.

이것이 무엇을 해 주는지는 현실적으로 보셔야 합니다. 마스킹은 우발적인 노출을 뚜렷하게 줄여 주지만, 보증이 아니라 탐지입니다 — 모든 경우를 잡아낼 수는 없습니다. 한 번 놓치는 것도 용납되지 않을 만큼 민감한 내용이라면 더 강한 선택지를 쓰세요.

  • Block send if redaction is uncertain 을 켜면, 확신이 없는 것을 보내는 위험을 감수하는 대신 Rephlo가 요청을 붙잡아 둡니다.
  • Force Local for Sensitive 를 켜면, 민감으로 표시된 요청은 온디바이스 모델이 처리하므로 클라우드 제공업체에 아예 도달하지 않습니다.

설정별 자세한 내용은 개인정보 보호 및 데이터를 보세요.

그래서 무엇을 써야 하나요?​

상황사용
일상적인 고쳐 쓰기, 어조, 문법온디바이스로 충분
인터넷 연결이 없음온디바이스
절대 기기 밖으로 나가면 안 되는 내용온디바이스 또는 Force Local for Sensitive
민감하지만 실제 성능도 필요함로컬에서 마스킹한 뒤 클라우드 모델
어려운 추론, 코드, 긴 문서클라우드
웹의 최신 정보가 필요함클라우드(검색 지원 제공업체)
모델이 이미지를 봐야 함클라우드(비전 지원 모델)
credits 지출을 신경 쓰는 중온디바이스는 credits를 쓰지 않음

어느 쪽에도 매일 필요는 없습니다. 모델 전환은 드롭다운이므로, 온디바이스 모델로 초안을 잡고 답이 충분하지 않을 때 클라우드 모델로 올리는 것이 합리적인 습관입니다.

자주 묻는 질문​

온디바이스 모델은 Rephlo가 클라우드에서 쓰는 모델과 같은 건가요? 아니요. 완전히 다른 모델이고, 계열도 크기도 크게 다릅니다.

온디바이스 모델이 왜 느린가요? 속도는 하드웨어 — 메모리와 프로세서 — 에 좌우됩니다. 온디바이스 모델 화면의 Check my machine 으로 컴퓨터가 무리 없이 돌릴 수 있는 수준을 확인하고, 큰 모델이 굼뜨면 더 작은 모델을 고르세요.

온디바이스 모델은 credits를 쓰나요? 아니요. 한 번 내려받으면 본인 하드웨어에서 돌아가며 메시지당 비용이 들지 않습니다. 이 기능에는 Pro, Enterprise 또는 영구 플랜이 필요합니다.

온디바이스 모델을 쓰면 데이터가 자동으로 안전해지나요? 로컬 모드에서는 콘텐츠 가 사용자의 컴퓨터에 남습니다. 이는 로컬 처리라는 특성이지 컴플라이언스 인증이 아닙니다 — 규제 대상 업무라면 [email protected]으로 문의해 주세요.

온디바이스 모델로 OCR을 쓸 수 있나요? 네. 스캔 문서 읽기는 어떤 모델을 고르든 로컬에서 실행되므로, 스캔한 PDF는 클라우드 모델에서와 똑같이 온디바이스 모델에서도 동작합니다.

관련 페이지​