온프레미스 RAG 설계: 문서 처리·검색·권한의 경계

온프레미스 RAG는 조직이 관리하는 인프라에서 검색과 답변 생성을 구성하는 방식입니다. 서버의 위치만 확인하면 충분하지 않습니다. 문서 추출, OCR, 임베딩, 언어 모델 호출, 로그와 백업이 어떤 경로로 처리되는지 각각 확인해야 사내 데이터의 경계를 설명할 수 있습니다.

문서가 흐르는 경로를 먼저 그리세요

NAS의 파일을 수집해 텍스트를 추출하고, 검색 색인에 저장하고, 질문에 필요한 부분을 모델에 전달합니다. 이 과정에는 임시 파일, 실패한 작업, 관리 화면, 백업도 포함됩니다. 로컬 모델을 쓰더라도 OCR이나 임베딩이 외부 API를 호출한다면 처리 경로는 사내에서 끝나지 않습니다.

구성	확인할 위치와 연결	운영에서 확인할 질문
수집·추출·OCR	문서 접근 계정과 처리 서버	실패 파일·임시 파일은 어디에 남는가
임베딩·색인	모델 실행 위치와 검색 저장소	원문 삭제와 권한 변경을 어떻게 반영하는가
답변 생성	로컬 모델 또는 외부 호출	어떤 문서 구절을 모델에 전달하는가
로그·백업	보관 서버와 접근 담당자	질문·인용·원문이 포함되는가
업데이트	모델·패키지·라이선스 반입	인터넷 차단 상태로 재시작할 수 있는가

이것은 설계 점검표입니다. 특정 제품이 모든 항목을 기본으로 제공한다는 의미는 아닙니다. 공급사와 실제 제공 범위를 문서로 정해야 합니다.

폐쇄망은 준비와 유지보수까지 포함합니다

처음 실행에 성공해도 서버를 재시작하거나 새 파일 형식을 처리할 때 추가 다운로드가 필요한 구성이 있을 수 있습니다. 필요한 모델과 패키지, 실행 이미지, 사용 조건을 미리 준비하고 외부 연결을 차단한 상태에서 수집부터 원문 확인까지 시험하세요.

예를 들어 Ollama의 로컬 전용 설정은 모델 실행 도구의 연결을 확인하는 데 참고할 수 있습니다. 해당 설정이 OCR, 검색 서버, 고객 업무 시스템까지 통제하는 것은 아닙니다. 외부 연결 여부는 전체 구성에서 점검해야 합니다.

검색 전에 권한이 적용돼야 합니다

수집 계정이 계약 폴더를 읽는다고 모든 직원이 계약 조건을 볼 수 있어서는 안 됩니다. 사용자 식별과 원본 권한이 검색 범위에 연결되는 방식을 확인하세요. 검색 결과의 접근 제한 설계처럼 문서 접근 조건을 검색에 적용하는 접근이 있습니다.

답변을 만든 뒤 민감 문구를 가리는 것만으로 충분한지 따져봐야 합니다. 제한된 문서가 모델 입력이나 요약, 제목, 캐시에 남을 수 있기 때문입니다. 사용자·부서·프로젝트별 실제 권한 구조는 구축 과정에서 따로 검증합니다.

보안 시험과 검색 품질 시험을 나누세요

보안 경계가 맞아도 문서가 잘못 읽히면 업무 결과는 틀릴 수 있습니다. 표의 헤더가 숫자와 연결되는지, 스캔 PDF의 단위가 보존되는지, 개정본이 선택되는지 확인하세요. 검색과 생성의 오류를 구분하면 모델 교체가 필요한지 문서 처리가 필요한지도 판단할 수 있습니다.

권한 시험에서는 일반 직원과 제한 문서 담당자가 같은 질문을 실행합니다. 이후 권한을 회수하고 같은 질문을 다시 실행하세요. 문서 수정·삭제와 백업 복구도 함께 시험합니다. 기대 결과와 반영 시간은 공급사와 합의한 기준으로 평가합니다.

장비를 사기 전에 운영 범위를 정하세요

문서 규모뿐 아니라 페이지 수, 스캔 비율, 새 문서 유입량, 동시 질문, 모델 크기, 복구 요구가 자원에 영향을 줍니다. 기존 GPU가 있어도 추출과 검색의 CPU·메모리·저장 공간이 부족할 수 있습니다. 구축 비용 계획에서 초기 구성과 운영비를 나눠볼 수 있습니다.

Wissly는 사내망의 로컬 AI로 처리하는 온프레미스 도입을 제공하며, Wissly-in-a-Box 일체형 납품과 기존 GPU·서버를 활용하는 SI 구축을 구분합니다. 문서 연결, 인증·권한, 유지보수와 외부 연결 조건은 실제 환경에 맞춰 협의합니다. 현재 저장소와 망 조건을 정리해 Enterprise 상담에서 필요한 범위를 확인하세요.