RAG 문서 검색 설계: 출처·권한·배포와 운영을 함께 검증하기

AI 문서 검색을 평가할 때 답변이 자연스럽다는 이유만으로 업무에 적합하다고 판단하기 어렵습니다. 관련 문서를 찾았는지, 현재 적용되는 버전인지, 질문한 사람이 볼 수 있는 자료인지, 인용한 구절이 실제 결론을 뒷받침하는지를 확인해야 합니다.

RAG는 질문과 관련된 자료를 검색해 모델의 답변 생성에 활용하는 방식입니다. 사내 자료를 근거로 답할 수 있는 구조이지만, RAG 자체가 정확성이나 보안을 보장하지는 않습니다. 문서 처리, 검색, 답변, 원문 확인, 운영 변경을 나눠 검증하는 것이 기업용 문서 검색의 출발점입니다.

답변 이전에 준비하는 과정과 질문 이후의 과정을 구분하세요

문서 수집 단계에서는 파일을 읽고 내용을 추출한 뒤 필요한 단위로 나눕니다. 검색에 활용할 정보와 함께 색인을 만들고, 질문이 들어오면 관련 자료를 찾아 모델에 전달합니다. Microsoft의 RAG 설계·평가 가이드는 이 처리 단계를 구분하고 단계별 평가를 권고합니다.

단계	준비할 정보	확인할 실패
수집·추출	경로, 접근 계정, 형식, 페이지	읽지 못한 파일이나 누락된 표
문서 분할·색인	제목, 버전, 시행일, 원문 위치	조건과 설명이 다른 조각으로 떨어짐
검색	업무 용어, 정확한 ID, 접근 조건	다른 프로젝트나 이전본을 선택
답변	인용 근거, 조건, 예외	검색된 내용 이상으로 단정
원문 확인	파일과 식별 가능한 구절·위치	링크는 있지만 인용을 확인할 수 없음

파일이 연결된 상태와 답변에 쓸 수 있는 상태를 구분하면 오류를 설명하기 쉽습니다. 표에서 값과 단위가 어긋난 문제는 검색 모델을 바꾸는 것만으로 해결하기 어렵고, 잘못된 개정본이 선택되는 문제는 문서 정보와 적용 기준을 먼저 봐야 합니다.

문서 형식의 지원과 추출 정확도는 다른 조건입니다

PDF, Word, PowerPoint, 한글(HWP) 등 지원하는 파일 형식을 확인하고, 조직에서 실제 사용하는 대표 파일로 시험하세요. 파일이 처리된다고 표·각주·주석·이미지·긴 문서의 모든 정보가 정확하게 보존되는 것은 아닙니다. 작성 방식, 원본 품질, 암호와 읽기 제한에 따라 결과가 달라질 수 있습니다.

계약서라면 조건과 예외가 함께 추출되는지, 시험서라면 값·단위·열 제목이 맞는지, HWP 문서라면 본문과 표·각주가 원문의 관계대로 연결되는지 봅니다. 일부 페이지나 구조를 처리하지 못했을 때 그 사실이 표시되는지도 중요합니다. OCR·PDF 검색 가이드에서 대표적인 문서 처리 시험을 확인할 수 있습니다.

문서를 분할할 때도 길이 하나로 결정하지 마세요. 제목이 없는 조각, 앞 페이지의 표와 뒷 페이지의 주석이 떨어진 조각은 잘못된 답변의 원인이 될 수 있습니다. 한 질문에 필요한 정보가 함께 검색되는지 원문과 비교합니다.

키워드 검색과 의미 검색을 같은 업무로 시험합니다

계약 ID나 품목 코드는 정확한 문자열을 찾는 것이 중요합니다. 반면 현장의 줄임말과 문서의 정식 용어처럼 표현이 다른 내용은 의미 검색이 도움이 될 수 있습니다. 두 방식이나 결합된 검색을 검토할 때는 동일한 문서와 질문을 사용해 필요한 근거를 찾는지 비교하세요.

검색 도구를 먼저 정하기보다 정답 근거가 있는 대표 질문을 준비합니다. 현재 규정, 과거 적용본, 비슷한 프로젝트, 답이 없는 질문을 섞으면 검색의 정확도와 누락을 확인할 수 있습니다. 근거가 없는 질문에서는 규정을 만들어 답하는 대신 자료가 부족하다고 안내해야 합니다.

출처가 표시된 답변도 원문을 확인해야 합니다. 인용한 문서가 실제 주장을 뒷받침하는지, 예외가 생략되지 않았는지, 다른 개정본이 더 적합한지 봅니다. 중요한 업무에서는 담당자가 원문을 검토하고 최종 판단을 확정하는 절차를 유지하세요.

권한은 원문 링크에만 적용하면 부족합니다

수집 계정이 제한 폴더를 읽을 수 있어도 일반 사용자가 같은 내용을 검색해도 된다는 뜻은 아닙니다. 사용자별 접근 조건을 검색 과정에 어떻게 반영할지, 원본 권한 변경과 직원 이동을 어떻게 갱신할지 정해야 합니다. 제한 문서가 모델에 전달된 뒤 링크만 숨기면 답변에 내용이 남을 수 있습니다.

Microsoft의 문서 접근 조건을 이용한 검색 필터 패턴은 권한 설계의 참고 자료입니다. 실제 검증에서는 권한이 다른 계정으로 같은 질문을 실행해 제목, 검색 요약, 인용, 원문, 대화 이력을 확인하세요.

예시로 일반 업무 매뉴얼과 제한된 견적 문서를 준비합니다. 견적을 볼 수 없는 계정에서 내용이 드러나지 않는지 확인한 뒤 권한을 변경해 시험을 반복합니다. 개인 정보 탐지나 비식별 처리가 필요한 경우에는 대상 필드, 정확도, 누락 처리와 검토 담당자를 별도 요구사항으로 정합니다.

배포 방식은 데이터 흐름과 운영 책임으로 비교하세요

Wissly는 Public Cloud/SaaS, Private Cloud, 온프레미스 도입 방식을 제공합니다. Public Cloud/SaaS의 AI 처리는 기능과 선택 모델에 따라 Amazon Bedrock 또는 Google Cloud Vertex AI를 이용하며, 온프레미스는 사내망의 로컬 AI로 처리합니다. Private Cloud의 처리·저장 위치와 모델 경로는 도입할 구성에서 확인해야 합니다.

원본 파일이 사내에 있더라도 추출 텍스트, 임베딩, 검색 결과, 질문·답변, 운영 로그가 어디에서 처리·저장되는지 각각 확인하세요. 문서의 외부 반출 제한이 있다면 일부 단계만 로컬에 두는 구성이 요구사항을 만족하는지 검토해야 합니다.

비교할 조건	공급사에 확인할 내용
처리·저장 위치	문서 추출, 검색, 모델 호출, 이력·로그의 위치
외부 연결	OCR·모델·업데이트·라이선스 확인 등의 경로
운영 담당	계정, 연결, 장애, 백업·복구의 책임
변경·삭제	원본과 색인, 과거 이력·백업의 처리 범위
성능 조건	문서 규모·형식·변경량과 동시 이용 환경

온프레미스는 Wissly-in-a-Box 어플라이언스와 보유 GPU·서버에 맞춘 SI 구축 중 검토할 수 있습니다. 설치·권한·감사·연동·지원 범위는 환경과 계약에 맞춰 협의합니다. 어느 배포 이름도 데이터 유출 방지나 규제 준수를 일괄 보장하는 표현으로 사용해서는 안 됩니다.

로그와 문서 변경까지 운영 시험에 넣으세요

감사 요구사항에는 기록할 사건, 포함할 정보, 접근자, 보관 기간, 삭제·내보내기 방식을 적습니다. 질문과 응답 전체를 기록하는 것이 항상 적절한 것은 아닙니다. 이력에 민감한 내용이 남을 수 있으므로 필요한 추적성과 데이터 처리 조건을 함께 검토합니다. Wissly에서 요구하는 로그·관리 기능이 어느 구성에 포함되는지도 확인하세요.

초기 설치 후에는 파일 수정·삭제, 권한 회수, 저장소 연결 단절을 시험합니다. 이전 데이터를 최신으로 표시하지 않는지, 실패한 수집을 누가 확인하는지, 운영자가 복구할 수 있는지를 봅니다. 문서 처리 중 여러 사용자가 질문하는 상황도 포함해 조직의 실제 이용 조건에서 성능을 평가하세요.

Wissly는 폴더·문서·NAS·드라이브를 연결하고 원문 근거를 확인하는 문서 업무를 지원합니다. ERP·그룹웨어·업무용 SaaS는 데이터 구조와 권한에 따라 연동 범위를 협의합니다. Enterprise 도입 상담에 대표 문서, 첫 업무, 반출 조건과 계정·로그 요구사항을 준비하고, RAG PoC 평가로 통과 기준을 정하면 실제 환경에서 적합성을 판단할 수 있습니다.