RAG란? 사내 문서를 찾아 답변에 연결하는 원리

RAG는 질문과 관련된 자료를 먼저 찾고, 그 자료를 언어 모델에 전달해 답변을 만드는 방식입니다. 회사의 규정이나 매뉴얼을 모델이 원래 알고 있다고 기대하는 대신, 답변할 때 필요한 내용을 찾아 참고하게 합니다. 사내 문서 검색 AI의 기반으로 자주 쓰이지만, RAG를 사용한다는 사실만으로 정확한 답이나 보안이 보장되지는 않습니다.

출장 규정 하나로 이해하는 검색과 생성

설명을 위한 예시로, 직원이 해외 출장의 숙박비 기준을 확인한다고 생각해 보겠습니다. 공유 폴더에는 작년 규정, 올해 개정본, 지역별 별표와 승인 양식이 함께 있습니다.

검색 단계에서는 질문과 관련된 규정의 본문과 별표를 찾습니다. 문서 제목뿐 아니라 시행일, 대상 지역, 적용 직원의 범위도 구분해야 합니다. 생성 단계에서는 찾은 내용을 바탕으로 조건과 예외를 설명하고, 사용자가 원문을 확인할 수 있도록 출처를 연결합니다.

단계	해야 하는 일	잘못됐을 때의 결과
문서 읽기	본문과 별표의 지역·금액·주석 추출	금액에 붙은 예외가 사라짐
검색	질문에 맞는 현행 규정과 별표 선택	작년 한도를 올해 기준으로 안내
답변	근거에 있는 조건만 설명	규정에 없는 승인 절차를 만들어 냄
확인	문서 버전과 원문 위치 제공	직원이 실제 적용 기준을 확인하기 어려움

정답이 “숙박비는 일정 금액까지”로 끝나지 않는 이유가 여기에 있습니다. 지역과 승인 조건을 함께 읽어야 업무에 쓸 수 있는 답이 됩니다.

문서를 색인하는 일은 모델을 재학습하는 일이 아닙니다

보통 문서를 읽어 검색 단위로 나누고, 출처와 버전 같은 정보를 붙여 색인을 만듭니다. 임베딩은 문장이나 문서의 의미를 수치로 표현하는 방법이며, 검색에 사용할 수 있습니다. 이 과정은 언어 모델의 학습된 가중치를 바꾸는 파인튜닝과 다릅니다.

그래서 “PDF를 대량 학습한다”는 설명을 들었다면 실제로 무엇을 하는지 물어보는 것이 좋습니다. 문서 색인인지, 모델 학습인지에 따라 업데이트 방법과 데이터 이용 조건이 달라집니다. Wissly의 문서 인덱싱은 검색을 위한 처리이며, 고객의 문서·질문·답변을 모델 학습에 사용하지 않습니다. 배포 방식별 처리 환경은 보안 안내에서 함께 확인할 수 있습니다.

의미 검색과 키워드 검색은 함께 판단하세요

직원이 “출장 숙소 비용”이라고 질문하고 문서에 “숙박비”라고 쓰여 있다면 의미 검색이 표현 차이를 보완할 수 있습니다. 반대로 설비 번호, 계약 코드, 정확한 품명은 문자 일치가 중요합니다. 벡터 검색 하나가 모든 질문에 적합한 것은 아닙니다.

Microsoft의 하이브리드 검색 설명처럼 키워드 검색과 벡터 검색을 결합하는 설계도 있습니다. 실제 문서와 질문으로 어떤 검색 방식이 근거를 더 잘 찾는지 평가해야 합니다. 기술 이름보다 검색 결과에 필요한 문단이 들어왔는지가 먼저입니다.

최신 문서가 있어도 최신 답변이 자동으로 나오지는 않습니다

원본 규정이 바뀌어도 수집과 색인이 갱신되지 않았다면 이전 내용을 참고할 수 있습니다. 삭제한 문서, 변경한 접근 권한, 저장된 답변도 따로 확인해야 합니다. RAG의 최신성은 모델 크기보다 문서 갱신과 검색 정책에 영향을 받습니다.

자료가 없거나 서로 충돌할 때는 부족한 근거와 확인할 담당자를 알려주는 편이 유용합니다. 출처 링크가 있어도 그 문장이 답변을 뒷받침하는지 직접 살펴봐야 합니다. 검색된 자료에 없는 사실을 추가하는 오류는 여전히 생길 수 있습니다.

개념을 이해했다면 실제 업무 질문으로 확인하세요

현행 규정 질문, 이전 규정을 구분해야 하는 질문, 문서에 답이 없는 질문, 권한이 제한된 질문을 준비해 보세요. 같은 챗봇 화면에서도 네 상황의 결과는 달라야 합니다.

RAG 답변의 근거를 확인하는 방법에서 결과를 읽는 기준을, PoC 평가 가이드에서 시험 방법을 볼 수 있습니다. 직접 만들지 솔루션을 도입할지 결정하는 단계라면 개발과 도입 비교로 이어가세요. Wissly를 검토할 때도 회사의 실제 문서와 질문을 기준으로 연결·배포 범위를 확인하는 것이 출발점입니다.