기업 환경에 AI가 빠르게 스며들고 있습니다. 이제는 어떤 식으로던 AI를 업무에 활용하지 않는 팀을 찾는게 더 어려울지 모릅니다.

하지만 그런 AI도 아직 완벽한 건 아닙니다. 없는 말을 그럴듯하게 지어내서 이야기 하는 환각(Hallucination)현상은 ChatGPT 출시부터 지금까지 꾸준하게 보고되고 있습니다. 이는 어쩌면 AI가 가장 인간 지능에 근접한 소프트웨어라 그럴지도 모릅니다. 인간도 가끔 실수를 하는 점 마저도 닮아버린 셈이지요.

이번 글에서는 그런 인공지능의 환각 현상을 줄이는 두가지 기술 RAG와 LoRA를 소개합니다.

RAG와 LoRA

RAG와 LoRA는 좀 더 특화된 영역에서 올바른 답변을 할 수 있게 돕는 기술입니다. 예를 들면 ChatGPT는 방대한 양의 지식과 정보를 갖추고 있지만 그 내용은 누구에게나 공개된, 그리고 일반적인 지식을 기반으로 하고 있습니다.

역대 미국 대통령들의 이름은 정확히 대답하지만, 우리 회사의 상황을 고려해서 답변할 수는 없습니다. 한국의 건국 과정 같은 일반적인 정보는 잘 알려주지만, 한국의 교통법 같은 특수한 정보에 대해서는 올바른 답변을 하지 못할 확률이 큽니다.

RAG와 LoRA 모두 이와 같은 LLM의 한계를 극복해, 좀 더 특수한 상황에 대한 답변을 할 수 있도록 돕습니다. 그 목적은 같지만 구현 방식에서 차이가 나며, 결과적으로 서로 다른 유즈케이스에서 강점을 갖습니다.

지금부터 하나씩 살펴보겠습니다.

🧠 RAG란?

RAG는 Retrieval-Augmented Generation의 줄임말입니다. LLM이 외부 지식(문서, PDF, 데이터베이스 등)을 검색해 결과를 읽고, 그 기반 위에서 답변을 생성하는 방식입니다. 대표적으로는 문서를 업로드 하면 문서 내용을 분석하고, 그 내용을 바탕으로 답변해주는 구글의 NotebookLM이 RAG 방식으로 답변을 개선해주는 서비스입니다.

주요 특징

• LLM이 모르는 정보를 외부 문서로부터 실시간 보충

• 기존 모델을 다시 학습시키지 않아도 됨 (No fine-tuning)

• 사용자의 질문에 근거 기반 답변 제공 가능

🔧 LoRA란?

LoRA(Low-Rank Adaptation)는 대형 언어 모델(LLM)의 일부 파라미터만을 저차원 구조로 훈련시켜, 특정 도메인에 맞는 언어 스타일이나 지식 응답을 효율적으로 반영하는 기술입니다. 전체 LLM을 재학습 시키는 것에 비해 시간도, 비용도, 연산력도 더 적게 필요합니다. 예컨데 판례를 다루는 AI 모델을 만들고 싶다면, LLM에 LoRA를 적용해 법률 문체와 응답 구조를 반영할 수 있습니다.

주요 특징

• 기존 LLM을 가볍게 미세 조정할 수 있음

• Full fine-tuning 대비 GPU 리소스 90% 이상 절감

• 모델의 성능은 그대로, 도메인 적합도만 향상

차이점: 서로 다른 해결 방식

RAG는 LLM이 문서를 참조할 수 있게 하는 정도로 비교적 간단하게 구현할 수 있지만, LoRA는 LLM을 학습시킬 때처럼 학습 자료들을 통해 강화 학습을 시켜야 합니다.

사용 과정에서도 차이가 발생하게 되는데, RAG 방식으로 구현된 서비스는 답변을 위해 입력된 데이터를 매번 참고해야 하지만, LoRA에서는 그런 과정이 생략됩니다.

결론: 개별 기업을 위한 최적의 방식을 찾아야 합니다

RAG는 지식 연결을 위한 실시간 엔진, LoRA는 맞춤화된 사고 회로입니다.

• RAG로 신뢰성과 최신성을 확보하고

• LoRA로 도메인 특화된 언어와 형식을 반영하면

기업용 AI 도구는 비로소 실무에서 ‘쓸모 있는’ 도구가 됩니다.

Wissly는 이 두 기술을 통해 보관된 문서들에서 인사이트를 도출하는 솔루션입니다.