온프레미스 AI 구축 비용, 장비 견적 전에 계산할 것

온프레미스 AI의 비용은 GPU 서버 가격만으로 정해지지 않습니다. 같은 로컬 LLM을 사용해도 문서를 연결하는 범위, 스캔본 처리량, 동시 사용자, 권한 관리와 운영 지원에 따라 필요한 일이 달라집니다. 장비를 실행할 수 있게 만드는 비용과 직원이 계속 사용할 수 있게 만드는 비용을 함께 계산해야 합니다.

구매팀이 과거 계약과 사양서를 검색하는 업무를 생각해 보겠습니다. 모델이 실행되더라도 PDF 표에서 품목과 단위를 잘못 읽거나, 변경 합의서보다 이전 계약을 먼저 찾아오면 담당자는 원래의 검색으로 돌아갑니다. 이때 필요한 비용은 더 큰 모델만의 문제가 아니라 문서 처리, 버전 구분과 평가를 개선하는 비용입니다.

먼저 견적의 기준이 될 업무를 정하세요

“사내 LLM 구축”이라는 요청에는 채팅 화면만 필요한 경우와 문서 검색용 RAG까지 필요한 경우가 함께 들어갑니다. LLM은 답변을 생성하는 모델이고, RAG는 관련 문서를 찾아 모델에 전달하는 처리 방식입니다. 문서를 계속 추가·수정하며 근거를 확인하려면 수집, 색인, 갱신, 원문 연결을 별도로 준비해야 합니다.

견적을 받을 때 다음 조건을 한 장에 적으세요.

• 대상 업무와 부서: 예를 들어 구매팀의 사양·납기 조건 확인
• 연결할 자료: 지정 NAS 폴더, 계약서, 변경 합의서와 사양서
• 문서 특성: 파일 수뿐 아니라 전체 페이지, 표·스캔 비중, 평균 크기
• 이용 조건: 등록 사용자와 실제 동시 질문 수, 하루 질문량
• 변경 조건: 신규 문서 유입량, 갱신 주기, 삭제와 권한 변경
• 망 조건: 인터넷·외부 모델 API 허용 여부, 설치·패키지 반입 절차
• 검수 조건: 정확한 단위, 현재 승인본, 원문 위치와 사용자별 접근 범위

“문서 1만 개”만 전달하면 짧은 텍스트 파일과 수백 페이지 스캔 계약서가 같은 규모로 취급될 수 있습니다. 대표 파일을 함께 검토하고 처리 시간을 측정해야 장비와 작업량의 가정을 좁힐 수 있습니다.

초기 비용과 반복 비용을 나눠 보세요

비용 영역	처음 준비할 일	운영하면서 발생할 일
인프라	GPU·서버, 저장소, 전원·네트워크 준비	전력, 백업, 장애 대응, 용량 증설
AI 소프트웨어	모델·런타임 설치, 검색·답변 환경 구성	라이선스·지원, 모델 변경, 업데이트 검증
문서 처리	파일 추출, OCR, 표·문서 구조 확인, 초기 색인	신규·수정 문서 처리, 실패 재처리, 재색인
연동·권한	저장소 계정, 사용자 연결, 접근 범위 설계	계정 변경, 원본 권한 변경, 연동 API 변경 대응
업무 적용	평가 질문, 교육, 검수와 운영 문서	품질 점검, 사용자 문의, 새 부서 온보딩

기존 서버를 활용해도 이 표의 나머지 항목은 남습니다. 보유 장비의 구매 비용을 이번 현금 지출에서 제외할 수는 있지만, 가용 자원과 다른 서비스의 사용 계획은 확인해야 합니다. 이미 쓰는 GPU를 AI 검색에 배정하면 기존 작업의 대기나 증설 비용이 발생할 수 있기 때문입니다.

총비용은 같은 기간으로 계산해야 합니다

비교 기간을 정한 뒤 다음처럼 계산할 수 있습니다.

기간 총비용 = 초기 장비·구축 비용 + 해당 기간의 반복 운영 비용 + 고객사 내부 투입 비용 + 계획한 확장·변경 비용

한 번 지급하는 비용과 매년 지급하는 비용을 섞지 않는 것이 핵심입니다. 장비 구매와 구독형 서비스도 같은 업무 범위와 같은 기간을 놓고 비교해야 합니다. 백업이나 유지보수를 한 제안에는 넣고 다른 제안에서는 빼면 합계가 낮은 쪽의 부담이 나중에 나타납니다.

예산표를 만드는 가상의 계산 예시

다음 숫자는 계산법을 보여 주기 위해 임의로 정한 입력값입니다. 시장 평균, 실제 견적, Wissly 또는 Wissly-in-a-Box의 판매 가격이 아닙니다. 실제 예산표에는 공급사 견적과 조직의 인건비 기준을 넣으세요.

가상 입력 항목	가정한 금액·작업량	계산
장비와 초기 구축	6,000만 원	초기 6,000만 원
연간 소프트웨어·유지보수	1,200만 원	3년 × 1,200만 원 = 3,600만 원
연간 전력·백업 등	300만 원	3년 × 300만 원 = 900만 원
초기 내부 투입	200시간, 시간당 5만 원	1,000만 원
연간 내부 운영	120시간, 시간당 5만 원	3년 × 600만 원 = 1,800만 원

이 가정에서 3년 합계는 1억 3,300만 원입니다. 초기 6,000만 원에 반복 비용 4,500만 원, 내부 투입 2,800만 원을 더한 결과입니다. 세금, 금융 비용, 추가 증설, 인력의 다른 업무를 포기하는 비용은 포함하지 않았으므로 이 예시를 완성된 사업 예산으로 사용하면 안 됩니다.

내부 투입 비용은 추가 채용이 없어도 업무 부담을 비교하는 데 도움이 됩니다. 다만 내부 시간을 금액으로 환산했다고 해서 그만큼 현금 지출이 발생하거나, AI가 시간을 줄이면 그만큼 현금이 절감된다고 볼 수는 없습니다.

같은 표에서 문서량 증가로 연간 운영 시간이 120시간에서 240시간이 된다고 가정하면, 내부 운영 비용은 3년 동안 1,800만 원 증가합니다. 장비 가격은 그대로여도 운영 범위가 달라지면 총비용이 바뀐다는 점을 보여 주는 계산입니다.

비용을 크게 바꾸는 조건은 미리 시험하세요

스캔 PDF가 많으면 OCR과 재처리 부담이 커질 수 있습니다. 여러 사용자가 동시에 긴 답변을 요청하면 모델 처리 자원과 대기가 달라집니다. ERP·그룹웨어까지 연결하면 데이터 조회 방식, 사용자 매핑과 원본 권한을 정리할 일이 추가됩니다.

모델 크기나 GPU 수를 먼저 고정하기보다 대표 문서와 질문으로 초기 색인, 반복 질문, 동시 질문을 각각 확인하세요. 운영 중 문서 처리와 사용자 질문이 함께 발생하는 조건도 포함합니다. 필요한 근거와 수치가 유지되는지를 확인하지 않은 응답 속도는 구매 기준이 되기 어렵습니다.

폐쇄망에서는 패키지·모델 반입, 취약점 점검, 업데이트 승인과 장애 시 지원 경로도 비용 항목입니다. “외부 연결이 없다”는 조건을 충족하려면 모델 호출뿐 아니라 OCR, 임베딩, 라이선스 확인, 로그 전송 경로를 함께 검토해야 합니다. 자세한 시험 항목은 사내 AI 보안 검토 체크리스트에서 확인할 수 있습니다.

견적에는 포함·별도·고객 준비 항목을 표시하세요

공급사에 합계와 함께 다음 구분을 요청하세요. 장비 납품, 소프트웨어 설치, 초기 문서 연결, 맞춤 연동, 사용자·권한 구성, 교육, 검수, 유지보수가 각각 어디에 들어가는지 확인하는 방식입니다.

특히 문서 수 증가, 저장소 추가, 부서 확대, 모델 변경, 장애 복구가 기존 계약에 포함되는지 적어야 합니다. 설치 후 직원이 처음 질문할 수 있는 상태와 평가 질문을 통과한 상태도 구분하세요. 문서 AI 제안요청서에 이런 조건을 넣으면 여러 제안을 같은 범위로 비교하기 쉽습니다.

Wissly 구축을 검토할 때 준비할 정보

Wissly는 GPU 인프라부터 준비하는 조직을 위한 Wissly-in-a-Box와 보유 GPU·서버를 활용하는 SI 구축을 제공합니다. Enterprise와 어플라이언스 가격은 공개 정액표가 아니라 업무, 인프라, 연동과 지원 범위를 검토해 협의합니다. SaaS 요금표의 개인·소규모 사용 요금을 온프레미스 구축 가격으로 환산할 수는 없습니다.

첫 상담에는 대상 업무, 대표 문서 형식, 저장소 위치, 동시 사용자 조건, 망 정책과 보유 장비 정보를 준비하세요. 장비가 없다면 그 사실을 적으면 됩니다. 조건을 아직 확정하지 못한 항목도 표시해 두면 어떤 검토가 필요한지 함께 정할 수 있습니다.

구축 방식은 어플라이언스와 기존 GPU 서버 비교, 직접 개발 여부는 RAG 개발과 솔루션 도입 비교에서 이어서 살펴볼 수 있습니다. 구체적인 범위는 Wissly 도입 상담에서 검토할 수 있습니다.