사내 문서와 업무 데이터를 생성형 AI로 활용하기 위해 RAG(검색 증강 생성) 도입을 검토하는 기업이 늘고 있습니다. 하지만 막상 프로젝트를 시작하려고 하면 다음과 같은 질문에 부딪힙니다.
- RAG 구축 비용은 얼마나 드는가
- PoC부터 본격 도입까지 몇 개월이 걸리는가
- 어떤 데이터를 준비해야 하는가
- 문서뿐 아니라 Excel이나 데이터베이스도 활용할 수 있는가
- PoC 성공 여부는 어떻게 판단하는가
결론부터 말하면
이 글에서 알 수 있는 내용
- RAG의 작동 원리와 구축 기간·비용의 기준
- 비용을 좌우하는 6가지 요소, 프로토타입·PoC·본 개발의 차이
- RAG 구축을 위한 6단계 절차
- SQL×RAG를 결합한 8주 PoC 사례와 성공 판단 기준
RAG란?
RAG는 Retrieval-Augmented Generation의 약자로, 우리말로는 “검색 증강 생성”이라고 합니다. 사용자의 질문과 관련된 정보를 사내 문서나 데이터베이스에서 검색하고, 그 정보를 LLM에 전달해 근거 있는 답변을 생성하는 방식입니다.
STEP 1
검색
질문과 관련된 정보를 문서·DB에서 찾는다
STEP 2
컨텍스트 전달
검색 결과를 LLM에 넘긴다
STEP 3
답변 생성
가져온 정보를 근거로 답변을 만든다
일반적인 생성형 AI는 모델이 학습한 지식만으로 답변합니다. RAG를 활용하면 사내 규정, 제품 매뉴얼, 기술 자료, 과거 문의 이력 등 자사 데이터를 근거로 답변할 수 있고, 답변과 함께 출처를 보여 줄 수도 있습니다.
주의
RAG 구축에 필요한 기간
RAG 구축은 보통 기술 검증 → PoC → 본 개발 → 전사 확산 순으로 진행합니다.
| 개발 단계 | 기간 기준 | 주요 목적 |
|---|---|---|
| 기술 검증·프로토타입 | 2~4주 | 한정된 데이터로 검색과 답변 확인 |
| 소규모 PoC | 1~2개월 | 실제 데이터로 정확도와 효과 평가 |
| 복합 데이터 PoC | 2~3개월 | 문서와 데이터베이스를 결합해 검증 |
| 부서용 본 개발 | 2~4개월 | 인증·권한·로그·시스템 연계 구현 |
| 전사·고객용 확산 | 4~8개월 이상 | 고가용성, 감사 대응, 여러 부서로 확산 |
2~4주 기술 검증에서는 대상 문서와 질문을 좁혀 기본적인 실현 가능성을 확인합니다. 업무 PoC에서는 실제 사용자가 입력할 질문으로 검색 정확도, 답변 내용, 업무 효과를 평가합니다. 데이터 정비나 여러 시스템과의 연계가 필요하면 2~3개월이 걸리기도 합니다.
RAG 구축 비용 시세
RAG 구축에는 정해진 가격이 없습니다. 일본 시장에 공개된 RAG 개발 정보를 바탕으로 한 일반적인 비용 기준은 다음과 같습니다.
| 개발 규모 | 비용 기준 | 포함 내용 예시 |
|---|---|---|
| 프로토타입 | 50만~200만 엔 | 한정 데이터, 기본 검색·답변 |
| 소규모 PoC | 150만~500만 엔 | 요건 정리, 데이터 처리, 정확도 평가 |
| 복합 데이터 PoC | 300만~800만 엔 이상 | 문서·DB 통합, 업무 적합성 평가 |
| 부서용 본 시스템 | 500만~1,500만 엔 이상 | 인증, 권한, 로그, 외부 연계 |
| 전사·고객용 시스템 | 개별 견적 | 고가용성, 감사, 부하 대응 |
※시장 기준의 대략적인 수치이며 BAP의 제공 가격이 아닙니다. 실제 비용은 대상 업무, 데이터, 필요한 정확도, 시스템 연계, 보안 요건을 확인한 후 산정합니다.
RAG 구축 비용을 좌우하는 6가지 요소
| 요소 | 비용·기간에 미치는 영향 |
|---|---|
| 데이터 종류 | 문서 검색만 하는 RAG와 Excel·DB를 결합하는 시스템은 개발 범위가 다름. 정형 데이터는 SQL 검색, 문서는 벡터 검색 등 데이터에 맞는 설계 필요 |
| 데이터 상태 | 오래된 문서, 중복 파일, 여러 버전이 섞여 있으면 정리에 시간이 걸림. 스캔 PDF·이미지·복잡한 표는 OCR이나 레이아웃 분석도 필요 |
| 필요한 답변 정확도 | 일반 사내 검색과 계약·금융·품질 관리 업무는 요구 정확도가 다름. 중요한 판단에 관여하는 업무는 평가 데이터 확충과 사람의 승인이 필요 |
| 접근 권한 | 모두가 같은 문서를 보는 경우와 부서·직급별로 열람 범위가 다른 경우는 설계 난이도가 크게 다름. 권한 요건은 PoC 단계부터 확인 |
| 기존 시스템 연계 | SharePoint, Google Drive, Box, CRM, ERP, 문서 관리 시스템 등과 연결하려면 API·인증·데이터 갱신 방식 설계 필요 |
| 도입 후 운영 | 문서 갱신, 답변 품질 모니터링, API 비용 관리, 장애 대응, 모델 변경 대응이 필요. 초기 개발비와 별도로 월 유지보수 비용 발생 |
프로토타입·PoC·본 개발의 차이
| 단계 | 목적 | 주요 산출물 |
|---|---|---|
| 프로토타입 | RAG의 기본 구조가 작동하는지 확인 | 간단한 화면, 한정된 검색 인덱스, 기본 답변 기능(업무 효과나 권한은 평가하지 않는 경우가 많음) |
| PoC | 실제 데이터와 대표 질문으로 업무 적용 가능성 검증 | 검증용 RAG 시스템, 평가용 질문과 기대 답변, 정확도·품질 평가 결과, 과제와 개선안, 운영 환경 구성안, 본 개발 개략 일정 |
| 본 개발 | 일상 업무에서 안전하게 계속 쓸 수 있도록 구현 | 사용자 인증, 접근 권한, 작업·감사 로그, 데이터 갱신, 답변 품질·API 비용 모니터링, 백업, 장애 대응, 보안 대책 |
포인트
RAG 구축 절차: 6단계
대상 업무를 정한다
“사내 정보를 검색할 수 있게 한다”는 범위가 너무 넓습니다. 다음처럼 구체화하고, 첫 PoC는 하나의 업무·부서·제품으로 좁히면 평가하기 쉬워집니다.
인사 규정 관련 사내 문의 제품 매뉴얼 기반 지원 답변 설비 고장 과거 사례 검색 경영 수치 차이 분석 영업 제안 자료 검색
데이터를 목록화한다
파일 형식, 문서 수와 데이터 용량, DB 구조, 저장 위치, 갱신 빈도, 구버전·중복 데이터, 개인정보·기밀정보, 열람 권한을 확인합니다. Excel 수치와 PDF 업무 자료는 적합한 검색 방법이 다르므로, 데이터의 종류와 상태를 파악한 뒤 검색 방식을 설계합니다.
평가용 질문을 만든다
실제 사용자가 입력할 질문을 준비하고, 질문마다 기대 답변, 참조할 문서, 사용할 수치, 허용할 수 없는 답변, 사람의 확인이 필요한 조건을 정리합니다. 평가용 질문이 없으면 문장이 그럴듯해 보여도 업무에 쓸 수 있는 품질인지 판단할 수 없습니다.
검색 기반을 구축한다
문서는 텍스트 추출, 분할(청킹), 메타데이터 부여, 임베딩 생성을 거쳐 벡터 DB에 저장합니다. 정형 데이터는 데이터 타입, 항목명, 테이블 간 관계, 집계 방법을 확인한 후 데이터베이스에 저장합니다.
질문에 따라 처리를 분기한다
질문 내용을 판별해 문서 관련 질문은 RAG 검색, 수치 관련 질문은 SQL 검색, 복합 질문은 둘 다 실행하고, 대상 외 질문에는 답변하지 않도록 제어합니다. 절차가 명확한 업무는 사전 정의된 워크플로를 쓰고, 질문에 따라 절차가 달라지면 AI가 처리 계획을 세우는 방식도 검토합니다.
검색과 답변을 나눠서 평가한다
오답의 원인이 “관련 문서를 못 가져왔다”, “올바른 문서는 가져왔지만 생성에 실패했다”, “오래된 데이터를 참조했다”, “계산을 틀렸다”, “근거 없는 내용을 덧붙였다”, “권한 밖 정보를 가져왔다” 중 무엇인지 구분합니다. 원인을 알면 데이터, 검색 로직, 프롬프트, LLM 중 어디를 개선할지 판단할 수 있습니다. 이 접근법은 Microsoft 가이드 “Design and develop a RAG solution”에서도 설명하고 있습니다.
BAP 사례: 계수 관리 업무를 위한 8주 RAG PoC
BAP Solution Japan은 일본 기업의 계수 관리 업무를 대상으로 RAG와 생성형 AI를 활용한 PoC를 지원했습니다.
배경·과제
여러 자료에서 경영 수치를 모으고, 형식을 맞추고, 집계하는 작업에 많은 공수가 들었습니다. 담당자는 다음 업무도 수작업으로 처리하고 있었습니다.
- 실적과 계획의 차이 확인
- 과거 데이터를 통한 원인 조사
- 개선책 검토
- 경영 회의 자료 준비
PoC 목표
- 기술: 과거 수치와 관련 자료를 정확하게 가져올 수 있는가
- 업무: AI가 작성한 설명과 제안이 충분히 합리적인가
- 최종 목표: 사람이 확인한다는 전제하에 경영 보고 자료 초안으로 쓸 수 있는 품질
8주 개발 계획과 체계
프로젝트 기간은 2개월(8주)이었습니다. 먼저 고객사로부터 업무 데이터의 구조와 활용 방법을 설명받은 뒤, BAP가 요건을 정리하고 기능 단위로 개발과 테스트를 진행했습니다. 사이클마다 실제 데이터로 결과를 확인하고, 피드백을 반영해 답변 방식과 처리 로직을 개선했습니다. 마지막 단계에서 이용 환경과 문서를 정비해 계획된 일정대로 인도했습니다.
프로젝트 매니저 일본어로 요건을 정리하는 BrSE(브리지 SE) AI 엔지니어 풀스택 엔지니어 인프라 엔지니어
AI 모델뿐 아니라 업무 요건, 데이터베이스, 웹 애플리케이션, 클라우드 환경까지 일관되게 설계할 수 있는 체계입니다. BAP의 체계는 “일본 기업을 위한 AI 개발 체계”에서도 소개하고 있습니다.
적용 기술
| 영역 | 사용 기술 |
|---|---|
| AI 기반 | Amazon Bedrock |
| LLM | Claude Sonnet 4.5 |
| RAG·벡터 검색 | PostgreSQL, pgvector |
| 백엔드 | Python, FastAPI, Uvicorn, Gunicorn |
| 프런트엔드 | React, TypeScript |
| 데이터 | Excel 등 정형 데이터, Office 문서 등 지식 데이터 |
※이번 PoC의 업무 요건과 데이터 구조에 따른 선정입니다. 실제 프로젝트에서는 데이터 양, 보안, 기존 환경, 필요한 정확도를 확인한 후 LLM과 인프라를 결정합니다.
SQL과 RAG를 결합한 시스템 구성
이번 PoC에서는 모든 질문을 벡터 검색만으로 처리하지 않고, 질문 내용에 따라 SQL 검색과 RAG 검색을 구분해 사용하는 구성을 채택했습니다.
STEP 1
데이터 수집
Office 문서는 분석·분할해 임베딩과 메타데이터를 벡터 DB에 저장. Excel은 내용과 형식을 검증해 PostgreSQL에 등록
STEP 2
Intent Router
질문 내용을 판별. 정형 질문은 사전 정의 워크플로, 절차가 달라지는 질문은 AI가 실행 계획 수립
STEP 3
SQL 검색
매출·계획·실적 등 수치를 SQL Tool이 PostgreSQL에서 정확히 조회
STEP 4
RAG 검색
업무 규칙과 과거 설명 자료를 RAG Tool이 벡터 검색으로 조회. 출처 정보 유지
STEP 5
통합·답변
두 결과를 공통 컨텍스트로 정리하고 Claude Sonnet 4.5가 답변과 설명을 생성. 출처와 함께 제시
예를 들어 “계획과 실적의 차이를 보여 주고, 과거 자료를 참고해 원인을 설명해 줘”라는 질문에는 PostgreSQL에서 수치를 가져오고, 관련 과거 자료를 RAG로 검색한 뒤 둘을 통합해 답변합니다. 문서 검색만 하는 RAG보다 계수 관리 업무에 적합한 답변을 생성하는 구조를 검증했습니다.
평가 항목과 결과
평가 기준은 “AI가 문장을 만들 수 있는가”가 아니라 “계수 관리 업무에 쓸 수 있는가”였습니다. 과거 수치를 정확히 가져오는지, 관련 자료를 찾는지, 차이를 합리적으로 설명하는지, 통계 데이터에 근거한 제안을 하는지, 설명에 설득력이 있는지, 경영 보고 자료 초안으로 쓸 수 있는지, 담당자가 확인·수정하기 쉬운 형태로 출력되는지를 확인했습니다. 생성 결과는 그대로 경영 판단에 쓰지 않고, 담당자가 근거를 확인해 수정하는 운영을 전제로 했습니다.
8주
계획대로 PoC 완료
SQL × RAG
정형 데이터와 사내 문서 통합
근거 추적
출처를 확인할 수 있는 구성 구현
인도 완료
PoC 환경과 관련 자료 납품
경영 보고 자료 초안 작성을 상정한 업무 검증을 진행했고, 고객사로부터 긍정적인 피드백을 받았습니다.
※공수 절감률, 답변 정확도 등 확인되지 않은 정량 수치는 성과에 포함하지 않았습니다.
RAG PoC 성공을 판단하는 포인트
“AI가 작동했다”는 것만으로는 PoC가 성공했다고 할 수 없습니다. 정확도와 함께 본격 도입을 고려한 다음 조건을 확인하세요.
품질·리스크
- 필요한 문서와 데이터를 가져올 수 있다
- 답변에 근거가 있고 사용자가 확인할 수 있다
- 오답이 발생하는 조건을 파악하고 있다
- 답변할 수 없는 질문을 적절히 처리한다
- 사람이 확인해야 할 범위가 명확하다
업무·운영
- 현행 업무 대비 효과(공수 절감 등)를 기대할 수 있다
- 운영 환경 비용을 추산할 수 있고 감당 가능하다
- 데이터 갱신 방법과 운영 담당자가 정해져 있다
- 보안 요건을 충족할 수 있다
리스크가 높은 업무라면
견적 전에 준비하면 좋은 정보
RAG 개발 회사와 상담하기 전에 다음 정보를 정리해 두면 PoC 범위와 견적을 구체화하기 쉬워집니다.
해결하고 싶은 업무 과제 예상 사용자 대상 문서와 데이터베이스 데이터 형식과 저장 위치 구체적인 질문 예시 기대하는 답변 필요한 접근 권한 연계할 시스템 보안 조건 PoC 평가 지표 희망 도입 시기 도입 후 운영 체계
모든 것을 미리 정할 필요는 없습니다. 업무 과제, 데이터 위치, 실제 질문 예시만 있어도 첫 검증 범위를 정리할 수 있습니다.
자주 묻는 질문
Q. RAG PoC를 2~4주 안에 진행할 수 있나요?
A. 대상 업무, 데이터, 질문이 명확하다면 2~4주 정도의 기술 검증이 가능합니다. 실제 업무 데이터 평가, 여러 시스템 연계, 세밀한 정확도 개선까지 포함하면 1~3개월 정도가 필요합니다.
Q. Excel 데이터도 RAG에서 활용할 수 있나요?
A. 가능합니다. 다만 수치를 정확히 집계해야 한다면 Excel 내용을 데이터베이스로 옮겨 SQL로 조회하는 방식이 적합합니다. 문서 검색용 RAG와 결합하면 수치와 설명 자료를 모두 활용한 답변을 만들 수 있습니다.
Q. RAG를 도입하면 오답이 사라지나요?
A. 완전히 사라지지는 않습니다. 참조 데이터 한정, 답변 출처 표시, 답변 불가 시 처리, 규칙 기반 검증, 사람의 확인 등을 조합해 대응합니다.
Q. 어떤 LLM을 선택해야 하나요?
A. 정확도뿐 아니라 데이터 취급, 이용 요금, 응답 속도, 지원 언어, 클라우드 환경과의 궁합을 확인해 선정합니다. BAP의 계수 관리 PoC에서는 Amazon Bedrock 기반 Claude Sonnet 4.5를 채택했습니다.
Q. RAG 도입 후에도 운영·유지보수가 필요한가요?
A. 필요합니다. 문서·데이터 갱신, 답변 품질 확인, 검색 설정 개선, API 비용 모니터링, 모델 변경 대응을 지속적으로 수행해야 합니다.
정리
- RAG 구축 기간과 비용은 문서 수가 아니라 대상 업무, 데이터 종류, 정확도, 권한, 연계, 운영에 따라 결정된다
- 기술 검증은 2~4주, 업무 PoC는 1~3개월이 기준
- BAP 사례에서는 SQL 검색과 RAG 검색을 결합한 PoC를 8주 만에 완료
먼저 대상 업무와 평가 기준을 정하고, 한정된 데이터로 PoC를 수행한 뒤, 그 결과로 본격 도입에 필요한 기능·비용·운영 체계를 판단하는 것. 이것이 가장 현실적인 RAG 도입 방법입니다.
참고 자료
RAG 구축·생성형 AI PoC, BAP와 상담하세요
BAP는 업무 과제 정리부터 RAG PoC, 본 개발, 기존 시스템 연계, 도입 후 운영 개선까지 일관되게 지원합니다. 사내 문서뿐 아니라 Excel, 데이터베이스, 기존 업무 시스템을 결합한 AI 활용에도 대응합니다. 다음과 같은 단계부터 상담하실 수 있습니다.
- 어떤 업무부터 RAG를 도입할지 정리하고 싶다
- 사내 문서와 수치 데이터를 함께 활용하고 싶다
- PoC에 필요한 기간과 체계를 확인하고 싶다
- 기존 시스템에 생성형 AI를 도입하고 싶다
- PoC에서 멈춘 생성형 AI 프로젝트를 본격 도입하고 싶다
유스케이스가 정해지지 않았더라도 대상 업무, 필요한 데이터, PoC 확인 항목부터 함께 정리해 드립니다. 자세한 내용은 BAP 생성형 AI·RAG 개발 서비스를 참고해 주세요.
