Ngày càng nhiều doanh nghiệp tìm đến RAG (Retrieval-Augmented Generation – tạo sinh tăng cường truy xuất) để khai thác tài liệu nội bộ và dữ liệu nghiệp vụ bằng AI tạo sinh. Nhưng khi bắt tay vào dự án, những câu hỏi sau gần như luôn xuất hiện:
- Xây dựng hệ thống RAG tốn bao nhiêu chi phí?
- Từ PoC đến vận hành chính thức mất bao nhiêu tháng?
- Cần chuẩn bị những dữ liệu gì?
- Ngoài tài liệu, có dùng được Excel và cơ sở dữ liệu không?
- Làm sao biết PoC đã thành công?
Câu trả lời ngắn gọn
Bạn sẽ nắm được sau bài viết
- RAG hoạt động thế nào, mất bao lâu và tốn bao nhiêu chi phí
- 6 yếu tố quyết định chi phí và khác biệt giữa Prototype, PoC, phát triển chính thức
- Quy trình 6 bước xây dựng hệ thống RAG
- Dự án PoC 8 tuần kết hợp SQL và RAG, cùng tiêu chí đánh giá PoC thành công
RAG là gì?
RAG là viết tắt của Retrieval-Augmented Generation. Khi người dùng đặt câu hỏi, hệ thống sẽ tìm thông tin liên quan trong tài liệu nội bộ và cơ sở dữ liệu, chuyển thông tin đó cho mô hình ngôn ngữ lớn (LLM) và tạo câu trả lời dựa trên chính những thông tin này.
STEP 1
Truy xuất
Tìm thông tin liên quan trong tài liệu và cơ sở dữ liệu
STEP 2
Bổ sung ngữ cảnh
Chuyển kết quả tìm kiếm cho LLM
STEP 3
Tạo câu trả lời
Trả lời dựa trên thông tin đã truy xuất
AI tạo sinh thông thường chỉ trả lời dựa trên những gì mô hình đã học. Với RAG, câu trả lời có thể dựa trên chính dữ liệu của doanh nghiệp — quy định nội bộ, hướng dẫn sản phẩm, tài liệu kỹ thuật, lịch sử hỗ trợ khách hàng — và hiển thị kèm nguồn tham chiếu.
Lưu ý
Xây dựng RAG mất bao lâu?
Dự án RAG thường đi theo trình tự: kiểm chứng kỹ thuật → PoC → phát triển chính thức → triển khai toàn công ty.
| Giai đoạn | Thời gian | Mục đích chính |
|---|---|---|
| Kiểm chứng kỹ thuật / Prototype | 2–4 tuần | Kiểm tra tìm kiếm và trả lời với dữ liệu giới hạn |
| PoC quy mô nhỏ | 1–2 tháng | Đánh giá độ chính xác và hiệu quả với dữ liệu thực |
| PoC dữ liệu hỗn hợp | 2–3 tháng | Kiểm chứng kết hợp tài liệu và cơ sở dữ liệu |
| Hệ thống chính thức cho một bộ phận | 2–4 tháng | Xác thực, phân quyền, ghi log, tích hợp hệ thống |
| Triển khai toàn công ty / cho khách hàng | Từ 4–8 tháng | Tính sẵn sàng cao, kiểm toán, mở rộng nhiều bộ phận |
Kiểm chứng kỹ thuật 2–4 tuần thu hẹp phạm vi tài liệu và câu hỏi để xác nhận tính khả thi. PoC nghiệp vụ dùng chính câu hỏi của người dùng thực để đánh giá độ chính xác tìm kiếm, chất lượng câu trả lời và hiệu quả kinh doanh. Nếu cần chuẩn hóa dữ liệu hoặc tích hợp nhiều hệ thống, thời gian có thể kéo dài 2–3 tháng.
Chi phí xây dựng RAG
Không có mức giá chuẩn cho hệ thống RAG. Tham khảo thông tin công khai về phát triển RAG tại thị trường Nhật Bản, mức ngân sách phổ biến như sau:
| Quy mô | Chi phí tham khảo | Phạm vi thường bao gồm |
|---|---|---|
| Prototype | 0,5–2 triệu yên | Dữ liệu giới hạn, tìm kiếm và trả lời cơ bản |
| PoC quy mô nhỏ | 1,5–5 triệu yên | Làm rõ yêu cầu, xử lý dữ liệu, đánh giá độ chính xác |
| PoC dữ liệu hỗn hợp | Từ 3–8 triệu yên | Tích hợp tài liệu và CSDL, đánh giá mức độ phù hợp |
| Hệ thống chính thức cho một bộ phận | Từ 5–15 triệu yên | Xác thực, phân quyền, ghi log, tích hợp bên ngoài |
| Hệ thống toàn công ty / cho khách hàng | Báo giá riêng | Tính sẵn sàng cao, kiểm toán, chịu tải |
*Ước tính sơ bộ của thị trường, không phải bảng giá của BAP. Chi phí thực tế được tính sau khi xem xét nghiệp vụ, dữ liệu, độ chính xác cần thiết, tích hợp và yêu cầu bảo mật.
6 yếu tố quyết định chi phí RAG
| Yếu tố | Ảnh hưởng đến chi phí và thời gian |
|---|---|
| Loại dữ liệu | RAG chỉ tìm kiếm tài liệu có phạm vi khác với hệ thống kết hợp Excel và CSDL. Cần thiết kế theo dữ liệu, ví dụ SQL cho dữ liệu có cấu trúc, tìm kiếm vector cho tài liệu |
| Tình trạng dữ liệu | Tài liệu cũ, tệp trùng lặp, nhiều phiên bản lẫn lộn sẽ tốn thời gian làm sạch. PDF scan, hình ảnh, bảng phức tạp cần thêm OCR hoặc phân tích bố cục |
| Độ chính xác cần thiết | Tìm kiếm nội bộ thông thường và nghiệp vụ hợp đồng, tài chính, quản lý chất lượng đòi hỏi độ chính xác rất khác nhau. Nghiệp vụ quan trọng cần thêm dữ liệu đánh giá và bước phê duyệt của con người |
| Phân quyền truy cập | Thiết kế phức tạp hơn nhiều khi quyền xem phụ thuộc phòng ban, chức vụ. Nên xác nhận yêu cầu phân quyền ngay từ giai đoạn PoC |
| Tích hợp hệ thống | Kết nối SharePoint, Google Drive, Box, CRM, ERP hay hệ thống quản lý tài liệu cần thiết kế API, xác thực và đồng bộ dữ liệu |
| Vận hành sau triển khai | Cập nhật tài liệu, giám sát chất lượng câu trả lời, kiểm soát chi phí API, xử lý sự cố, cập nhật mô hình — phát sinh phí bảo trì hằng tháng ngoài chi phí xây dựng ban đầu |
Khác biệt giữa Prototype, PoC và phát triển chính thức
| Giai đoạn | Mục tiêu | Sản phẩm chính |
|---|---|---|
| Prototype | Xác nhận cơ chế RAG cơ bản hoạt động | Giao diện đơn giản, chỉ mục tìm kiếm giới hạn, chức năng trả lời cơ bản (thường chưa đánh giá hiệu quả nghiệp vụ hay phân quyền) |
| PoC | Kiểm chứng khả năng áp dụng vào nghiệp vụ bằng dữ liệu thực và câu hỏi tiêu biểu | Hệ thống kiểm chứng, bộ câu hỏi đánh giá và đáp án kỳ vọng, kết quả đánh giá, vấn đề và đề xuất cải tiến, kiến trúc đề xuất, lịch trình sơ bộ cho giai đoạn chính thức |
| Phát triển chính thức | Đảm bảo dùng an toàn trong công việc hằng ngày | Xác thực, phân quyền, log thao tác và kiểm toán, cập nhật dữ liệu, giám sát chất lượng và chi phí API, sao lưu, xử lý sự cố, bảo mật |
Điểm mấu chốt
Quy trình xây dựng RAG: 6 bước
Xác định bài toán nghiệp vụ
“Giúp tìm kiếm thông tin nội bộ” là phạm vi quá rộng. Hãy cụ thể hóa, và giới hạn PoC đầu tiên trong một nghiệp vụ, phòng ban hoặc sản phẩm để dễ đánh giá.
Hỏi đáp quy định nhân sự Trả lời hỗ trợ từ hướng dẫn sản phẩm Tra cứu sự cố thiết bị trước đây Phân tích chênh lệch số liệu kinh doanh Tìm tài liệu đề xuất cho đội sales
Kiểm kê dữ liệu
Kiểm tra định dạng tệp, số lượng tài liệu và dung lượng, cấu trúc CSDL, nơi lưu trữ, tần suất cập nhật, phiên bản cũ và dữ liệu trùng, thông tin cá nhân và thông tin mật, quyền truy cập. Số liệu Excel và tài liệu PDF cần cách tìm kiếm khác nhau, vì vậy hãy hiểu rõ dữ liệu trước khi thiết kế phương thức tìm kiếm.
Xây dựng bộ câu hỏi đánh giá
Thu thập những câu hỏi người dùng thực sự sẽ hỏi. Với mỗi câu, xác định đáp án kỳ vọng, tài liệu cần tham chiếu, số liệu cần dùng, câu trả lời không chấp nhận được và khi nào cần con người kiểm tra. Không có bộ câu hỏi này, bạn không thể biết câu trả lời “nghe hợp lý” có thực sự dùng được trong công việc hay không.
Xây dựng tầng tìm kiếm
Với tài liệu: trích xuất văn bản, chia đoạn (chunking), gắn metadata, tạo embedding và lưu vào cơ sở dữ liệu vector. Với dữ liệu có cấu trúc: kiểm tra kiểu dữ liệu, tên trường, quan hệ giữa các bảng và logic tổng hợp, rồi đưa vào cơ sở dữ liệu quan hệ.
Điều hướng từng loại câu hỏi
Phân loại câu hỏi: câu hỏi về tài liệu dùng tìm kiếm RAG, câu hỏi về số liệu dùng SQL, câu hỏi phức hợp dùng cả hai, câu hỏi ngoài phạm vi thì từ chối trả lời. Dùng workflow định sẵn khi quy trình cố định, và để AI tự lập kế hoạch khi các bước phụ thuộc vào câu hỏi.
Đánh giá riêng tìm kiếm và tạo câu trả lời
Khi câu trả lời sai, cần xác định nguyên nhân: không tìm được tài liệu liên quan, tìm đúng nhưng tạo câu trả lời kém, dùng dữ liệu cũ, tính toán sai, thêm nội dung không có căn cứ, hay truy xuất dữ liệu ngoài quyền hạn. Từ đó biết cần sửa dữ liệu, logic tìm kiếm, prompt hay LLM. Hướng dẫn “Design and develop a RAG solution” của Microsoft trình bày chi tiết cách tiếp cận này.
Dự án thực tế: PoC RAG 8 tuần cho nghiệp vụ quản trị số liệu
BAP Solution Japan đã hỗ trợ một doanh nghiệp Nhật Bản thực hiện PoC ứng dụng RAG và AI tạo sinh cho nghiệp vụ quản trị số liệu kinh doanh.
Bài toán
Việc thu thập số liệu kinh doanh từ nhiều nguồn, chuẩn hóa định dạng và tổng hợp tốn rất nhiều công sức. Nhân viên còn phải làm thủ công các việc sau:
- Kiểm tra chênh lệch giữa thực tế và kế hoạch
- Truy tìm nguyên nhân từ dữ liệu quá khứ
- Đề xuất biện pháp cải thiện
- Chuẩn bị tài liệu cho họp ban lãnh đạo
Mục tiêu PoC
- Kỹ thuật: truy xuất chính xác số liệu quá khứ và tài liệu liên quan
- Nghiệp vụ: đánh giá tính hợp lý của giải thích và đề xuất do AI tạo ra
- Mục tiêu cuối: đủ chất lượng làm bản nháp báo cáo cho ban lãnh đạo, luôn có người kiểm tra
Kế hoạch 8 tuần và đội ngũ
Dự án kéo dài 2 tháng (8 tuần). Sau khi khách hàng giới thiệu cấu trúc và cách sử dụng dữ liệu, BAP làm rõ yêu cầu và phát triển, kiểm thử theo từng chức năng. Mỗi vòng đều được kiểm tra bằng dữ liệu thực, phản hồi được dùng để cải thiện cách trả lời và logic xử lý. Ở giai đoạn cuối, đội ngũ hoàn thiện môi trường cùng tài liệu và bàn giao đúng tiến độ.
Quản lý dự án BrSE (Bridge SE) tiếng Nhật Kỹ sư AI Kỹ sư full-stack Kỹ sư hạ tầng
Đội ngũ đảm nhận trọn vẹn từ mô hình AI đến yêu cầu nghiệp vụ, cơ sở dữ liệu, ứng dụng web và hạ tầng cloud. Tìm hiểu thêm trong bài “Đội ngũ phát triển AI cho doanh nghiệp Nhật Bản”.
Công nghệ sử dụng
| Hạng mục | Công nghệ |
|---|---|
| Nền tảng AI | Amazon Bedrock |
| LLM | Claude Sonnet 4.5 |
| RAG / tìm kiếm vector | PostgreSQL, pgvector |
| Backend | Python, FastAPI, Uvicorn, Gunicorn |
| Frontend | React, TypeScript |
| Dữ liệu | Dữ liệu có cấu trúc như Excel; dữ liệu tri thức như tài liệu Office |
*Lựa chọn dựa trên yêu cầu và cấu trúc dữ liệu của PoC này. Với dự án thực tế, LLM và hạ tầng được quyết định sau khi xem xét khối lượng dữ liệu, bảo mật, môi trường hiện có và độ chính xác cần thiết.
Kiến trúc kết hợp SQL và RAG
Thay vì đưa mọi câu hỏi qua tìm kiếm vector, PoC áp dụng kiến trúc linh hoạt chuyển giữa tìm kiếm SQL và tìm kiếm RAG tùy theo câu hỏi.
STEP 1
Nạp dữ liệu
Tài liệu Office được phân tích, chia đoạn, lưu embedding và metadata vào vector DB. Dữ liệu Excel được kiểm tra rồi đưa vào PostgreSQL
STEP 2
Intent Router
Phân loại câu hỏi. Câu hỏi thường gặp dùng workflow định sẵn; câu hỏi mở để AI tự lập kế hoạch
STEP 3
Tìm kiếm SQL
SQL Tool lấy chính xác số liệu doanh thu, kế hoạch, thực tế từ PostgreSQL
STEP 4
Tìm kiếm RAG
RAG Tool truy xuất quy tắc nghiệp vụ và tài liệu cũ bằng tìm kiếm vector, giữ lại nguồn tham chiếu
STEP 5
Kết hợp & trả lời
Gộp kết quả thành một ngữ cảnh; Claude Sonnet 4.5 tạo câu trả lời và giải thích, kèm nguồn
Ví dụ với câu hỏi “Cho biết chênh lệch giữa kế hoạch và thực tế, giải thích nguyên nhân dựa trên báo cáo trước đây”, hệ thống lấy số liệu từ PostgreSQL, tìm tài liệu liên quan bằng RAG, kết hợp cả hai rồi tạo câu trả lời. Cách làm này cho kết quả phù hợp với nghiệp vụ quản trị số liệu hơn hẳn RAG chỉ tìm kiếm tài liệu.
Tiêu chí đánh giá và kết quả
Câu hỏi không phải “AI có viết được không?” mà là “AI có dùng được cho nghiệp vụ quản trị số liệu không?”. Nhóm kiểm tra khả năng lấy đúng số liệu quá khứ, tìm đúng tài liệu, giải thích chênh lệch hợp lý, đề xuất dựa trên dữ liệu thống kê, lập luận thuyết phục, tạo bản nháp báo cáo dùng được và xuất kết quả để nhân viên dễ kiểm tra, chỉnh sửa. Kết quả của AI không bao giờ được dùng trực tiếp để ra quyết định; nhân viên luôn kiểm tra nguồn và chỉnh sửa khi cần.
8 tuần
Hoàn thành PoC đúng tiến độ
SQL + RAG
Hợp nhất dữ liệu có cấu trúc và tài liệu
Truy vết được
Mỗi câu trả lời đều gắn với nguồn
Đã bàn giao
Môi trường PoC và tài liệu liên quan
Đội ngũ đã kiểm chứng nghiệp vụ soạn bản nháp báo cáo cho ban lãnh đạo và nhận được phản hồi tích cực từ khách hàng.
*Các chỉ số chưa được xác nhận, như tỷ lệ giảm công sức hay độ chính xác câu trả lời, không được đưa vào kết quả.
Tiêu chí đánh giá PoC RAG thành công
“AI chạy được” chưa phải là thành công. Ngoài độ chính xác, hãy kiểm tra các điều kiện sau với tầm nhìn hướng tới vận hành chính thức:
Chất lượng và rủi ro
- Truy xuất được tài liệu và dữ liệu cần thiết
- Câu trả lời có căn cứ, người dùng xem được nguồn
- Nắm được các điều kiện dẫn đến trả lời sai
- Xử lý phù hợp câu hỏi không thể trả lời
- Phạm vi cần con người kiểm tra được xác định rõ
Nghiệp vụ và vận hành
- Có hiệu quả rõ ràng so với cách làm hiện tại (ví dụ tiết kiệm thời gian)
- Ước tính được chi phí vận hành chính thức và trong mức chấp nhận
- Đã có cách cập nhật dữ liệu và người phụ trách vận hành
- Đáp ứng được yêu cầu bảo mật
Với nghiệp vụ rủi ro cao
Cần chuẩn bị gì trước khi yêu cầu báo giá?
Chuẩn bị sẵn các thông tin sau trước khi trao đổi với đơn vị phát triển RAG sẽ giúp xác định phạm vi PoC và báo giá chính xác hơn:
Vấn đề nghiệp vụ cần giải quyết Người dùng mục tiêu Tài liệu và CSDL trong phạm vi Định dạng và nơi lưu dữ liệu Ví dụ câu hỏi thực tế Câu trả lời kỳ vọng Yêu cầu phân quyền Hệ thống cần tích hợp Yêu cầu bảo mật Chỉ số thành công của PoC Thời gian mong muốn Mô hình vận hành sau triển khai
Bạn không cần có sẵn mọi câu trả lời. Chỉ cần rõ vấn đề nghiệp vụ, nơi lưu dữ liệu và vài câu hỏi thực tế là đủ để xác định phạm vi kiểm chứng đầu tiên.
Câu hỏi thường gặp
Q. Có thể làm PoC RAG trong 2–4 tuần không?
A. Có, nếu bài toán, dữ liệu và câu hỏi đã rõ ràng. Nếu cần đánh giá bằng dữ liệu nghiệp vụ thực, tích hợp nhiều hệ thống hoặc tinh chỉnh độ chính xác chi tiết, thường cần 1–3 tháng.
Q. RAG có dùng được dữ liệu Excel không?
A. Có. Khi cần tổng hợp số liệu chính xác, nên đưa dữ liệu Excel vào cơ sở dữ liệu và truy vấn bằng SQL. Kết hợp với RAG cho tài liệu, hệ thống có thể trả lời dựa trên cả số liệu lẫn tài liệu giải trình.
Q. Dùng RAG có hết trả lời sai không?
A. Không hoàn toàn. Cần kết hợp các biện pháp như giới hạn dữ liệu nguồn, trích dẫn nguồn trong câu trả lời, xử lý câu hỏi không trả lời được, kiểm tra theo quy tắc và kiểm duyệt của con người.
Q. Nên chọn LLM nào?
A. Ngoài độ chính xác, hãy cân nhắc cách xử lý dữ liệu, chi phí, tốc độ phản hồi, khả năng hỗ trợ ngôn ngữ và độ tương thích với hạ tầng cloud. PoC quản trị số liệu của BAP sử dụng Claude Sonnet 4.5 trên Amazon Bedrock.
Q. Sau khi triển khai có cần bảo trì không?
A. Có. Tài liệu và dữ liệu cần được cập nhật, chất lượng câu trả lời cần được theo dõi, cấu hình tìm kiếm cần tinh chỉnh, chi phí API và thay đổi mô hình cần được quản lý liên tục.
Tổng kết
- Thời gian và chi phí RAG phụ thuộc vào bài toán, loại dữ liệu, độ chính xác, phân quyền, tích hợp và vận hành — không chỉ số lượng tài liệu
- Kiểm chứng kỹ thuật mất 2–4 tuần, PoC nghiệp vụ mất 1–3 tháng
- Dự án của BAP hoàn thành PoC kết hợp tìm kiếm SQL và RAG trong 8 tuần
Hãy bắt đầu bằng việc xác định bài toán và tiêu chí đánh giá, chạy PoC trên tập dữ liệu giới hạn, rồi dựa vào kết quả để quyết định chức năng, ngân sách và mô hình vận hành cho giai đoạn chính thức. Đó là con đường thực tế nhất để đưa RAG vào vận hành.
Tài liệu tham khảo
Trao đổi với BAP về RAG và PoC AI tạo sinh
BAP đồng hành trọn vẹn — từ làm rõ bài toán nghiệp vụ, thực hiện PoC RAG đến phát triển chính thức, tích hợp hệ thống hiện có và cải tiến sau triển khai. Chúng tôi cũng xây dựng giải pháp AI kết hợp tài liệu nội bộ với Excel, cơ sở dữ liệu và hệ thống nghiệp vụ sẵn có. Hãy liên hệ nếu bạn muốn:
- Xác định nên bắt đầu RAG từ nghiệp vụ nào
- Khai thác đồng thời tài liệu nội bộ và dữ liệu số
- Biết thời gian và đội ngũ cần cho PoC
- Tích hợp AI tạo sinh vào hệ thống hiện có
- Đưa dự án AI tạo sinh đang dừng ở PoC vào vận hành
Ngay cả khi chưa xác định use case, chúng tôi có thể cùng bạn làm rõ nghiệp vụ, dữ liệu và tiêu chí PoC. Xem thêm dịch vụ phát triển AI tạo sinh và RAG của BAP.
