Giải thích retrieval-augmented generation (RAG)

Retrieval-augmented generation (RAG) cung cấp cho mô hình ngôn ngữ các tài liệu liên quan ngay lúc truy vấn, để câu trả lời dựa trên dữ liệu của bạn thay vì chỉ dựa vào trí nhớ lúc huấn luyện. Nó giảm hiện tượng bịa (hallucination), cho phép dùng tri thức riêng hoặc mới mà không cần huấn luyện lại, và giúp trích dẫn nguồn.

Lập chỉ mục (offline). Chia tài liệu thành các đoạn (chunk), chuyển mỗi đoạn thành vector embedding và lưu vào vector index cùng metadata.

Truy vấn (online). Embed câu hỏi, lấy top-k đoạn giống nhất (thường kết hợp tìm kiếm từ khoá và reranker), rồi đưa vào prompt kèm chỉ dẫn chỉ trả lời dựa trên ngữ cảnh. Sau đó mô hình sinh câu trả lời.

Chất lượng chủ yếu phụ thuộc vào bước truy xuất: kích thước chunk, mô hình embedding, tìm kiếm kết hợp, bộ lọc metadata và reranking. Đánh giá truy xuất (đoạn đúng có nằm trong top-k không?) tách biệt với sinh câu trả lời (câu trả lời có trung thành với ngữ cảnh không?).

RAG không loại bỏ hoàn toàn hallucination, và nó thêm độ trễ cùng một index phải bảo trì.