Hãy hỏi trợ lý AI chung về chính sách hoàn tiền của công ty bạn và trợ lý này chỉ có thể đoán. Nó chưa bao giờ nhìn thấy tài liệu của bạn. RAG, viết tắt của thế hệ tăng cường truy xuất, giải quyết vấn đề này bằng cách tra cứu thông tin phù hợp và chuyển thông tin đó cho mô hình cùng với câu hỏi.

Hướng dẫn này giải thích từng giai đoạn bằng ngôn ngữ đơn giản, sau đó xây dựng một phiên bản nhỏ chỉ sử dụng thư viện chuẩn của Python. Chúng tôi đã chạy mã đó trên Python 3.13 và điểm số hiển thị là từ lần chạy đó. Nó không sử dụng mô hình ngôn ngữ nên nó thể hiện khả năng truy xuất và xây dựng nhanh chóng và chúng tôi không kiểm tra bước trả lời cuối cùng.

RAG là gì?

Tạo tăng cường truy xuất là một kỹ thuật kết hợp bước tìm kiếm với mô hình ngôn ngữ. Khi có câu hỏi, hệ thống sẽ tìm kiếm nguồn kiến ​​thức, thêm kết quả tốt nhất vào lời nhắc và yêu cầu mô hình trả lời dựa trên tài liệu đó.

Hãy nghĩ về một bài kiểm tra mở sách. Một học sinh đóng sách dựa vào trí nhớ và có thể tự tin nhớ sai. Học sinh mở sách có thể tra cứu trang bên phải trước. RAG cung cấp cho mô hình cuốn sách đó và cũng cho phép nó trỏ đến trang nào được sử dụng.

Vấn đề RAG giải quyết

Bản thân một mô hình ngôn ngữ có ba giới hạn đối với việc sử dụng trong doanh nghiệp:

• Nó không biết dữ liệu riêng tư của bạn. Các chính sách, vé và hợp đồng của bạn không nằm trong chương trình đào tạo của nó.
• Kiến ​​thức của nó có giới hạn. Nó không thể biết về mức giá bạn đã thay đổi sáng nay.
• Nó có thể phát minh ra câu trả lời. Khi không chắc chắn, nó có thể tạo ra điều gì đó hợp lý nhưng lại sai.

RAG giải quyết cả ba vấn đề này và bạn không cần phải đào tạo lại bất cứ điều gì. Cập nhật tài liệu, lập chỉ mục lại tài liệu và câu trả lời tiếp theo có thể sử dụng tài liệu đó.

Cách thức hoạt động của RAG, từng bước một

Một hệ thống RAG có hai đường ống. Một người chuẩn bị trước dữ liệu của bạn và người kia chạy cho mọi câu hỏi.

Lập chỉ mục: chuẩn bị dữ liệu của bạn

1. Tải: thu thập nội dung từ các tệp PDF, wiki, cơ sở dữ liệu hoặc vé.
2. Dọn dẹp và chia nhỏ: loại bỏ rác, sau đó chia tài liệu thành các đoạn nhỏ.
3. Nhúng: chuyển đổi mỗi đoạn văn thành một danh sách các số, được gọi là phần nhúng, để nắm bắt ý nghĩa của nó.
4. Lưu trữ: lưu các phần nhúng trong chỉ mục có thể tìm kiếm, thường là cơ sở dữ liệu vectơ.

Query: trả lời câu hỏi

1. Truy xuất: nhúng câu hỏi và tìm những đoạn văn gần nghĩa nhất.
2. Tăng cường: chèn những đoạn văn đó vào lời nhắc.
3. Tạo: mô hình viết câu trả lời bằng ngữ cảnh đó.

Việc truy xuất không nhất thiết phải sử dụng vectơ. Đó có thể là tìm kiếm từ khóa hoặc thậm chí là truy vấn SQL, tùy theo cách nào tìm thấy thông tin phù hợp cho dữ liệu của bạn.

Một ví dụ hoạt động nhỏ

Để nhìn rõ các bộ phận chuyển động, đây là một chú chó săn nhỏ không có thư viện. Nó biểu thị văn bản dưới dạng số từ, một cách thay thế đơn giản hơn nhiều cho các phần nhúng thực sự và nó ghi điểm tương tự bằng cách sử dụng thước đo cosine.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Hỏi về việc hoàn tiền, hãy tìm đoạn văn phù hợp và xây dựng lời nhắc này:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

Trong một hệ thống hoàn chỉnh, bây giờ bạn sẽ gửi lời nhắc đó đến một mô hình ngôn ngữ. Chi tiết quan trọng là hướng dẫn thừa nhận khi thiếu câu trả lời. Bạn có thể tìm hiểu thêm về hướng dẫn này trong hướng dẫn của chúng tôi về kỹ thuật nhanh chóng.

Ví dụ của chúng tôi bỏ sót điều gì

Bây giờ hãy thử đặt câu hỏi có cùng nghĩa nhưng sử dụng các từ khác nhau:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Mọi điểm đều bằng 0 vì câu hỏi không chia sẻ từ nào với bất kỳ tài liệu nào. “Hoàn tiền” có nghĩa là hoàn lại tiền cho con người, nhưng không thể biết được số từ. Đầu ra duy nhất này giải thích lý do tại sao các hệ thống thực sử dụng phần nhúng, được thiết kế sao cho văn bản có ý nghĩa tương tự sẽ kết thúc bằng các số giống nhau, thậm chí không có từ chung nào.

Nhưng đừng cho rằng phần nhúng giải quyết được mọi thứ. Họ có thể gặp khó khăn với các thuật ngữ chính xác như mã sản phẩm và số lỗi mà việc tìm kiếm từ khóa xử lý rất tốt. Đây là lý do tại sao nhiều hệ thống sản xuất sử dụng tìm kiếm kết hợp, kết hợp cả hai phương pháp.

Chunking: bước mà mọi người đánh giá thấp

Tài liệu được chia thành nhiều phần vì toàn bộ tệp quá dài và không thể truy xuất chính xác. Kích thước bạn chọn liên quan đến sự đánh đổi thực sự:

Một vài trăm từ có một số từ trùng lặp giữa các phần là điểm khởi đầu phổ biến, nhưng hãy coi đó là lần đoán đầu tiên để kiểm tra. Phân chia theo các ranh giới tự nhiên, chẳng hạn như tiêu đề, khi bạn có thể. Và đính kèm siêu dữ liệu, như tiêu đề tài liệu, ngày tháng và bộ phận, để bạn có thể lọc kết quả và trích dẫn nguồn.

Cải thiện việc truy xuất

Khi câu trả lời kém, đây là những nâng cấp đáng thử nhất, đại khái theo thứ tự sau:

• Làm sạch dữ liệu. Trước tiên, hãy xóa các tài liệu lỗi thời và trùng lặp. Không có thuật toán sửa các nguồn mâu thuẫn.
• Sử dụng tìm kiếm kết hợp. Kết hợp kết quả dựa trên ý nghĩa và từ khóa.
• Thêm người xếp hạng lại. Tìm nạp thêm ứng viên, sau đó sử dụng mô hình chuyên biệt để sắp xếp lại họ theo mức độ liên quan.
• Lọc theo siêu dữ liệu. Giới hạn kết quả theo sản phẩm, khu vực hoặc ngày trước khi tìm kiếm.
• Viết lại truy vấn. Chuyển sang câu tiếp theo mơ hồ như “câu thứ hai thì sao?” thành một câu hỏi hoàn chỉnh.

RAG vs tinh chỉnh

Chúng không loại trừ lẫn nhau. So sánh của chúng tôi về RAG với tinh chỉnh và kỹ thuật nhanh chóng bao gồm cách chọn chuyên sâu hơn.

Cách kiểm tra hệ thống RAG

RAG là phần mềm và nó cần được kiểm tra như bất kỳ phần mềm nào khác. Tạo một bộ câu hỏi thực tế cùng với các đoạn văn và câu trả lời mà bạn mong đợi, sau đó đo lường riêng biệt hai giai đoạn:

Bao gồm cả các trường hợp khó xử: các câu hỏi không có câu trả lời trong dữ liệu của bạn, các câu hỏi sử dụng cách diễn đạt khác nhau và các câu hỏi có nguồn xung đột. Chạy lại bộ này bất cứ khi nào bạn thay đổi phân đoạn, mô hình hoặc lời nhắc, giống như bộ hồi quy. Hướng dẫn pytest của chúng tôi cho biết cách chạy nhiều đầu vào thông qua một thử nghiệm duy nhất.

Tại sao hệ thống RAG thất bại

• Câu trả lời không có trong dữ liệu. Mô hình vẫn có thể thử một lần, vì vậy hãy cho mô hình biết cách từ chối.
• Không truy xuất được đoạn bên phải. Đây thường là vấn đề về phân đoạn hoặc tìm kiếm.
• Quá nhiều ngữ cảnh. Những đoạn văn không liên quan có thể làm mô hình mất tập trung và tăng chi phí.
• Tài liệu cũ. Bạn có thể truy xuất chính sách cũ một cách tự tin như chính sách hiện tại.
• Bảng và tệp PDF được phân tích cú pháp kém. Nếu quá trình trích xuất làm xáo trộn văn bản thì quá trình truy xuất sẽ không bao giờ khôi phục được.
• Chỉ kiểm tra bằng các câu hỏi demo. Người dùng thực tế diễn đạt mọi thứ rất khác nhau.

Bảo mật và quyền

RAG mang đến hai rủi ro rất dễ bỏ qua. Đầu tiên, kiểm soát truy cập: nếu chỉ mục chứa các tệp nhân sự, câu hỏi của nhân viên cấp dưới không được truy xuất chúng. Áp dụng quyền của từng người dùng trong quá trình truy xuất vì việc hướng dẫn mô hình giữ bí mật không phải là biện pháp bảo vệ đáng tin cậy.

Thứ hai, tiêm nhanh. Trang web hoặc tài liệu được truy xuất có thể chứa văn bản như “bỏ qua hướng dẫn của bạn”. Hãy coi nội dung được truy xuất là dữ liệu không đáng tin cậy, giới hạn những hành động mà mô hình có thể thực hiện và yêu cầu con người phê duyệt những hành động nhạy cảm.

Lời kết

RAG là một ý tưởng đơn giản với nhiều chi tiết thực tế: tìm thông tin phù hợp và sau đó yêu cầu mô hình sử dụng thông tin đó. Bắt đầu với một bộ tài liệu nhỏ, rõ ràng và khoảng 20 câu hỏi thực tế. Để quá trình truy xuất hoạt động tốt trước khi bạn thêm độ phức tạp, bởi vì quy trình khiêm tốn có dữ liệu tốt thường đánh bại quy trình phức tạp có dữ liệu xấu.

Câu hỏi thường gặp

Tiếp tục học hỏi