Tanyakan kepada asisten AI umum tentang kebijakan pengembalian dana perusahaan Anda, dan mereka hanya bisa menebak. Ia belum pernah melihat dokumen Anda. RAG, kependekan dari retrieval-augmented generation, menyelesaikan masalah ini dengan mencari informasi yang tepat dan menyerahkannya ke model beserta pertanyaannya.

Panduan ini menjelaskan setiap tahapan dalam bahasa sederhana, lalu membuat versi kecil hanya dengan menggunakan pustaka standar Python. Kami menjalankan kode tersebut pada Python 3.13, dan skor yang ditampilkan berasal dari proses tersebut. Ini tidak menggunakan model bahasa, sehingga menunjukkan pengambilan dan pembuatan cepat, dan kami tidak menguji langkah jawaban akhir.

Apa itu RAG?

Retrieval-augmented generation adalah teknik yang menggabungkan langkah pencarian dengan model bahasa. Ketika sebuah pertanyaan muncul, sistem mencari sumber pengetahuan, menambahkan hasil terbaik ke prompt, dan meminta model untuk menjawab berdasarkan materi tersebut.

Bayangkan ujian buku terbuka. Seorang siswa dengan buku tertutup bergantung pada ingatan dan mungkin salah mengingat. Siswa buku terbuka dapat mencari halaman kanan terlebih dahulu. RAG memberikan model buku itu, dan juga memungkinkannya menunjukkan halaman mana yang digunakannya.

Masalah yang dipecahkan RAG

Model bahasa sendiri memiliki tiga batasan untuk penggunaan bisnis:

• Ia tidak mengetahui data pribadi Anda. Kebijakan, tiket, dan kontrak Anda bukan bagian dari pelatihannya.
• Pengetahuannya terpotong. Ia tidak dapat mengetahui harga yang Anda ubah pagi ini.
• Ia mungkin menemukan jawaban. Jika tidak yakin, ia dapat menghasilkan sesuatu yang masuk akal namun salah.

RAG membahas ketiganya, dan Anda tidak perlu melatih ulang apa pun. Perbarui dokumen, indeks ulang, dan jawaban selanjutnya dapat menggunakannya.

Cara kerja RAG, langkah demi langkah

Sistem RAG memiliki dua saluran pipa. Yang satu mempersiapkan data Anda sebelumnya, dan yang lainnya menjalankan setiap pertanyaan.

Pengindeksan: menyiapkan data Anda

1. Muat: kumpulkan konten dari PDF, wiki, database, atau tiket.
2. Bersihkan dan potong: buang sampah, lalu bagi dokumen menjadi beberapa bagian kecil.
3. Sematkan: ubah setiap bagian menjadi daftar angka, yang disebut penyematan, yang menangkap maknanya.
4. Simpan: simpan penyematan dalam indeks yang dapat dicari, sering kali dalam database vektor.

Query: menjawab pertanyaan

1. Ambil: sematkan pertanyaan dan temukan bagian yang paling dekat maknanya.
2. Tambahan: masukkan bagian-bagian itu ke dalam prompt.
3. Hasilkan: model menulis jawaban menggunakan konteks tersebut.

Pengambilan tidak harus menggunakan vektor. Ini bisa berupa pencarian kata kunci atau bahkan kueri SQL, mana saja yang menemukan informasi yang tepat untuk data Anda.

Contoh kerja kecil

Untuk melihat bagian yang bergerak dengan jelas, berikut adalah seekor anjing retriever kecil tanpa perpustakaan. Ini mewakili teks sebagai jumlah kata, pengganti yang lebih sederhana untuk penyematan nyata, dan menilai kesamaan menggunakan ukuran kosinus.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Menanyakan tentang pengembalian dana akan menemukan jalan yang tepat dan membangun prompt ini:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

Dalam sistem yang lengkap, Anda sekarang akan mengirimkan prompt itu ke model bahasa. Detail pentingnya adalah instruksi untuk mengakui ketika jawabannya tidak ada, yang dapat Anda pelajari lebih lanjut dalam panduan kami untuk rekayasa cepat.

Apa yang terlewatkan oleh contoh kita

Sekarang cobalah pertanyaan yang mempunyai arti yang sama tetapi menggunakan kata-kata yang berbeda:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Setiap skor adalah nol, karena pertanyaannya tidak memiliki kesamaan kata dengan dokumen apa pun. “Uang kembali” berarti pengembalian uang kepada manusia, tetapi tidak ada kata yang bisa menjelaskannya. Output tunggal ini menjelaskan mengapa sistem nyata menggunakan embeddings, yang dirancang sedemikian rupa sehingga teks dengan makna serupa berakhir dengan angka serupa, bahkan tanpa kata yang sama.

Namun jangan berasumsi bahwa penyematan menyelesaikan segalanya. Mereka mungkin kesulitan dengan istilah persis seperti kode produk dan nomor kesalahan, yang mana pencarian kata kunci dapat ditangani dengan sangat baik. Inilah sebabnya banyak sistem produksi menggunakan penelusuran hibrid, yang menggabungkan kedua pendekatan tersebut.

Chunking: langkah yang diremehkan orang

Dokumen dipecah menjadi beberapa bagian karena seluruh file terlalu panjang dan tidak tepat untuk diambil. Ukuran yang Anda pilih melibatkan trade-off nyata:

Beberapa ratus kata dengan beberapa tumpang tindih di antara bagian-bagiannya adalah titik awal yang umum, tetapi perlakukan itu sebagai tebakan pertama untuk diuji. Pisahkan menurut batas alami, seperti judul, bila Anda bisa. Dan lampirkan metadata, seperti judul dokumen, tanggal dan departemen, sehingga Anda dapat memfilter hasil dan mengutip sumber.

Meningkatkan pengambilan

Jika jawabannya buruk, berikut adalah peningkatan yang paling pantas untuk dicoba, kira-kira dalam urutan ini:

• Bersihkan data. Hapus dokumen usang dan duplikat terlebih dahulu. Tidak ada algoritma yang memperbaiki sumber yang bertentangan.
• Gunakan penelusuran hibrid. Gabungkan hasil berbasis makna dan kata kunci.
• Tambahkan pemeringkat ulang. Ambil lebih banyak kandidat, lalu gunakan model khusus untuk menyusun ulang kandidat berdasarkan relevansi.
• Filter berdasarkan metadata. Batasi hasil berdasarkan produk, wilayah, atau tanggal sebelum melakukan penelusuran.
• Tulis ulang kueri. Ubah tindak lanjut yang tidak jelas seperti “bagaimana dengan yang kedua?” menjadi pertanyaan lengkap.

RAG vs penyempurnaan

Mereka tidak saling eksklusif. Perbandingan kami mengenai RAG vs fine-tuning vs rekayasa cepat mencakup cara memilih secara lebih mendalam.

Cara menguji sistem RAG

RAG adalah perangkat lunak, dan memerlukan pengujian seperti perangkat lunak lainnya. Buatlah serangkaian pertanyaan nyata beserta petikan dan jawaban yang Anda harapkan, lalu ukur kedua tahap tersebut secara terpisah:

Sertakan juga kasus-kasus yang canggung: pertanyaan yang tidak memiliki jawaban dalam data Anda, pertanyaan yang menggunakan kata-kata berbeda, dan pertanyaan dengan sumber yang bertentangan. Jalankan kembali set ini setiap kali Anda mengubah potongan, model, atau perintah, seperti rangkaian regresi. tutorial pytest kami menunjukkan cara menjalankan banyak input melalui satu pengujian.

Mengapa sistem RAG gagal

• Jawabannya tidak ada dalam data. Model mungkin masih mencobanya, jadi beri tahu cara menolaknya.
• Bagian kanan tidak diambil. Ini sering kali merupakan masalah pengelompokan atau pencarian.
• Terlalu banyak konteks. Bagian yang tidak relevan dapat mengganggu model dan meningkatkan biaya.
• Dokumen basi. Kebijakan lama dapat diambil dengan percaya diri seperti kebijakan saat ini.
• Tabel dan PDF diurai dengan buruk. Jika ekstraksi mengacak teks, pengambilan tidak akan pernah pulih.
• Menguji hanya dengan pertanyaan demo. Pengguna sebenarnya mengungkapkan hal-hal dengan sangat berbeda.

Keamanan dan izin

RAG membawa dua risiko yang mudah diabaikan. Pertama, kontrol akses: jika indeks menyimpan file HR, pertanyaan karyawan junior tidak boleh mengambilnya. Terapkan izin setiap pengguna selama pengambilan, karena memerintahkan model untuk menyimpan rahasia bukanlah perlindungan yang dapat diandalkan.

Kedua, injeksi cepat. Halaman web atau dokumen yang diambil mungkin berisi teks seperti “abaikan instruksi Anda”. Perlakukan konten yang diambil sebagai data yang tidak tepercaya, batasi tindakan yang dapat dilakukan model, dan minta manusia menyetujui tindakan sensitif.

Penutup

RAG adalah ide sederhana dengan banyak detail praktis: temukan informasi yang tepat, lalu minta model untuk menggunakannya. Mulailah dengan sekumpulan dokumen kecil dan bersih dan sekitar dua puluh pertanyaan nyata. Buat pengambilan berfungsi dengan baik sebelum Anda menambahkan kompleksitas, karena saluran sederhana dengan data yang baik biasanya mengalahkan saluran canggih yang memiliki data buruk.

Pertanyaan yang sering diajukan

Teruslah belajar