Genel bir yapay zeka asistanına şirketinizin geri ödeme politikasını sorun, o yalnızca tahminde bulunabilir. Belgelerinizi hiç görmedi. Almayla artırılmış oluşturmanın kısaltması olan RAG, doğru bilgiyi arayıp bunu soruyla birlikte modele vererek bu sorunu çözer.

Bu kılavuz her aşamayı sade bir dille açıklıyor, ardından yalnızca Python’un standart kütüphanesini kullanarak küçük bir versiyon oluşturuyor. Bu kodu Python 3.13’te çalıştırdık ve gösterilen puanlar bu çalıştırmadan geliyor. Herhangi bir dil modeli kullanmadığından, geri getirme ve hızlı oluşturma işlemlerini gösterir ve son yanıt adımını test etmedik.

RAG nedir?

Erişimle artırılmış nesil, bir arama adımını bir dil modeliyle birleştiren bir tekniktir. Bir soru geldiğinde sistem bir bilgi kaynağı arar, en iyi sonuçları istemlere ekler ve modelden bu materyale göre yanıt vermesini ister.

Açık kitaplı bir sınav düşünün. Kapalı kitaplı bir öğrenci hafızasına güvenir ve kendinden emin bir şekilde yanlış hatırlayabilir. Açık kitap öğrencisi ilk önce doğru sayfaya bakabilir. RAG, modele bu kitabı verir ve aynı zamanda hangi sayfayı kullandığını göstermesini sağlar.

RAG’ın çözdüğü sorun

Bir dil modelinin iş kullanımı açısından kendi başına üç sınırı vardır:

• Özel verilerinizi bilmiyor. Politikalarınız, biletleriniz ve sözleşmeleriniz eğitiminin bir parçası değildi.
• Bilgisinin bir sınırı vardır. Bu sabah değiştirdiğiniz bir fiyattan haberi olamaz.
• Cevaplar icat edebilir. Emin olmadığınızda makul ancak yanlış bir şey üretebilir.

RAG bu üçüne de hitap eder ve hiçbir şeyi yeniden eğitmeniz gerekmez. Bir belgeyi güncelleyin, yeniden dizinleyin ve bir sonraki yanıt onu kullanabilir.

RAG nasıl çalışır, adım adım

Bir RAG sisteminin iki boru hattı vardır. Biri verilerinizi önceden hazırlar, diğeri ise her soru için çalışır.

Dizin oluşturma: verilerinizi hazırlama

1. Yükle: PDF’lerden, wiki’lerden, veritabanlarından veya destek taleplerinden içerik toplayın.
2. Temizleyin ve parçalayın: Önemsizleri kaldırın, ardından belgeleri küçük bölümlere ayırın.
3. Yerleştirme: her bir pasajı, yerleştirme adı verilen ve anlamını yakalayan bir sayı listesine dönüştürür.
4. Depolama: yerleştirmeleri aranabilir bir dizine, genellikle bir vektör veritabanına kaydeder.

Sorgulama: Bir soruyu yanıtlamak

1. Geri alma: soruyu yerleştirin ve anlam açısından en yakın pasajları bulun.
2. Augment: bu pasajları istemin içine ekleyin.
3. Oluştur: model, bu bağlamı kullanarak bir yanıt yazar.

Alma işleminde vektörlerin kullanılması gerekmez. Verileriniz için doğru bilgiyi hangisi bulursa bu, bir anahtar kelime araması veya hatta bir SQL sorgusu olabilir.

Küçük bir çalışma örneği

Hareketli parçaları net bir şekilde görebilmeniz için burada kütüphanesi olmayan küçük bir av köpeği var. Metni kelime sayısı olarak temsil eder, gerçek yerleştirmeler için çok daha basit bir alternatiftir ve kosinüs ölçüsünü kullanarak benzerliği puanlar.

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

Geri ödemeler hakkında soru sormak doğru pasajı bulur ve şu istemi oluşturur:

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

Eksiksiz bir sistemde artık bu istemi bir dil modeline göndereceksiniz. Önemli ayrıntı, yanıt eksik olduğunda kabul etme talimatıdır; bunun hakkında daha fazla bilgiyi hızlı mühendislik kılavuzumuzda bulabilirsiniz.

Örneğimizin kaçırdığı şey

Şimdi aynı anlama gelen ancak farklı kelimeler kullanan bir soru deneyin:

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

Her puan sıfırdır çünkü soru hiçbir belgeyle hiçbir kelimeyi paylaşmaz. “Para iadesi”, bir insana geri ödeme anlamına gelir, ancak kelime sayıları bunu söyleyemez. Bu tek çıktı, gerçek sistemlerin neden benzer anlamlara sahip metinlerin ortak kelimeler olmasa bile benzer sayılarla sonuçlanacağı şekilde tasarlanmış yerleştirmeleri kullandığını açıklamaktadır.

Ancak yerleştirmelerin her şeyi çözdüğünü varsaymayın. Anahtar kelime aramasının çok iyi şekilde üstesinden geldiği ürün kodları ve hata numaraları gibi kesin terimlerle uğraşabilirler. Bu nedenle birçok üretim sistemi, iki yaklaşımı birleştiren karma aramayı kullanır.

Parçalama: insanların hafife aldığı adım

Dosyaların tamamı çok uzun olduğundan ve alınması kesin olmadığından belgeler parçalara bölünür. Seçtiğiniz boyut gerçek bir ödünleşim gerektirir:

Parçalar arasında bir miktar örtüşme olan birkaç yüz kelime ortak bir başlangıç noktasıdır, ancak bunu test edilecek ilk tahmin olarak değerlendirin. Mümkün olduğunda başlıklar gibi doğal sınırlar boyunca bölün. Sonuçları filtreleyebilmeniz ve kaynaklardan alıntı yapabilmeniz için belge başlığı, tarih ve departman gibi meta verileri de ekleyin.

Erişimi iyileştirme

Yanıtlar yetersiz olduğunda, denemeye en değer yükseltmeler kabaca şu şekildedir:

• Verileri temizleyin. Önce güncel olmayan ve yinelenen belgeleri kaldırın. Hiçbir algoritma çelişkili kaynakları düzeltmez.
• Karma aramayı kullanın. Anlam temelli ve anahtar kelime sonuçlarını birleştirin.
• Yeniden sıralama ekleyin. Daha fazla aday getirin, ardından bunları alaka düzeyine göre yeniden sıralamak için özel bir model kullanın.
• Meta verilere göre filtreleyin. Aramadan önce sonuçları ürüne, bölgeye veya tarihe göre kısıtlayın.
• Sorguyu yeniden yazın. “İkincisi ne olacak?” gibi belirsiz bir devamı çevirin. tam bir soruya dönüştü.

RAG ve ince ayar karşılaştırması

Birbirini dışlayan değiller. RAG, ince ayar ve hızlı mühendislik karşılaştırmamız nasıl daha derinlemesine seçim yapılacağını kapsar.

RAG sistemi nasıl test edilir

RAG bir yazılımdır ve diğer yazılımlar gibi testlere ihtiyaç duyar. Beklediğiniz pasajlar ve yanıtlarla birlikte bir dizi gerçek soru oluşturun ve ardından iki aşamayı ayrı ayrı ölçün:

Garip durumları da ekleyin: Verilerinizde cevabı olmayan sorular, farklı ifadeler kullanan sorular ve birbiriyle çelişen kaynaklara sahip sorular. Tıpkı bir regresyon paketinde olduğu gibi, parçalamayı, modelleri veya istemleri değiştirdiğinizde bu seti yeniden çalıştırın. pytest eğitimimiz tek bir testte birçok girdinin nasıl çalıştırılacağını gösterir.

RAG sistemleri neden başarısız oluyor?

• Cevap verilerde yok. Model hâlâ bir deneme deneyebilir; bu nedenle ona nasıl reddedileceğini söyleyin.
• Doğru parça alınamadı. Bu genellikle bir parçalama veya arama sorunudur.
• Çok fazla bağlam. Alakasız pasajlar modelin dikkatini dağıtabilir ve maliyetleri artırabilir.
• Eski belgeler. Eski bir politika, mevcut politika kadar güvenli bir şekilde alınabilir.
• Tablolar ve PDF’ler kötü bir şekilde ayrıştırıldı. Çıkarma metni karıştırıyorsa, erişim asla düzelmez.
• Yalnızca demo sorularla test ediliyor. Gerçek kullanıcılar bazı şeyleri çok farklı ifade ediyor.

Güvenlik ve izinler

RAG, gözden kaçması kolay iki riski beraberinde getiriyor. Birincisi, erişim kontrolü: eğer indeks İK dosyalarını içeriyorsa, asistan bir çalışanın sorusu bu dosyaları almamalıdır. Modele sır saklama talimatı vermek güvenilir bir koruma olmadığından, alma sırasında her kullanıcının izinlerini uygulayın.

İkincisi, hızlı enjeksiyon. Alınan bir web sayfası veya belge, “talimatlarınızı dikkate almayın” gibi bir metin içerebilir. Alınan içeriğe güvenilmeyen veri olarak davranın, modelin gerçekleştirebileceği eylemleri sınırlayın ve hassas olanları bir insanın onaylamasını zorunlu kılın.

Son sözler

RAG, pek çok pratik ayrıntıyı içeren basit bir fikirdir: Doğru bilgiyi bulun ve ardından modelden onu kullanmasını isteyin. Küçük, temiz bir dizi belge ve yaklaşık yirmi gerçek soruyla başlayın. Karmaşıklığı artırmadan önce alma işleminin iyi çalışmasını sağlayın, çünkü iyi verilere sahip mütevazı bir işlem hattı genellikle kötü verilere sahip karmaşık bir işlem hattını yener.

Sık sorulan sorular

Öğrenmeye devam et