“Paramı nasıl geri alabilirim” diye arama yaptığınızda, iyi bir sistem “Geri ödeme politikası” başlıklı bir sayfa bulmalıdır, her ne kadar ikisi arasında önemli bir kelime olmasa da. Bu yetenek, modern yapay zekanın en kullanışlı fikirlerinden biri olan yerleştirmelerden kaynaklanmaktadır.

Bu kılavuz, ağır matematik gerektirmeyen yerleştirmeleri açıklamaktadır. Python 3.13’te küçük bir örnek çalıştırdık ve çıktısı aşağıda gösteriliyor. Buradaki vektörler, fikrin görülmesini kolaylaştırmak için her biri yalnızca üç sayı içeren, elle oluşturduğumuz vektörlerdir. Gerçek yerleştirmeler eğitimli bir modelden gelir ve genellikle yüzlerce veya binlerce sayıya sahiptir.

Gömme nedir?

Gömme, bir şeyin vektör adı verilen bir sayı listesi şeklinde temsilidir. İlgili anlamlara sahip öğelerin birbirine yakın vektörler alması için bir model eğitilir.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Metin bu formda olduğunda, bilgisayar iki metin parçasının ne kadar benzer olduğunu hesaplayabilir ve bunu doğrudan kelimelerle yapamaz. Gömmeler kelimelerle de sınırlı değildir. Cümleler, tüm belgeler, resimler, ses ve ürünlerin tümü yerleştirilebilir.

Neden yalnızca anahtar kelimeleri eşleştirmiyorsunuz?

RAG ile ilgili rehberimiz bunu pratikte göstermektedir. Basit bir kelime sayımı araması “Paramı ne zaman geri alabilirim?” sorusuna sıfır puan verdi. hiçbir kelime paylaşmadıkları için geri ödeme belgesine karşı. Üçüncü satıra da dikkat edin: tam tanımlayıcılar yerleştirmelerin zayıf noktasıdır, dolayısıyla anahtar kelime aramanın hala bir yeri vardır.

Bir harita düşünün

Her kelimeyi, konumun anlamı yansıttığı devasa bir haritaya yerleştirdiğinizi hayal edin. “Kedi” ve “yavru kedi” neredeyse yan yana oturuyor, “köpek” aynı mahallede, “fatura” ise farklı şehirde. İlgili kelimeleri bulmak için yakınınıza bakmanız yeterlidir.

Gerçek bir yerleştirme aynı şekilde çalışır; ancak haritanın iki yerine yüzlerce boyutu vardır. İnsanlar bunu hayal edemiyorlar ama matematik aynı şekilde çalışıyor. Bireysel sayıların genellikle “tüylülük” gibi net bir anlamı yoktur. Önemli olan genel konumdur.

Küçük bir çalışma örneği

El yapımı vektörlerimizi şu şekilde karşılaştırabilirsiniz:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

“Kedi” karşısında “yavru kedi” en yüksek puanı alırken, onu “köpek” takip ediyor ve “fatura” çok daha düşük puan alıyor. Bu modeli oluşturmak için bu vektörleri seçtik, dolayısıyla sıralama gerçek dil hakkında hiçbir şey kanıtlamıyor. Yalnızca hesaplamanın nasıl davrandığını gösterir. Anlamsal arama aynı şeyi üç adımda yapar: sorguyu yerleştirin, depolanan her öğeye göre puanlayın ve sıralayın.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Kosinüs benzerliği açıklandı

Her vektör orijinden gelen bir ok gibi düşünülebilir. Kosinüs benzerliği, iki ok arasındaki açıyı, ne kadar uzun olduklarını göz ardı ederek ölçer. Anahtar değerleri onayladık:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

İlk satıra bakın. [2, 4, 6], [1, 2, 3]‘nin iki katı uzunluğundadır, ancak puan mükemmel bir 1,0’dır, çünkü önemli olan tek şey yöndür. Bu, uzunluğun anlamdan ziyade belge boyutu gibi şeyleri yansıtabildiği metinler için kullanışlıdır. Eşiklere de dikkat edin. Kullanışlı aralıklar modelden modele farklılık gösterdiğinden “benzer” anlamına gelen evrensel bir puan yoktur; bu nedenle kendi verileriniz üzerinde test yapın.

Diğer mesafe önlemleri

Farkı görmek kolaydır. Kosinüs puanı 1,0 olan aynı iki vektörün Öklid mesafesi 3,742’dir çünkü biri diğerinden daha uzundur. Birçok sistem, vektörleri her birini 1 uzunluğa ölçeklendirerek normalleştirir. Bundan sonra, nokta çarpım ve kosinüs aynı cevabı verir ve biz de bunu doğruladık: her ikisi de “kedi” ve “köpek” için 0,955 verdi. Hangi ölçüyü önerdiğini görmek için modelinizin belgelerine bakın.

Gömmeler nasıl öğrenilir?

Gerçek sistemlerde hiç kimse bu numaraları elle atamaz. Bir sinir ağı bunları eğitim sırasında öğrenir. İlk ve etkili bir fikir, benzer bağlamlarda görünen kelimelerin, “kedimi besledim” ve “köpeğimi besledim” gibi benzer anlamlara sahip olma eğiliminde olmasıdır. Word2Vec ve GloVe gibi modeller bu kalıplardan kelime vektörlerini öğrendi.

Daha sonra BERT gibi transformatör tabanlı modeller, yerleştirmeleri bağlama duyarlı hale getirdi, böylece “banka”, “nehir kıyısı” ve “banka kredisi”nde farklı bir vektör elde edebildi. Birçok modern model tüm cümleleri veya pasajları aynı anda yerleştirir. Büyük dil modellerine ilişkin rehberimiz, transformatörlerin bağlamı nasıl ele aldığını açıklamaktadır.

Gömmelerin kullanıldığı yerler

Geniş ölçekte arama

Örneğimiz, tam arama olarak bilinen bir sorguyu her öğeyle karşılaştırdı. Bu binlerce öğe için işe yarar, ancak milyonlarca öğe için yavaşlar. HNSW gibi yaklaşık en yakın komşu (ANN) endeksleri bu sorunu çözmektedir. Mutlak en iyi olanı kaçırmak için küçük bir şanstan vazgeçerek çok yakın eşleşmeleri hızlı bir şekilde bulurlar.

PostgreSQL için pgvector gibi vektör veritabanları ve uzantıları, filtreleme ve depolamanın yanı sıra bu dizinleri sağlar. Vektör veritabanı kılavuzumuz seçenekleri kapsar. Küçük bir proje için hiç ihtiyacınız olmayabilir ve bellek içi arama, başlamanın mükemmel bir yoludur.

Bir gömme modeli seçme

• Dil. Örneğin içeriğiniz Hintçe veya Tamil dilindeyse modelin bunu iyi şekilde işleyip işlemediğini kontrol edin.
• Alan. Genel modeller, uzman hukuki veya tıbbi terimlerle zorluk yaşayabilir.
• Boyutlar. Daha fazla boyut daha fazla ayrıntı yakalayabilir ancak daha fazla depolama ve belleğe mal olur.
• Maliyet ve barındırma. Barındırılan bir API’yi, özellikle özel veriler için, kendi başınıza çalıştırabileceğiniz açık bir modelle karşılaştırın.
• Giriş uzunluğu. Modellerin bir sınırı vardır, bu nedenle uzun belgelerin önce parçalara bölünmesi gerekir.

En iyi test kendi verilerinizdir. Bulması gereken belgelerle birlikte yaklaşık 20 gerçek sorgu toplayın ve her modelin bunları nasıl sıraladığını karşılaştırın. Yayınlanan karşılaştırmalar içeriğinizi yansıtmayabilir.

Sınırlamalar

• Modele bağlılık. Farklı modellere ait vektörler karşılaştırılamaz. Modelleri değiştirirseniz her şeyi yeniden yerleştirmeniz gerekir.
• Kesin terimler. Kimlikler, kodlar ve nadir adlar güvenilir şekilde eşleştirilemeyebilir.
• Olumsuzlaştırma. “Geri ödemelere izin veriliyor” ve “geri ödemelere izin verilmiyor”, zıt anlamlara rağmen birbirine yakın olabilir.
• Benzer, doğru anlamına gelmez. Yakın bir eşleşme güncelliğini kaybetmiş veya tamamen yanlış olabilir.
• Önyargı. Yerleştirmeler, eğitim verilerinden stereotipleri emebilir.
• Kosinüs sihirli değildir. Araştırmacılar bazı öğrenilmiş yerleştirmelerde bunun ne kadar anlamlı olduğunu sorguladılar; bu nedenle puanları bir doğruluk ölçüsü olarak değil, yararlı bir sinyal olarak ele alın.

Yaygın hatalar

• Modelleri karıştırma. Sorguları ve belgeleri aynı model ve sürüme yerleştirin.
• Her yerde tek bir benzerlik eşiği kullanma. Her model ve görev için bunu ayarlayın.
• Devasa belgeleri bütünüyle gömmek. Anlam seyreltilir, bu nedenle ilk önce onları parçalara ayırın.
• Değerlendirme atlanıyor. Test sorguları olmadan, bir değişikliğin yardımcı olup olmadığını anlayamazsınız.
• Her şey için yerleştirmelerin kullanılması. Kullanıcılar tam kimlikleri ararsa normal bir veritabanı dizini daha iyidir.

Son sözler

Gömme, anlamı sayılara dönüştürür, böylece yazılım dizeler yerine fikirleri karşılaştırabilir. Konsept basittir, ancak pratik çalışma bir model seçmek, verileri parçalara ayırmak ve gerçek sorgular üzerinde test etmekten ibarettir. Kendiniz denemek için, kendi belgelerinizden birkaç düzinesini herhangi bir gömme modeliyle gömün, bunları gerçek sorularla arayın ve sonuçların sizi nerede şaşırttığını görün.

Sık sorulan sorular

Öğrenmeye devam et