Altlarındaki mekanizmayı görene kadar sohbet eden, özetleyen ve kod yazan araçlar neredeyse büyülü görünüyor. Büyük dil modeli veya LLM, özünde metnin bir sonraki parçasını tahmin etmeye yönelik çok karmaşık bir sistemdir. Bu fikir, bu araçların hem neyi iyi yaptığını hem de bu şekilde neden başarısız olduklarını açıklıyor.

Bu kılavuz, ana kavramları herhangi bir matematik olmadan açıklıyor, ardından fikri somut hale getirmek için küçük bir sonraki kelime tahmincisi oluşturuyor. Bu kodu Python 3.13’te çalıştırdık ve çıktı bu çalıştırmadan geliyor. Bu, bir sinir ağından ziyade basit bir sayma oyuncağıdır ve gerçek Yüksek Lisans’lar çok daha yeteneklidir. Belirli modeller için rakamlar vermekten de kaçınıyoruz çünkü bunlar hızla değişiyor.

Büyük dil modeli nedir?

Yüksek Lisans, insan dilini anlamak ve oluşturmak için eğitilmiş bir tür yapay zekadır. İsmi tek kelimeyle ele alalım:

• Büyük: parametre adı verilen çok sayıda ayarlanabilir dahili değere sahiptir ve çok büyük miktarda metinden öğrenir.
• Dil: doğal dil ve kod da dahil olmak üzere metinlerle çalışır.
• Model: verilerden kalıplar yakalayan ve bunları tahminlerde bulunmak için kullanan bir matematik sistemidir.

Modeller motordur ve sohbet asistanları gibi ürünler de bunların etrafında oluşturulan arabalardır. Bir ürüne genellikle bir kullanıcı arayüzü, güvenlik sistemleri, arama ve diğer araçlar eklenir.

Ana fikir: bundan sonra ne olacağını tahmin etmek

Bunu kendin yapıyorsun. “Fransa’nın başkentidir” diye okursanız aklınıza hemen “Paris” gelir. Bir Yüksek Lisans benzer bir şey yapar, ancak çok daha büyük ölçekte. Bir metin verildiğinde, her bir sonraki jetonun ne kadar olası olduğunu hesaplar, birini seçer, onu metne ekler ve tekrar eder.

Aranan saklanan yanıtlardan oluşan bir veritabanı yok. Model, eğitim sırasında öğrenilen kalıpları sayılar biçiminde tutar. Bu kalıplar gerçekle örtüştüğünde doğru cevabı alırsınız. Bunu yapmadıklarında da akıcı bir yanıt alabilirsiniz ve bu, bir arama motorundan önemli bir farktır.

Küçük bir çalışma demosu

Bir sonraki belirteç tahminini en basit haliyle görmek için bu komut dosyası, küçük bir metinde hangi kelimenin hangi kelimeyi takip ettiğini sayar. Daha sonra bu sayımlardan yeni metin üretir. İstatistikçiler buna bigram modeli diyorlar.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Bu çıktı bir olasılık dağılımıdır. Model, “the”den sonra büyük olasılıkla “kedi” ve “köpek” kelimelerini dikkate alır. Şimdi bu olasılıklardan tekrar tekrar örnek alarak metin üretiyoruz:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Üç şeye dikkat edin. Seçim rastgele olduğundan aynı başlangıç ​​farklı metinler üretebilir. Çıktı, içinde hiç görünmeyen diziler için bile eğitim verilerine benzer. Ve hiç bir anlayışı yok, bu yüzden “halı… kedi” saçmalık gibi okunuyor.

Ona hiç görmediği ve sunabileceği hiçbir şeyi olmayan bir kelime hakkında soru sorun: follows["elephant"] boştur. Oyuncağımız yalnızca önceki bir kelimeye bakar. Gerçek Yüksek Lisans’taki muazzam sıçrama, uzun bağlam kapsamlarının dikkate alınmasından ve basit bir sayım yerine bir sinir ağı kullanılarak çok daha fazla veriden öğrenilmesinden kaynaklanmaktadır.

Jetonlar: Bir modelin nasıl okunduğu

LLM’ler bizim gibi tüm kelimeleri okumazlar. Metin ilk olarak belirteçlere bölünür; bunlar bir kelime, bir kelimenin parçası veya noktalama işareti olabilir. Her jeton bir sayıyla eşleşir ve model tamamen sayılarla çalışır.

Jetonlar pratikte iki nedenden dolayı önemlidir. Barındırılan modellerin kullanımı genellikle jetonlarla fiyatlandırılır ve her modelin aynı anda kaç tane işleyebileceği konusunda bir sınırı vardır. Tokenizasyon aynı zamanda bazı ünlü garip davranışları da açıklıyor. Modeller harfler yerine parçalar gördüğünden, bir kelimedeki harfleri saymak gibi görevler geleneksel olarak onlar için şaşırtıcı derecede zor olmuştur.

Gömmeler: sayı olarak anlam

Her simge, onu bir tür anlam alanına yerleştiren uzun bir sayı listesi olan bir yerleştirmeye dönüştürülür. İlgili kavramlar birbirine yakınlaşır, dolayısıyla “kedi” ve “yavru kedi” yakın konumlara sahipken “kedi” ve “fatura” yakın konumlara sahip değildir.

Aynı fikir, belgeleri tam kelimeler yerine anlamlara göre bulduğunuz anlamsal aramaya da güç verir. Vektör veritabanı kılavuzumuz bu kullanımı kapsar.

Dikkat ve transformatör

Modern yüksek lisans programlarının çoğu, Google araştırmacıları tarafından 2017’de “İhtiyacınız Olan Tek Şey Dikkat” başlıklı makalede tanıtılan transformatör mimarisini temel alır. Onun temel mekanizması öz dikkattir.

Şu cümleyi düşünün: “Kupa çantaya sığmadı çünkü çok büyüktü.” “O” neyi ifade ediyor? Bunun kupa anlamına geldiğini biliyorsun. Dikkat, bir modelin her yeni jetonu işlerken daha önceki her jetonu tartmasına olanak tanır, böylece “onu”, birbirlerinden çok uzakta olsalar bile en alakalı kelimelere bağlayabilir.

Daha önceki yaklaşımlar metni adım adım işliyor ve uzaktaki kelimelerin izini kaybetme eğilimindeydi. Transformatörler bağlamın her yerine birlikte bakıyorlar ve bu işin çoğunu özel donanım üzerinde paralel olarak yürütebiliyorlar, bu da bu kadar büyük miktarda metin üzerinde eğitimi pratik hale getiriyor.

Bir LLM nasıl eğitilir?

Ön eğitim, modele geniş bir dil yeteneği kazandırır, ancak metninizi yanıtlamak yerine devam ettirebilir. Daha sonraki aşamalar onu kullanışlı bir asistana dönüştürür. Büyük modellerin eğitimi önemli miktarda bilgi işlem gücü gerektirir ve pahalıdır. Çıkarım olarak bilinen tamamlanmış bir modelin kullanılması, istek başına çok daha ucuzdur.

Nasıl metin oluşturur?

1. İsteminiz belirteçlere bölünür ve yerleştirmelere dönüştürülür.
2. Ağ, bunları birbirleriyle ilişkilendirmek için dikkati kullanarak işler.
3. Olası her bir sonraki jeton için bir olasılık üretir.
4. Bir jeton seçilir ve bağlama eklenir.
5. Durdurma durumuna ulaşana kadar 2’den 4’e kadar olan adımlar tekrarlanır.

Yanıtların akış sırasında genellikle kelime kelime görünmesinin nedeni budur. Metin kelimenin tam anlamıyla sırayla üretiliyor. Sıcaklık 4. adımın ne kadar maceralı olduğunu kontrol eder: düşük değerler en muhtemel jetonları tercih ederken, yüksek değerler daha fazla çeşitliliğe izin verir.

Karşılayacağınız koşullar

Bilmeniz gereken sınırlamalar

• Halüsinasyonlar. Bir model gerçekleri, alıntıları veya kod işlevlerini icat edebilir. Olası metin ürettiği için yanlış ifadeler tamamen makul görünebilir.
• Bilgi kesintisi. Bir ürün, kendisini aramaya veya diğer araçlara bağlamadığı sürece son olaylardan haberdar olmayabilir.
• Sınırlı bağlam. Bir görüşme bağlam penceresini aşarsa, önceki ayrıntılar çıkarılabilir veya özetlenebilir. Modeller, bir ürün bu özelliği eklemediği sürece geçmiş sohbetleri de otomatik olarak hatırlamaz.
• Önyargı. Eğitim verileri insan önyargılarını yansıtır ve bunlar çıktıda görünebilir.
• Tutarsızlık. Aynı soru farklı yanıtlar üretebilir; bu, bir yazılımın üzerine bir yazılım oluşturduğunuzda önemlidir.
• Güvenlik riskleri. Metindeki gizli talimatlar, hızlı enjeksiyon olarak bilinen bir sorun olan bir modeli manipüle edebilir.

Yüksek Lisans’ı iyi kullanmak

Yüksek Lisans’a, işinin gözden geçirilmesi gereken hızlı, yetenekli bir asistan gibi davranın. Birkaç alışkanlık büyük fark yaratır:

• Spesifik olun. Açık talimatlar, bağlam ve örnekler daha iyi sonuçlar verir. Hızlı mühendislik kılavuzumuz bunun nasıl yapılacağını gösterir.
• Gerçekleri sağlayın. Yanıtların kendi belgelerinizden gelmesi gerektiğinde, belleğe güvenmek yerine RAG kullanın.
• Neyin önemli olduğunu doğrulayın. Rakamları, alıntıları ve yasal veya tıbbi iddiaları güvenilir kaynaklara göre kontrol edin.
• Oluşturulan kodu test edin. Onu çalıştırın ve bir meslektaşınızınki gibi testler yazın. Yapay zeka kod inceleme araçları kılavuzumuz bazı yardımları kapsar.
• Hassas verileri koruyun. Gizli bilgileri barındırılan bir araçla paylaşmadan önce kuruluşunuzun kurallarını kontrol edin.

Bir modeli kendi işiniz için nasıl özelleştireceğinize karar veriyorsanız, RAG, ince ayar ve hızlı mühendislik karşılaştırmamız seçim yapmanıza yardımcı olacaktır.

Son sözler

Yüksek Lisans, olağanüstü bir ölçekte eğitilmiş bir sonraki belirteç tahmincisidir ve bu tanımın önerdiğinden daha kullanışlı ve daha yanılabilirdir. Mekanizmayı akılda tutmak onu iyi kullanmanıza yardımcı olur: Dil ve kalıplar açısından güçlüdür ve gerçekler konusunda sizin denetiminize ihtiyaç duyar. Somutlaştırmak için yukarıdaki küçük komut dosyasını kendi metninizle çalıştırın, ardından aynı istemi gerçek bir asistanda birkaç kez deneyin ve yanıtları karşılaştırın.

Sık sorulan sorular

Öğrenmeye devam et