Bir destek sohbet robotu, müşteriye geri ödemelerin 14 gün süreceğini söyler. Gerçek politika 7 diyor. Cevap akıcı, kibar ve yanlıştı. Bu bir Yapay zeka halüsinasyonudur ve yapay zeka özelliklerinin dikkatli tasarım ve test gerektirmesinin ana nedenlerinden biridir.

Bu kılavuz nedenleri basit bir şekilde açıklamakta ve pratik önlemeye odaklanmaktadır. Sona doğru yapılan otomatik kontrol, kendi yazdığımız örnek yanıtlarla karşılaştırdığımız küçük bir Python betiğidir. Canlı bir yapay zeka modeline karşı çalıştırılmadı.

Yapay zeka halüsinasyonu nedir?

Halüsinasyon, üretken bir yapay zeka sisteminin, gerçekte yanlış olan, uydurulmuş veya kendisine verilen bilgilerle desteklenmeyen içerik üretip bunu doğru gibi sunmasıdır. Terim bir metafordur. Model bir şeyleri görmüyor. Gerçeklere bağlı kalmadan, iyi bir yanıtın kalıbına uyan metin üretmektir.

İşin tehlikeli kısmı güvendir. Halüsinasyonlu bir cevap genellikle aynı ton, yapı ve ayrıntıyla tam olarak doğru cevap gibi görünür.

Dil modelleri neden halüsinasyon görüyor?

Büyük bir dil modeli, büyük miktardaki eğitim verisindeki kalıplara dayalı olarak metnin bir sonraki parçasını, yani bir jetonu tahmin etmek üzere eğitilir. Bundan birkaç şey çıkar:

• Makul olan, doğru olanla aynı şey değildir. Model, yanıtların genellikle neye benzediğini öğrenir. Gerçekler eksik olduğunda, en olası görünen devam hala icat edilebilir.
• Boşluklar ve kesintiler. Eğitim verilerinde boşluklar var ve belirli bir tarihte bitiyor. Model, bilmediğini söylemek yerine eksik gerçekleri doldurabilir.
• Eğitim yanıt vermeyi ödüllendirir. Modellerin neden halüsinasyon gördüğüne ilişkin 2025 tarihli bir OpenAI makalesi de dahil olmak üzere araştırma, yaygın eğitim ve değerlendirme yöntemlerinin, yanlış yanıtlar için herhangi bir ceza uygulanmayan çoktan seçmeli bir teste benzer şekilde, belirsizliği kabul etmek yerine tahmin etmeyi ödüllendirdiğini ileri sürüyor.
• Belirsiz istemler. Belirsiz sorular, modeli ayrıntıları üstlenmeye davet eder.
• Uzun veya karmaşık bağlam. Uzun girdilere gömüldüğünde önemli gerçekler gözden kaçırılabilir.

Yaygın halüsinasyon türleri

Araştırmacılar bunları genellikle gerçek dünyayla çelişen gerçeklik hataları ve modele verilen kaynak materyalle çelişen doğruluk hataları olarak ikiye ayırır. Kendi belgeleriniz üzerine oluşturulan iş uygulamaları için doğruluk genellikle en doğrudan test edebileceğiniz şeydir.

Uydurma kod özel bir uyarıyı hak ediyor. Bir asistan var olmayan bir paketin kurulmasını önerirse, saldırgan bu ad altında kötü amaçlı bir paket yayınlayabilir. Önerilen her bağımlılığın yüklemeden önce gerçek ve güvenilir olduğunu kontrol edin.

En önemli olduğu yer

Halüsinasyonlu bir film gerçeği zararsızdır. Halüsinasyonlu bir ilaç dozu, yasal alıntı, geri ödeme politikası veya mali rakam değildir. Yapay zeka araçları tarafından icat edilen dava alıntılarıyla mahkemeye başvuruda bulunan avukatların olduğu iyi bildirilen vakalar var. Kullanım senaryolarınızı yanlış yanıtın maliyetine göre sıralayın ve maliyetin yüksek olduğu durumlarda en güçlü kontrolleri uygulayın.

Halüsinasyonlar nasıl azaltılır

1. Cevabı güvenilir verilere dayandırın. Modelin hafızasına güvenmek yerine modele ilgili gerçekleri verin.
2. “Bilmiyorum”a izin verin. Modele, bilginin mevcut olmadığı durumlarda açıkça söylemesini söyleyin ve bunu iyi bir sonuç olarak değerlendirin.
3. Spesifik olun. Açık ve dar sorular, buluşa daha az yer bırakır. Hızlı mühendislik kılavuzumuz bunu ayrıntılı olarak ele almaktadır.
4. Sağlanan kaynaklardan alıntılar veya alıntılar isteyin ve ardından bunları otomatik olarak doğrulayın.
5. Yanıtların doğrulanmasının daha kolay olması için, sabit alanlarla JSON gibi yapılandırılmış çıktı kullanın.
6. Hesaplamalar, tarihler ve canlı veri aramaları gibi modellerin zayıf olduğu şeyler için araçları kullanın.
7. Riskli kararlar için bir insanı gelişmelerden haberdar edin.

Kendi verilerinizle topraklama

Geri almayla artırılmış oluşturma (RAG) en yaygın topraklama modelidir. Sistem, belgelerinizde soruyla ilgili pasajları arar ve bunları yalnızca bu pasajlardan yanıtlama talimatlarıyla birlikte istemin içine dahil eder. İcat edilmiş gerçekleri keskin bir şekilde azaltır, ancak bir tedavi değildir. Model yine de bir pasajı yanlış okuyabilir, pasajları yanlış şekilde birleştirebilir veya kendi bilgisine başvurabilir ve arama adımı yanlış belgeleri döndürebilir. Bu nedenle topraklanmış sistemlerin hala kontrollere ihtiyacı vardır.

Basit bir otomatik kontrol

İşte oluşturduğumuz ucuz bir koruma: kaynak metinde görünmeyen bir yanıttaki herhangi bir sayıyı işaretleyin. Bu kaba bir yaklaşım ama fiyatlar, günler ve limitler gibi rakamlar tam da maliyetli halüsinasyonların ortaya çıktığı yerlerdir.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Tipik model çıktısını taklit etmek için yazılan üç yanıtı test ettik:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

“Halüsinasyonlu” yanıt, 14 günlük para iadesi ve 500 rupinin üzerinde ücretsiz kargo talep etti ve her iki rakam da yakalandı. “Kısmen” cevabında teslimat süreleri doğruydu ancak politikada hiç belirtilmeyen “veya ekspres ile 1 gün” eklendi ve bu da yakalandı. İkinci bir kontrol, alıntılanan ifadelerin gerçekten kaynakta göründüğünü doğrular:

{'paid within 7 days': True, 'no questions asked': False}

Bu kontrollerin belirgin sınırları vardır. Yanlış kelimeleri, birimleri ve numarasız desteklenmeyen iddiaları gözden kaçırırlar ve yanlış bir şekilde doğru bir hesaplamayı işaretlerler. Çoğu takım, ikinci bir modelin her iddiayı kaynaklara göre kontrol ettiği bir “yargıç olarak yüksek lisans” adımı ekler. Bu daha fazlasını yakalar, ancak yanlış da olabilir, o yüzden ölçün.

Halüsinasyon testleri

Halüsinasyon oranını bir his olarak değil, ölçtüğünüz bir kalite ölçüsü olarak değerlendirin. Pratik bir yaklaşım:

• Bilinen doğru yanıtlar ve kaynaklarla gerçek sorulardan oluşan bir test seti oluşturun.
• Yanıtı verilerde bulunmadığından sistemin reddetmesi gereken soruları ekleyin.
• Yanıtları doğruluk, kaynaklara bağlılık ve uygun retler açısından puanlayın.
• İstemlerde, modellerde veya alma ayarlarında yapılan her değişiklikte seti çalıştırın.
• İnsan incelemesi için örnek üretim konuşmaları.

Regresyon testinin disiplini burada da geçerlidir: her değişiklikte çalıştırılan ve sonuçların zaman içinde karşılaştırıldığı sabit bir vaka kümesi. Bir sistemin nasıl temelleneceğini seçerken, RAG, ince ayar ve hızlı mühendislik karşılaştırmamız, aradaki dengeyi açıklıyor.

Günlük kullanıcılar için tavsiyeler

• Orijinal kaynaktan gerçekleri, rakamları, alıntıları ve alıntıları doğrulayın.
• Tıbbi, hukuki ve mali bilgilere özellikle dikkat edin.
• Kaynak metni yapıştırın ve asistanın yalnızca ondan yanıt vermesini isteyin.
• “Kendinize ne kadar güveniyorsunuz ve bu neye dayanıyor?” diye sorun ama cevabın yanlış olabileceğini de unutmayın.

Halüsinasyonlar ortadan kaldırılabilir mi?

Şu anki teknolojiyle değil. Daha yeni modeller ve daha iyi eğitim, birçok kıyaslamada halüsinasyon oranlarını azalttı ve temellendirme çok yardımcı oluyor, ancak her sistem hâlâ hata yapıyor. Gerçekçi hedef, sistem tasarımı, testler ve kullanıcılara net sinyaller yoluyla hataları nadir, tespit edilmesi kolay ve etkisi düşük hale getirmektir.

Yapay zeka kodlama araçlarında halüsinasyonlar

Geliştiriciler kodlama asistanlarında her gün halüsinasyonlarla karşılaşırlar: bir sınıfta bulunmayan bir yöntem, güncel olmayan bir yapılandırma seçeneği veya gerçekten başka bir şeyden kaynaklanan bir hatanın kendinden emin bir açıklaması. Savunmalar, insan kodu için zaten kullandığınız savunmalardır. Sonucu derleyin veya yazın kontrol edin, testleri çalıştırın ve daha önce kullanmadığınız herhangi bir API’nin resmi belgelerini okuyun. Kimlik doğrulama, kriptografi ve giriş doğrulama gibi güvenliğe duyarlı kodlara, makul görünen kodların son derece güvensiz olabileceği durumlarda ekstra dikkat gösterin. Yapay zeka önerilerini hızlı ama güvenilmez bir iş arkadaşınızın taslağı olarak değerlendirin: genellikle faydalıdır, asla otomatik olarak düzeltmez.

Son sözler

Halüsinasyonlar dil modellerinin işleyişinden kaynaklanır: kontrol edilmiş gerçekleri değil, olası metinleri üretirler. Onları kapatamazsınız ama onların etrafında tasarlayabilirsiniz. Yanıtları güvenilir verilerle temellendirin, modelin “Bilmiyorum” demesine izin verin, önemli ayrıntılar için otomatik kontroller ekleyin ve sonuçları sürekli olarak ölçün.

Sık sorulan sorular

Öğrenmeye devam et