Chatbot dukungan memberi tahu pelanggan bahwa pengembalian dana memerlukan waktu 14 hari. Kebijakan sebenarnya mengatakan 7. Jawabannya lancar, sopan dan salah. Ini adalah halusinasi AI, dan ini adalah salah satu alasan utama fitur AI memerlukan desain dan pengujian yang cermat.

Panduan ini menjelaskan penyebabnya secara jelas dan berfokus pada pencegahan praktis. Pemeriksaan otomatis menjelang akhir adalah skrip Python kecil yang kami jalankan berdasarkan contoh jawaban yang kami tulis sendiri. Itu tidak dijalankan terhadap model AI langsung.

Apa itu halusinasi AI?

Halusinasi terjadi ketika sistem AI generatif menghasilkan konten yang secara faktual salah, dibuat-buat, atau tidak didukung oleh informasi yang diberikan, namun menyajikannya sebagai kebenaran. Istilah tersebut adalah sebuah metafora. Modelnya tidak melihat sesuatu. Ini menghasilkan teks yang sesuai dengan pola jawaban yang baik tanpa terikat pada fakta.

Bagian yang berbahaya adalah kepercayaan diri. Jawaban halusinasi biasanya terlihat persis seperti jawaban yang benar, dengan nada, struktur, dan detail yang sama.

Mengapa model bahasa berhalusinasi

model bahasa besar dilatih untuk memprediksi bagian teks berikutnya, sebuah token, berdasarkan pola dalam sejumlah besar data pelatihan. Beberapa hal berikut dari itu:

• Masuk akal tidak sama dengan benar. Model mempelajari seperti apa jawaban yang cenderung diberikan. Jika faktanya kurang, kelanjutan yang paling mungkin masih bisa ditemukan.
• Kesenjangan dan batas waktu. Data pelatihan memiliki kesenjangan dan berakhir pada tanggal tertentu. Model tersebut mungkin mengisi fakta-fakta yang hilang daripada mengatakan bahwa model tersebut tidak mengetahuinya.
• Pelatihan memberikan imbalan dalam menjawab. Penelitian, termasuk makalah OpenAI tahun 2025 tentang alasan model berhalusinasi, berpendapat bahwa metode pelatihan dan evaluasi yang umum memberi penghargaan pada tebakan daripada mengakui ketidakpastian, seperti tes pilihan ganda tanpa penalti untuk jawaban yang salah.
• Permintaan yang ambigu. Pertanyaan yang tidak jelas mengundang model untuk berasumsi secara detail.
• Konteks yang panjang atau berantakan. Fakta-fakta penting dapat terabaikan jika terkubur dalam masukan yang panjang.

Jenis halusinasi yang umum

Peneliti sering membaginya menjadi kesalahan faktualitas, yang bertentangan dengan dunia nyata, dan kesalahan kesetiaan, yang bertentangan dengan materi sumber yang diberikan model. Untuk aplikasi bisnis yang dibuat berdasarkan dokumen Anda sendiri, kesetiaan biasanya merupakan hal yang paling dapat Anda uji secara langsung.

Kode yang dibuat-buat patut mendapat peringatan khusus. Jika asisten menyarankan untuk menginstal paket yang tidak ada, penyerang dapat menerbitkan paket berbahaya dengan nama tersebut. Periksa apakah setiap ketergantungan yang disarankan adalah nyata dan tepercaya sebelum menginstalnya.

Di tempat yang paling penting

Fakta film yang berhalusinasi tidak berbahaya. Dosis obat yang berhalusinasi, kutipan resmi, kebijakan pengembalian dana, atau angka keuangan tidak. Ada banyak kasus yang dilaporkan mengenai pengacara yang mengajukan pengajuan ke pengadilan dengan kutipan kasus yang diciptakan oleh alat AI. Beri peringkat kasus penggunaan Anda berdasarkan akibat dari jawaban yang salah, dan terapkan kontrol terkuat jika biayanya tinggi.

Cara mengurangi halusinasi

1. Dasarkan jawaban pada data tepercaya. Berikan model fakta yang relevan, bukan hanya mengandalkan ingatannya.
2. Izinkan “Saya tidak tahu”. Beri tahu model secara eksplisit untuk menyatakan saat informasi tidak tersedia, dan perlakukan hal tersebut sebagai hasil yang baik.
3. Bersikaplah spesifik. Pertanyaan yang jelas dan sempit memberikan lebih sedikit ruang untuk penemuan. panduan teknik cepat kami membahas hal ini secara mendetail.
4. Minta kutipan atau kutipan dari sumber yang disediakan, lalu verifikasi secara otomatis.
5. Gunakan keluaran terstruktur, seperti JSON dengan kolom tetap, sehingga jawaban lebih mudah divalidasi.
6. Gunakan alat untuk hal-hal yang menjadi kelemahan model, seperti penghitungan, tanggal, dan pencarian data langsung.
7. Selalu ikuti perkembangan manusia untuk mengambil keputusan berisiko tinggi.

Membumikan dengan data Anda sendiri

Retrieval-augmented generation (RAG) adalah pola landasan yang paling umum. Sistem mencari dokumen Anda untuk bagian-bagian yang relevan dengan pertanyaan dan memasukkannya ke dalam prompt, dengan instruksi untuk menjawab hanya dari bagian-bagian tersebut. Hal ini secara tajam mengurangi fakta-fakta yang ditemukan, namun hal ini bukanlah obat. Model masih bisa salah membaca suatu bagian, salah menggabungkan bagian, atau menggunakan pengetahuannya sendiri, dan langkah pencarian dapat menghasilkan dokumen yang salah. Jadi sistem yang dibumikan masih memerlukan pemeriksaan.

Pemeriksaan otomatis sederhana

Berikut adalah salah satu penjaga murah yang kami buat: tandai nomor apa pun dalam jawaban yang tidak muncul dalam teks sumber. Ini kasar, tetapi angka-angka seperti harga, hari, dan batasan adalah tempat terjadinya halusinasi mahal.

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

Kami menguji tiga jawaban yang ditulis untuk meniru keluaran model pada umumnya:

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

Jawaban “halusinasi” mengklaim pengembalian uang 14 hari dan pengiriman gratis lebih dari 500 rupee, dan kedua nomor tersebut tertangkap. Jawaban “sebagian” memiliki waktu pengiriman yang benar tetapi menambahkan “atau 1 hari dengan ekspres”, yang tidak pernah disebutkan dalam kebijakan, dan itu juga ketahuan. Pemeriksaan kedua memverifikasi bahwa frasa yang dikutip benar-benar muncul di sumbernya:

{'paid within 7 days': True, 'no questions asked': False}

Pemeriksaan ini memiliki batasan yang jelas. Mereka melewatkan kata-kata, satuan, dan klaim yang tidak didukung tanpa angka, dan mereka salah menandai perhitungan yang benar. Banyak tim menambahkan langkah “LLM sebagai juri”, di mana model kedua memeriksa setiap klaim terhadap sumbernya. Hasil tangkapannya lebih banyak, tapi bisa juga salah, jadi ukurlah.

Menguji halusinasi

Perlakukan tingkat halusinasi sebagai metrik kualitas yang Anda ukur, bukan perasaan. Pendekatan praktis:

• Bangun serangkaian pertanyaan nyata dengan jawaban dan sumber yang diketahui benar.
• Sertakan pertanyaan yang harus ditolak oleh sistem, karena jawabannya tidak ada dalam data.
• Skor jawaban untuk kebenaran, kesetiaan terhadap sumber dan penolakan yang tepat.
• Jalankan set pada setiap perubahan pada petunjuk, model, atau pengaturan pengambilan.
• Contoh percakapan produksi untuk ditinjau manusia.

Disiplin pengujian regresi juga berlaku di sini: serangkaian kasus tetap, dijalankan pada setiap perubahan, dengan hasil yang dibandingkan dari waktu ke waktu. Saat memilih cara menghubungkan sistem, perbandingan RAG vs fine-tuning vs rekayasa cepat menjelaskan perbedaannya.

Saran untuk pengguna sehari-hari

• Verifikasi fakta, angka, kutipan dan kutipan dari sumber aslinya.
• Berhati-hatilah dengan informasi medis, hukum, dan keuangan.
• Tempelkan teks sumber dan minta asisten menjawab hanya dari teks tersebut.
• Tanyakan “seberapa percaya diri Anda, dan berdasarkan apa?”, namun ingat jawabannya juga bisa salah.

Apakah halusinasi bisa dihilangkan?

Tidak dengan teknologi yang ada saat ini. Model yang lebih baru dan pelatihan yang lebih baik telah mengurangi tingkat halusinasi pada banyak tolok ukur, dan grounding sangat membantu, namun setiap sistem masih membuat kesalahan. Sasaran realistisnya adalah membuat kesalahan jarang terjadi, mudah dideteksi, dan berdampak rendah melalui desain sistem, pengujian, dan sinyal yang jelas kepada pengguna.

Halusinasi dalam alat pengkodean AI

Pengembang menemui halusinasi setiap hari dalam asisten pengkodean: metode yang tidak ada di kelas, opsi konfigurasi yang ketinggalan jaman, atau penjelasan yang meyakinkan tentang kesalahan yang sebenarnya disebabkan oleh hal lain. Pertahanannya adalah yang sudah Anda gunakan untuk kode manusia. Kompilasi atau ketik-periksa hasilnya, jalankan pengujian, dan baca dokumentasi resmi untuk API apa pun yang belum pernah Anda gunakan sebelumnya. Berhati-hatilah dengan kode yang sensitif terhadap keamanan, seperti autentikasi, kriptografi, dan validasi masukan, karena kode yang tampak masuk akal bisa jadi agak tidak aman. Perlakukan saran AI sebagai draf dari kolega yang cepat namun tidak dapat diandalkan: sering kali berguna, tidak pernah benar secara otomatis.

Penutup

Halusinasi berasal dari cara kerja model bahasa: model tersebut menghasilkan teks yang mungkin terjadi, bukan fakta yang diperiksa. Anda tidak dapat mematikannya, tetapi Anda dapat mendesainnya. Dasarkan jawaban pada data tepercaya, biarkan model mengatakan “Saya tidak tahu”, tambahkan pemeriksaan otomatis untuk detail yang penting, dan ukur hasilnya secara terus-menerus.

Pertanyaan yang sering diajukan

Teruslah belajar