Alat yang mengobrol, meringkas, dan menulis kode tampak hampir ajaib, sampai Anda melihat mekanisme di bawahnya. model bahasa besar, atau LLM, pada dasarnya adalah sistem yang sangat canggih untuk memprediksi bagian teks berikutnya. Satu gagasan tersebut menjelaskan manfaat alat-alat ini dan mengapa alat-alat tersebut gagal.

Panduan ini menjelaskan konsep-konsep utama tanpa matematika apa pun, lalu membuat prediktor kata berikutnya yang kecil untuk membuat ide tersebut menjadi konkret. Kami menjalankan kode itu di Python 3.13, dan hasilnya berasal dari proses tersebut. Ini adalah mainan berhitung sederhana daripada jaringan saraf, dan LLM nyata jauh lebih mampu. Kami juga menghindari mengutip angka untuk model tertentu, karena angka tersebut berubah dengan cepat.

Apa yang dimaksud dengan model bahasa besar?

LLM adalah jenis kecerdasan buatan yang dilatih untuk memahami dan menghasilkan bahasa manusia. Mari kita ambil nama satu per satu:

• Besar: ia memiliki sejumlah besar nilai internal yang dapat disesuaikan, yang disebut parameter, dan ia belajar dari sejumlah besar teks.
• Bahasa: berfungsi dengan teks, termasuk bahasa dan kode alami.
• Model: ini adalah sistem matematika yang menangkap pola dari data dan menggunakannya untuk membuat prediksi.

Model adalah mesinnya, dan produk seperti asisten obrolan adalah mobil yang dibuat berdasarkan model tersebut. Suatu produk sering kali menambahkan antarmuka pengguna, sistem keamanan, pencarian, dan alat lainnya.

Ide intinya: memprediksi apa yang akan terjadi selanjutnya

Anda melakukan ini sendiri. Jika Anda membaca “ibu kota Perancis adalah”, pikiran Anda langsung menawarkan “Paris”. LLM melakukan sesuatu yang serupa, namun dalam skala yang jauh lebih besar. Dengan adanya beberapa teks, ia menghitung seberapa besar kemungkinan setiap token berikutnya, memilih satu, menambahkannya ke teks, dan mengulanginya.

Tidak ada database jawaban tersimpan yang dicari. Model tersebut menampung pola-pola yang dipelajari selama pelatihan, dalam bentuk angka. Jika pola tersebut sejalan dengan kebenaran, Anda mendapatkan jawaban yang benar. Jika tidak, Anda masih bisa mendapatkan jawaban yang lancar, dan itu merupakan perbedaan penting dari mesin pencari.

Demo kecil yang berfungsi

Untuk melihat prediksi token berikutnya dalam bentuk paling sederhana, skrip ini menghitung kata mana yang mengikuti kata mana dalam teks kecil. Ini kemudian menghasilkan teks baru dari jumlah tersebut. Para ahli statistik menyebutnya model bigram.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Output tersebut adalah distribusi probabilitas. Setelah “the”, model kemungkinan besar akan mempertimbangkan “kucing” dan “anjing”. Sekarang kita menghasilkan teks dengan mengambil sampel berulang kali dari probabilitas tersebut:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Perhatikan tiga hal. Permulaan yang sama dapat menghasilkan teks yang berbeda, karena pilihannya acak. Outputnya menyerupai data pelatihannya, bahkan untuk sequence yang tidak pernah muncul di dalamnya. Dan ia tidak memiliki pemahaman sama sekali, itulah sebabnya “permadani… kucing” terbaca seperti omong kosong.

Tanyakan tentang sebuah kata yang belum pernah dilihatnya, dan tidak ada yang bisa ditawarkan: follows["elephant"] kosong. Mainan kita hanya melihat satu kata sebelumnya. Lompatan besar dalam LLM nyata datang dari mempertimbangkan konteks yang luas, dan belajar dari lebih banyak data, menggunakan jaringan saraf daripada penghitungan sederhana.

Token: cara model membaca

LLM tidak membaca seluruh kata seperti yang kita lakukan. Teks pertama-tama dipecah menjadi token, yang dapat berupa kata, bagian kata, atau tanda baca. Setiap token dipetakan ke suatu angka, dan model tersebut sepenuhnya berfungsi dengan angka.

Token penting dalam praktiknya karena dua alasan. Penggunaan model yang dihosting biasanya diberi harga berdasarkan token, dan setiap model memiliki batasan berapa banyak model yang dapat ditangani sekaligus. Tokenisasi juga menjelaskan beberapa perilaku aneh yang terkenal. Karena model melihat potongan-potongan, bukan huruf, tugas-tugas seperti menghitung huruf dalam sebuah kata biasanya sangat sulit bagi mereka.

Embeddings: artinya sebagai angka

Setiap token diubah menjadi penyematan, daftar panjang angka yang menempatkannya dalam semacam ruang makna. Konsep terkait berakhir berdekatan, sehingga “kucing” dan “anak kucing” memiliki posisi berdekatan, sedangkan “kucing” dan “faktur” tidak.

Ide yang sama mendukung pencarian semantik, di mana Anda menemukan dokumen berdasarkan maknanya, bukan kata-kata persisnya. panduan basis data vektor kami mencakup penggunaan tersebut.

Perhatian dan trafo

Kebanyakan LLM modern didasarkan pada arsitektur transformator, yang diperkenalkan oleh peneliti Google dalam makalah tahun 2017 “Attention Is All You Need”. Mekanisme utamanya adalah perhatian pada diri sendiri.

Perhatikan kalimat ini: “Trofinya tidak muat di koper karena terlalu besar.” Apa yang dimaksud dengan “itu”? Anda tahu itu artinya piala. Perhatian memungkinkan model mempertimbangkan setiap token sebelumnya saat memproses setiap token baru, sehingga model dapat menghubungkan “itu” ke kata-kata yang paling relevan, meskipun jaraknya berjauhan.

Pendekatan sebelumnya memproses teks langkah demi langkah dan cenderung kehilangan jejak kata-kata yang jauh. Transformer melihat seluruh konteks bersama-sama, dan mereka dapat menjalankan sebagian besar pekerjaan ini secara paralel pada perangkat keras khusus, sehingga pelatihan tentang teks dalam jumlah besar menjadi praktis.

Bagaimana LLM dilatih

Pra-pelatihan memberikan model kemampuan bahasa yang luas, namun mungkin hanya melanjutkan teks Anda daripada menjawabnya. Tahapan selanjutnya membentuknya menjadi asisten yang berguna. Melatih model besar memerlukan daya komputasi yang besar dan mahal. Menggunakan model yang sudah jadi, yang dikenal sebagai inferensi, jauh lebih murah per permintaan.

Bagaimana itu menghasilkan teks

1. Permintaan Anda dibagi menjadi token dan dikonversi menjadi penyematan.
2. Jaringan memprosesnya, menggunakan perhatian untuk menghubungkannya satu sama lain.
3. Ini menghasilkan probabilitas untuk setiap kemungkinan token berikutnya.
4. Satu token dipilih dan ditambahkan ke konteksnya.
5. Langkah 2 hingga 4 diulangi hingga mencapai kondisi berhenti.

Inilah sebabnya balasan biasanya muncul kata demi kata saat dialirkan. Teks ini benar-benar diproduksi secara berurutan. Suhu mengontrol seberapa berani langkah 4: nilai yang rendah mendukung token yang paling mungkin, sedangkan nilai yang lebih tinggi memungkinkan lebih banyak variasi.

Persyaratan yang akan Anda penuhi

Batasan yang harus Anda ketahui

• Halusinasi. Model dapat menciptakan fakta, kutipan, atau fungsi kode. Karena menghasilkan teks yang mungkin, pernyataan yang salah bisa terlihat sangat masuk akal.
• Pembatasan pengetahuan. Kecuali suatu produk menghubungkannya ke penelusuran atau alat lain, produk tersebut mungkin tidak mengetahui kejadian terkini.
• Konteks terbatas. Jika percakapan melebihi jendela konteks, detail sebelumnya mungkin dihilangkan atau diringkas. Model juga tidak secara otomatis mengingat obrolan sebelumnya, kecuali produk menambahkan fitur tersebut.
• Bias. Data pelatihan mencerminkan bias manusia, dan bias tersebut dapat muncul dalam keluaran.
• Inkonsistensi. Pertanyaan yang sama dapat menghasilkan jawaban yang berbeda, yang penting ketika Anda membangun perangkat lunak di atas satu pertanyaan.
• Risiko keamanan. Instruksi tersembunyi dalam teks dapat memanipulasi model, masalah ini dikenal sebagai injeksi cepat.

Menggunakan LLM dengan baik

Perlakukan LLM sebagai asisten yang cepat dan cakap yang pekerjaannya perlu ditinjau. Beberapa kebiasaan membuat perbedaan besar:

• Bersikaplah spesifik. Instruksi, konteks, dan contoh yang jelas akan memberikan hasil yang lebih baik. Panduan kami untuk rekayasa cepat menunjukkan caranya.
• Sampaikan fakta. Jika jawaban harus berasal dari dokumen Anda sendiri, gunakan RAG daripada mengandalkan ingatan.
• Verifikasi apa yang penting. Periksa angka, kutipan, dan klaim hukum atau medis terhadap sumber yang dapat dipercaya.
• Uji kode yang dihasilkan. Jalankan dan tulis pengujian untuk kode tersebut, seperti yang Anda lakukan untuk kode rekan kerja. Panduan alat peninjauan kode AI kami mencakup beberapa bantuan.
• Lindungi data sensitif. Periksa aturan organisasi Anda sebelum membagikan informasi rahasia dengan alat yang dihosting.

Jika Anda memutuskan cara menyesuaikan model untuk pekerjaan Anda sendiri, perbandingan RAG vs fine-tuning vs prompt engineering akan membantu Anda memilih.

Penutup

LLM adalah prediktor token berikutnya yang dilatih pada skala yang luar biasa, dan ini lebih berguna dan lebih bisa salah daripada yang disarankan oleh deskripsi tersebut. Mengingat mekanismenya membantu Anda menggunakannya dengan baik: kuat dalam bahasa dan pola, dan memerlukan pengawasan Anda terhadap fakta. Untuk membuatnya lebih konkret, jalankan skrip kecil di atas dengan teks Anda sendiri, lalu coba perintah yang sama beberapa kali di asisten sebenarnya dan bandingkan jawabannya.

Pertanyaan yang sering diajukan

Teruslah belajar