Telusuri “cara mendapatkan uang saya kembali”, dan sistem yang baik akan menemukan halaman berjudul “Kebijakan pengembalian dana”, meskipun keduanya tidak memiliki kata-kata penting yang sama. Kemampuan tersebut berasal dari embeddings, salah satu ide paling berguna dalam AI modern.

Panduan ini menjelaskan penyematan tanpa perhitungan yang rumit. Kami menjalankan contoh kecil di Python 3.13, dan hasilnya ditunjukkan di bawah. Vektor-vektor di dalamnya adalah vektor-vektor yang kami buat dengan tangan, dengan masing-masing hanya tiga angka, agar gagasannya mudah dilihat. Penyematan nyata berasal dari model terlatih dan sering kali memiliki ratusan atau ribuan nomor.

Apa itu penyematan?

Penyematan adalah representasi sesuatu sebagai daftar angka, yang disebut vektor. Suatu model dilatih agar item-item yang mempunyai arti terkait mendapatkan vektor-vektor yang berdekatan.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Setelah teks berada dalam bentuk ini, komputer dapat menghitung seberapa mirip dua bagian teks, yang tidak dapat dilakukan secara langsung dengan kata-kata. Penyematan juga tidak terbatas pada kata-kata. Kalimat, seluruh dokumen, gambar, audio, dan produk semuanya dapat disematkan.

Mengapa tidak mencocokkan kata kunci saja?

Panduan kami untuk RAG menunjukkan hal ini dalam praktiknya. Pencarian sederhana berdasarkan jumlah kata menghasilkan nol untuk “Kapan saya bisa mendapatkan uang saya kembali?” terhadap dokumen pengembalian dana, karena mereka tidak berbagi kata-kata. Perhatikan juga baris ketiga: pengidentifikasi yang tepat adalah kelemahan penyematan, jadi pencarian kata kunci masih mendapat tempat.

Bayangkan sebuah peta

Bayangkan menempatkan setiap kata pada peta besar, yang lokasinya mencerminkan maknanya. “Kucing” dan “anak kucing” duduk bersebelahan, “anjing” berada di lingkungan yang sama, dan “faktur” berada di kota yang berbeda. Untuk menemukan kata-kata terkait, Anda cukup melihat di dekatnya.

Penyematan sebenarnya bekerja dengan cara yang sama, hanya saja petanya memiliki ratusan dimensi, bukan dua. Orang tidak bisa membayangkannya, tapi perhitungannya tetap sama. Angka-angka individu umumnya tidak memiliki arti yang rapi, seperti “furriness”. Yang penting adalah posisi keseluruhan.

Contoh kerja kecil

Berikut ini cara membandingkan vektor buatan tangan kita:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

Terhadap “kucing”, “anak kucing” mendapat skor tertinggi, “anjing” berikutnya, dan “faktur” jauh lebih rendah. Kami memilih vektor-vektor ini untuk menghasilkan pola tersebut, sehingga peringkat tersebut tidak membuktikan apa pun tentang bahasa sebenarnya. Ini hanya menunjukkan bagaimana perhitungan berperilaku. Pencarian semantik melakukan hal yang sama dalam tiga langkah: menyematkan kueri, menilainya berdasarkan setiap item yang disimpan, dan mengurutkan.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Kesamaan kosinus dijelaskan

Setiap vektor dapat diibaratkan sebagai anak panah yang menunjuk dari titik asal. Kesamaan kosinus mengukur sudut antara dua anak panah, dengan mengabaikan panjangnya. Kami mengonfirmasi nilai-nilai kunci:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Lihatlah baris pertama. [2, 4, 6] dua kali lebih panjang dari [1, 2, 3], namun skornya sempurna 1,0, karena yang terpenting adalah arah. Hal ini berguna untuk teks, yang panjangnya dapat mencerminkan hal-hal seperti ukuran dokumen, bukan makna. Hati-hati dengan ambang batas juga. Tidak ada skor universal yang berarti “serupa”, karena rentang yang berguna berbeda dari model ke model, jadi ujilah data Anda sendiri.

Pengukuran jarak lainnya

Perbedaannya mudah dilihat. Dua vektor yang sama dengan skor kosinus 1,0 mempunyai jarak Euclidean 3,742, karena yang satu lebih panjang dari yang lain. Banyak sistem menormalkan vektor, menskalakan masing-masing vektor menjadi 1. Setelah itu, hasil kali titik dan kosinus memberikan jawaban yang sama, dan kami mengonfirmasi hal ini: keduanya memberikan 0,955 untuk “kucing” dan “anjing”. Periksa dokumentasi model Anda untuk melihat ukuran mana yang direkomendasikan.

Bagaimana embeddings dipelajari

Tidak ada seorang pun yang memberikan angka-angka ini secara manual dalam sistem nyata. Jaringan saraf mempelajarinya selama pelatihan. Gagasan awal dan berpengaruh adalah bahwa kata-kata yang muncul dalam konteks serupa cenderung memiliki arti yang sama, seperti “Saya memberi makan kucing saya” dan “Saya memberi makan anjing saya”. Model seperti Word2Vec dan GloVe mempelajari vektor kata dari pola tersebut.

Belakangan, model berbasis transformator seperti BERT membuat penyematan peka konteks, sehingga “bank” bisa mendapatkan vektor berbeda di “tepi sungai” dan “pinjaman bank”. Banyak model modern menyematkan seluruh kalimat atau bagian sekaligus. Panduan kami untuk model bahasa besar menjelaskan cara transformator menangani konteks.

Tempat penyematan digunakan

Mencari dalam skala besar

Contoh kami membandingkan kueri dengan setiap item, yang dikenal sebagai penelusuran tepat. Itu berfungsi dengan baik untuk ribuan item, tetapi menjadi lambat pada jutaan item. Perkiraan indeks tetangga terdekat (ANN) seperti HNSW memecahkan masalah ini. Mereka menemukan kecocokan yang sangat dekat dengan cepat, dengan memberikan sedikit peluang untuk melewatkan yang terbaik.

Basis data dan ekstensi vektor, seperti pgvector untuk PostgreSQL, menyediakan indeks ini bersama dengan pemfilteran dan penyimpanan. panduan basis data vektor kami mencakup opsi-opsinya. Untuk proyek kecil, Anda mungkin tidak memerlukannya sama sekali, dan pencarian di dalam memori adalah cara yang baik untuk memulai.

Memilih model penyematan

• Bahasa. Jika konten Anda dalam bahasa Hindi atau Tamil, misalnya, periksa apakah model dapat menanganinya dengan baik.
• Domain. Model umum mungkin bermasalah dengan istilah hukum atau medis khusus.
• Dimensi. Lebih banyak dimensi dapat menangkap lebih banyak detail, namun memerlukan lebih banyak penyimpanan dan memori.
• Biaya dan hosting. Bandingkan API yang dihosting dengan model terbuka yang dapat Anda jalankan sendiri, terutama untuk data pribadi.
• Panjang masukan. Model memiliki batasan, sehingga dokumen yang panjang harus dipecah menjadi beberapa bagian terlebih dahulu.

Tes terbaik adalah data Anda sendiri. Kumpulkan sekitar 20 kueri nyata beserta dokumen yang harus mereka temukan, dan bandingkan bagaimana setiap model memberi peringkat pada kueri tersebut. Tolok ukur yang dipublikasikan mungkin tidak mencerminkan konten Anda.

Keterbatasan

• Penguncian model. Vektor dari model yang berbeda tidak dapat dibandingkan. Jika Anda mengganti model, Anda harus menyematkan semuanya lagi.
• Istilah persisnya. ID, kode, dan nama langka mungkin tidak dapat dicocokkan dengan pasti.
• Negasi. “Pengembalian dana diperbolehkan” dan “pengembalian dana tidak diperbolehkan” dapat terjadi bersamaan, meskipun memiliki arti yang berlawanan.
• Serupa tidak berarti benar. Kecocokan yang mirip mungkin sudah ketinggalan jaman atau hanya salah.
• Bias. Penyematan dapat menyerap stereotip dari data pelatihannya.
• Cosinus bukanlah sihir. Para peneliti mempertanyakan seberapa bermakna hal tersebut pada beberapa embeddings yang dipelajari, jadi perlakukan skor sebagai sinyal yang berguna dan bukan sebagai ukuran kebenaran.

Kesalahan umum

• Mencampur model. Sematkan kueri dan dokumen dengan model dan versi yang sama.
• Menggunakan satu ambang kesamaan di semua tempat. Sesuaikan untuk setiap model dan tugas.
• Menyematkan seluruh dokumen berukuran besar. Maknanya akan berkurang, jadi potong-potong terlebih dahulu.
• Melewatkan evaluasi. Tanpa kueri pengujian, Anda tidak dapat mengetahui apakah suatu perubahan membantu.
• Menggunakan embeddings untuk semuanya. Jika pengguna mencari ID yang tepat, indeks database normal lebih baik.

Penutup

Penyematan mengubah makna menjadi angka, sehingga perangkat lunak dapat membandingkan ide, bukan string. Konsepnya sederhana, sedangkan kerja prakteknya terletak pada pemilihan model, pengelompokan data, dan pengujian pada kueri nyata. Untuk mencobanya sendiri, sematkan beberapa lusin dokumen Anda sendiri dengan model penyematan apa pun, telusuri dokumen tersebut dengan pertanyaan nyata, dan lihat hasilnya yang mengejutkan Anda.

Pertanyaan yang sering diajukan

Teruslah belajar