Tìm kiếm “cách lấy lại tiền của tôi” và một hệ thống tốt sẽ tìm thấy một trang có tiêu đề “Chính sách hoàn tiền”, mặc dù cả hai trang này không có từ ngữ quan trọng nào. Khả năng đó đến từ nhúng, một trong những ý tưởng hữu ích nhất trong AI hiện đại.

Hướng dẫn này giải thích các phần nhúng mà không cần tính toán nặng nề. Chúng tôi đã chạy một ví dụ nhỏ trong Python 3.13 và kết quả của nó được hiển thị bên dưới. Các vectơ trong đó là những vectơ chúng tôi được tạo bằng tay, mỗi vectơ chỉ có ba số, để dễ nhìn thấy ý tưởng. Các phần nhúng thực sự đến từ một mô hình đã được đào tạo và thường có hàng trăm hoặc hàng nghìn con số.

nhúng là gì?

Việc nhúng là sự thể hiện một thứ gì đó dưới dạng danh sách các số, được gọi là vectơ. Một mô hình được huấn luyện sao cho các mục có ý nghĩa liên quan sẽ nhận được các vectơ gần nhau.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

Khi văn bản ở dạng này, máy tính có thể tính toán xem hai đoạn văn bản giống nhau đến mức nào, điều này không thể thực hiện trực tiếp với các từ. Việc nhúng cũng không giới hạn ở các từ. Các câu, toàn bộ tài liệu, hình ảnh, âm thanh và sản phẩm đều có thể được nhúng.

Tại sao không chỉ đối sánh từ khóa?

Hướng dẫn của chúng tôi về RAG cho thấy điều này trong thực tế. Một tìm kiếm đếm từ đơn giản không đạt điểm nào cho “Khi nào tôi có thể lấy lại tiền?” chống lại một tài liệu hoàn lại tiền, vì họ không chia sẻ lời nào. Cũng lưu ý đến hàng thứ ba: số nhận dạng chính xác là điểm yếu của phần nhúng, vì vậy tìm kiếm từ khóa vẫn có chỗ đứng.

Hãy nghĩ về một bản đồ

Hãy tưởng tượng đặt từng từ trên một bản đồ khổng lồ, nơi vị trí phản ánh ý nghĩa. “Mèo” và “mèo con” gần như ngồi cạnh nhau, “chó” ở cùng một khu phố và “hóa đơn” ở một thành phố khác. Để tìm các từ liên quan, bạn chỉ cần nhìn gần đó.

Việc nhúng thực sự hoạt động theo cách tương tự, ngoại trừ việc bản đồ có hàng trăm kích thước chứ không phải hai. Mọi người không thể hình dung được điều đó, nhưng phép toán vẫn hoạt động như nhau. Các số riêng lẻ thường không có ý nghĩa rõ ràng, chẳng hạn như “độ lông”. Điều quan trọng là vị trí tổng thể.

Một ví dụ hoạt động nhỏ

Đây là cách so sánh các vectơ được tạo bằng tay của chúng tôi:

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

Đối với “mèo”, “mèo con” đạt điểm cao nhất, tiếp theo là “chó” và “hóa đơn” thấp hơn nhiều. Chúng tôi đã chọn những vectơ này để tạo ra mẫu đó, vì vậy việc xếp hạng không chứng minh được điều gì về ngôn ngữ thực. Nó chỉ cho thấy cách tính toán hoạt động. Tìm kiếm ngữ nghĩa thực hiện điều tương tự theo ba bước: nhúng truy vấn, cho điểm truy vấn đó theo mọi mục được lưu trữ và sắp xếp.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

Giải thích sự tương tự cosine

Mỗi vectơ có thể được coi là một mũi tên chỉ từ gốc tọa độ. Độ tương tự cosine đo góc giữa hai mũi tên, bỏ qua độ dài của chúng. Chúng tôi đã xác nhận các giá trị chính:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

Nhìn vào dòng đầu tiên. [2, 4, 6] dài gấp đôi [1, 2, 3], tuy nhiên điểm số vẫn là 1,0 hoàn hảo, bởi vì chỉ hướng mới là điều quan trọng. Điều đó rất hữu ích cho văn bản, trong đó độ dài có thể phản ánh những thứ như kích thước tài liệu hơn là ý nghĩa. Hãy cẩn thận với các ngưỡng. Không có điểm chung nào có nghĩa là “tương tự”, vì các phạm vi hữu ích khác nhau giữa các mô hình, vì vậy hãy kiểm tra dữ liệu của riêng bạn.

Các biện pháp khoảng cách khác

Sự khác biệt rất dễ nhận thấy. Hai vectơ giống nhau có điểm cosin là 1,0 có khoảng cách Euclide là 3,742, vì một vectơ dài hơn vectơ kia. Nhiều hệ thống chuẩn hóa vectơ, chia tỷ lệ mỗi vectơ thành độ dài bằng 1. Sau đó, tích chấm và cosin cho cùng một câu trả lời và chúng tôi đã xác nhận điều này: cả hai đều cho 0,955 cho “mèo” và “chó”. Kiểm tra tài liệu mô hình của bạn để xem nó khuyến nghị biện pháp nào.

Cách học nhúng

Không ai gán những con số này bằng tay trong các hệ thống thực. Một mạng lưới thần kinh học chúng trong quá trình đào tạo. Một ý tưởng sớm và có ảnh hưởng là các từ xuất hiện trong các ngữ cảnh tương tự có xu hướng có ý nghĩa tương tự nhau, chẳng hạn như “Tôi đã cho con mèo của tôi ăn” và “Tôi đã cho con chó của tôi ăn”. Các mô hình như Word2Vec và GloVe đã học vectơ từ từ các mẫu đó.

Sau đó, các mô hình dựa trên máy biến áp như BERT đã tạo ra các phần nhúng nhận biết theo ngữ cảnh, do đó “ngân hàng” có thể có một vectơ khác trong “bờ sông” và “khoản vay ngân hàng”. Nhiều mô hình hiện đại nhúng toàn bộ câu hoặc đoạn văn cùng một lúc. Hướng dẫn của chúng tôi về mô hình ngôn ngữ lớn giải thích cách biến áp xử lý ngữ cảnh.

Nơi nhúng được sử dụng

Tìm kiếm ở quy mô

Ví dụ của chúng tôi so sánh một truy vấn với mọi mục, được gọi là tìm kiếm chính xác. Điều đó hoạt động tốt với hàng nghìn mặt hàng, nhưng nó sẽ trở nên chậm với hàng triệu mặt hàng. Các chỉ số lân cận gần nhất (ANN) chẳng hạn như HNSW giải quyết vấn đề này. Họ tìm thấy những trận đấu rất gần một cách nhanh chóng, bằng cách từ bỏ một cơ hội nhỏ để bỏ lỡ trận đấu hay nhất.

Cơ sở dữ liệu vectơ và phần mở rộng, chẳng hạn như pgvector cho PostgreSQL, cung cấp các chỉ mục này cùng với tính năng lọc và lưu trữ. Hướng dẫn về cơ sở dữ liệu vectơ của chúng tôi bao gồm các tùy chọn. Đối với một dự án nhỏ, bạn có thể không cần một dự án nào cả và việc tìm kiếm trong bộ nhớ là một cách hoàn toàn tốt để bắt đầu.

Lựa chọn mô hình nhúng

• Ngôn ngữ. Ví dụ: nếu nội dung của bạn bằng tiếng Hindi hoặc Tamil, hãy kiểm tra xem mô hình có xử lý tốt nội dung đó hay không.
• Miền. Các mô hình chung có thể gặp khó khăn với các thuật ngữ pháp lý hoặc y tế chuyên ngành.
• Kích thước. Nhiều kích thước hơn có thể thu được nhiều chi tiết hơn nhưng chúng tốn nhiều dung lượng lưu trữ và bộ nhớ hơn.
• Chi phí và lưu trữ. So sánh API được lưu trữ với mô hình mở mà bạn có thể tự chạy, đặc biệt là đối với dữ liệu riêng tư.
• Độ dài đầu vào. Mô hình có giới hạn, do đó, trước tiên, các tài liệu dài phải được chia thành các đoạn.

Bài kiểm tra tốt nhất là dữ liệu của riêng bạn. Thu thập khoảng 20 truy vấn thực tế cùng với các tài liệu họ cần tìm và so sánh cách xếp hạng của từng mô hình. Điểm chuẩn được công bố có thể không phản ánh nội dung của bạn.

Hạn chế

• Khóa mô hình. Không thể so sánh các vectơ từ các mô hình khác nhau. Nếu bạn thay đổi mô hình, bạn phải nhúng lại mọi thứ.
• Điều khoản chính xác. ID, mã và tên hiếm có thể không khớp một cách đáng tin cậy.
• Phủ định. “Được phép hoàn tiền” và “không được phép hoàn tiền” có thể ở gần nhau, mặc dù ý nghĩa trái ngược nhau.
• Tương tự không có nghĩa là đúng. Một kết quả trùng khớp gần đúng có thể đã lỗi thời hoặc đơn giản là sai.
• Thành kiến. Các phần nhúng có thể tiếp thu các khuôn mẫu từ dữ liệu huấn luyện của chúng.
• Cosine không phải là phép thuật. Các nhà nghiên cứu đã đặt câu hỏi về ý nghĩa của nó đối với một số phép nhúng đã học, vì vậy, hãy coi điểm số là một tín hiệu hữu ích chứ không phải là thước đo sự thật.

Những lỗi thường gặp

• Trộn các mô hình. Nhúng các truy vấn và tài liệu có cùng mô hình và phiên bản.
• Sử dụng một ngưỡng tương tự ở mọi nơi. Điều chỉnh ngưỡng tương tự cho từng mô hình và nhiệm vụ.
• Nhúng toàn bộ các tài liệu lớn. Ý nghĩa sẽ bị loãng đi, vì vậy phân tách chúng trước.
• Bỏ qua đánh giá. Nếu không có truy vấn kiểm tra, bạn không thể biết liệu thay đổi có hữu ích hay không.
• Sử dụng nội dung nhúng cho mọi thứ. Nếu người dùng tìm kiếm ID chính xác thì chỉ mục cơ sở dữ liệu bình thường sẽ tốt hơn.

Lời kết

Việc nhúng biến ý nghĩa thành các con số để phần mềm có thể so sánh các ý tưởng thay vì các chuỗi. Khái niệm này rất đơn giản, trong khi công việc thực tế nằm ở việc chọn mô hình, phân chia dữ liệu và thử nghiệm trên các truy vấn thực. Để tự mình thử, hãy nhúng vài chục tài liệu của riêng bạn với bất kỳ mô hình nhúng nào, tìm kiếm chúng bằng các câu hỏi thực tế và xem kết quả làm bạn ngạc nhiên ở đâu.

Câu hỏi thường gặp

Tiếp tục học hỏi