Các công cụ trò chuyện, tóm tắt và viết mã dường như gần như kỳ diệu, cho đến khi bạn nhìn thấy cơ chế bên dưới. Mô hình ngôn ngữ lớn hay LLM thực chất là một hệ thống rất phức tạp để dự đoán đoạn văn bản tiếp theo. Ý tưởng đó giải thích cả những gì những công cụ này hoạt động tốt và tại sao chúng lại thất bại theo cách chúng hoạt động.

Hướng dẫn này giải thích các khái niệm chính mà không cần bất kỳ phép toán nào, sau đó xây dựng một công cụ dự đoán từ tiếp theo nhỏ để biến ý tưởng thành cụ thể. Chúng tôi đã chạy mã đó trên Python 3.13 và kết quả đầu ra là từ lần chạy đó. Nó là một món đồ chơi đếm đơn giản chứ không phải là mạng lưới thần kinh và LLM thực sự có khả năng cao hơn rất nhiều. Chúng tôi cũng tránh trích dẫn số liệu cho các mẫu xe cụ thể vì chúng thay đổi nhanh chóng.

Mô hình ngôn ngữ lớn là gì?

LLM là một loại trí tuệ nhân tạo được đào tạo để hiểu và tạo ra ngôn ngữ của con người. Chúng ta hãy lấy tên từng từ một:

• Lớn: nó có một số lượng lớn các giá trị bên trong có thể điều chỉnh được, được gọi là tham số và nó học từ một lượng văn bản khổng lồ.
• Ngôn ngữ: nó hoạt động với văn bản, bao gồm ngôn ngữ tự nhiên và mã.
• Mô hình: nó là một hệ thống toán học ghi lại các mẫu từ dữ liệu và sử dụng chúng để đưa ra dự đoán.

Các mô hình là động cơ và các sản phẩm như trợ lý trò chuyện là phương tiện được chế tạo xung quanh chúng. Một sản phẩm thường bổ sung thêm giao diện người dùng, hệ thống an toàn, tìm kiếm và các công cụ khác.

Ý tưởng cốt lõi: dự đoán điều gì sẽ xảy ra tiếp theo

Bạn tự làm việc này. Nếu bạn đọc “thủ đô của nước Pháp là” thì tâm trí bạn sẽ nghĩ ngay đến “Paris”. LLM thực hiện điều gì đó có thể so sánh được nhưng ở quy mô lớn hơn nhiều. Đưa ra một số văn bản, nó tính toán khả năng xảy ra của mỗi mã thông báo tiếp theo, chọn một mã thông báo, thêm nó vào văn bản và lặp lại.

Không có cơ sở dữ liệu về các câu trả lời được lưu trữ đang được tra cứu. Mô hình chứa các mẫu đã học được trong quá trình đào tạo, dưới dạng số. Khi những mẫu đó phù hợp với sự thật, bạn sẽ có được câu trả lời đúng. Khi không, bạn vẫn có thể nhận được câu trả lời trôi chảy và đó là điểm khác biệt quan trọng so với công cụ tìm kiếm.

Một bản demo hoạt động nhỏ

Để xem dự đoán mã thông báo tiếp theo ở dạng đơn giản nhất, tập lệnh này sẽ đếm từ nào theo sau từ nào trong một văn bản nhỏ. Sau đó nó tạo ra văn bản mới từ những số lượng đó. Các nhà thống kê gọi đây là mô hình bigram.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

Đầu ra đó là một phân phối xác suất. Sau “the”, mô hình có nhiều khả năng xem xét “mèo” và “chó”. Bây giờ chúng tôi tạo văn bản bằng cách lấy mẫu nhiều lần từ các xác suất đó:

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

Hãy chú ý ba điều. Sự bắt đầu giống nhau có thể tạo ra văn bản khác nhau vì sự lựa chọn là ngẫu nhiên. Đầu ra giống với dữ liệu huấn luyện của nó, ngay cả đối với các chuỗi chưa từng xuất hiện trong đó. Và nó không hiểu gì cả, đó là lý do tại sao “the rug… the cat” đọc như vô nghĩa.

Hỏi nó về một từ mà nó chưa từng thấy và nó chẳng có gì để cung cấp: follows["elephant"] trống rỗng. Đồ chơi của chúng ta chỉ nhìn vào một từ trước đó. Bước nhảy vọt to lớn trong LLM thực tế đến từ việc xem xét bối cảnh kéo dài và học hỏi từ nhiều dữ liệu hơn, sử dụng mạng lưới thần kinh thay vì đếm đơn giản.

Mã thông báo: cách mô hình đọc

LLM không đọc toàn bộ từ như chúng tôi. Đầu tiên, văn bản được chia thành mã thông báo, có thể là một từ, một phần của từ hoặc dấu câu. Mỗi mã thông báo ánh xạ tới một số và mô hình hoạt động hoàn toàn bằng số.

Token quan trọng trong thực tế vì hai lý do. Việc sử dụng các mô hình được lưu trữ thường được định giá bằng mã thông báo và mỗi mô hình có giới hạn về số lượng mô hình có thể xử lý cùng một lúc. Token hóa cũng giải thích một số hành vi kỳ quặc nổi tiếng. Bởi vì các mô hình nhìn thấy các khối chứ không phải các chữ cái, nên các nhiệm vụ như đếm các chữ cái trong một từ theo truyền thống là khó khăn một cách đáng ngạc nhiên đối với chúng.

Nhúng: có nghĩa là số

Mỗi mã thông báo được chuyển thành nhúng, một danh sách dài các số đặt mã đó vào một loại không gian có ý nghĩa. Các khái niệm liên quan thường gần nhau nên “cat” và “kitten” có vị trí gần nhau, trong khi “cat” và “invoice” thì không.

Ý tưởng tương tự hỗ trợ tìm kiếm ngữ nghĩa, trong đó bạn tìm tài liệu theo ý nghĩa chứ không phải theo từ chính xác. Hướng dẫn về cơ sở dữ liệu vectơ của chúng tôi đề cập đến cách sử dụng đó.

Chú ý và máy biến áp

Hầu hết các LLM hiện đại đều dựa trên kiến trúc máy biến áp, được các nhà nghiên cứu của Google giới thiệu trong bài báo “Chú ý là tất cả những gì bạn cần” năm 2017. Cơ chế chính của nó là tự chú ý.

Hãy xem xét câu này: “Chiếc cúp không vừa trong vali vì nó quá lớn”. “Nó” đề cập đến cái gì? Bạn biết nó có nghĩa là chiếc cúp. Sự chú ý cho phép mô hình cân nhắc mọi mã thông báo trước đó khi xử lý từng mã thông báo mới, nhờ đó, mô hình có thể liên kết “nó” với các từ phù hợp nhất, ngay cả khi chúng ở xa nhau.

Trước đó, các phương pháp tiếp cận văn bản được xử lý từng bước và có xu hướng mất dấu các từ ở xa. Transformers cùng nhau xem xét bối cảnh và họ có thể chạy song song nhiều công việc này trên phần cứng chuyên dụng, điều này khiến việc đào tạo về số lượng lớn văn bản như vậy trở nên thực tế.

LLM được đào tạo như thế nào

Việc đào tạo trước mang lại cho mô hình khả năng ngôn ngữ rộng, nhưng nó có thể chỉ tiếp tục văn bản của bạn chứ không phải trả lời nó. Các giai đoạn sau sẽ định hình nó thành một trợ lý hữu ích. Việc đào tạo các mô hình lớn đòi hỏi sức mạnh tính toán đáng kể và tốn kém. Việc sử dụng một mô hình đã hoàn thiện, được gọi là suy luận, sẽ rẻ hơn nhiều theo yêu cầu.

Cách nó tạo ra văn bản

1. Lời nhắc của bạn được chia thành các mã thông báo và được chuyển đổi thành phần nhúng.
2. Mạng xử lý chúng, sử dụng sự chú ý để liên kết chúng với nhau.
3. Nó đưa ra xác suất cho mọi mã thông báo tiếp theo có thể có.
4. Một mã thông báo được chọn và thêm vào ngữ cảnh.
5. Lặp lại các bước từ 2 đến 4 cho đến khi đạt đến điều kiện dừng.

Đây là lý do tại sao các câu trả lời thường xuất hiện từng chữ khi phát trực tuyến. Văn bản theo nghĩa đen được sản xuất theo trình tự. Nhiệt độ kiểm soát mức độ mạo hiểm của bước 4: giá trị thấp ưu tiên các mã thông báo có nhiều khả năng nhất, trong khi giá trị cao hơn cho phép đa dạng hơn.

Điều khoản bạn sẽ gặp

Những hạn chế bạn nên biết

• Ảo giác. Một mô hình có thể phát minh ra các sự kiện, trích dẫn hoặc hàm mã. Bởi vì nó tạo ra văn bản có khả năng xảy ra nên các tuyên bố sai có thể trông hoàn toàn hợp lý.
• Giới hạn kiến ​​thức. Trừ khi một sản phẩm kết nối nó với công cụ tìm kiếm hoặc các công cụ khác, nếu không nó có thể không biết về các sự kiện gần đây.
• Ngữ cảnh hạn chế. Nếu một cuộc trò chuyện vượt quá cửa sổ ngữ cảnh thì các chi tiết trước đó có thể bị bỏ qua hoặc tóm tắt. Người mẫu cũng không tự động ghi nhớ các cuộc trò chuyện trước đây, trừ khi sản phẩm bổ sung tính năng đó.
• Thành kiến. Dữ liệu đào tạo phản ánh những thành kiến ​​của con người và những thành kiến ​​đó có thể xuất hiện ở đầu ra.
• Sự không nhất quán. Cùng một câu hỏi có thể tạo ra các câu trả lời khác nhau, điều này quan trọng khi bạn xây dựng phần mềm dựa trên một câu trả lời.
• Rủi ro bảo mật. Các hướng dẫn ẩn trong văn bản có thể thao túng một mô hình, một vấn đề được gọi là chèn nhắc nhở.

Sử dụng tốt LLM

Hãy coi LLM như một trợ lý nhanh nhẹn, có năng lực và công việc của họ cần được xem xét. Một vài thói quen tạo nên sự khác biệt lớn:

• Hãy cụ thể. Hướng dẫn, ngữ cảnh và ví dụ rõ ràng sẽ mang lại kết quả tốt hơn. Hướng dẫn của chúng tôi về kỹ thuật nhanh chóng chỉ ra cách thực hiện.
• Cung cấp thông tin thực tế. Khi câu trả lời phải đến từ tài liệu của chính bạn, hãy sử dụng RAG thay vì dựa vào trí nhớ.
• Xác minh những vấn đề quan trọng. Kiểm tra số liệu, trích dẫn và khiếu nại pháp lý hoặc y tế dựa trên các nguồn đáng tin cậy.
• Kiểm tra mã được tạo. Chạy mã và viết kiểm tra cho nó, giống như bạn làm với đồng nghiệp. Hướng dẫn về công cụ đánh giá mã AI của chúng tôi bao gồm một số trợ giúp.
• Bảo vệ dữ liệu nhạy cảm. Kiểm tra các quy tắc của tổ chức bạn trước khi chia sẻ thông tin bí mật bằng công cụ được lưu trữ.

Nếu bạn đang quyết định cách tùy chỉnh một mô hình cho công việc của riêng mình, thì sự so sánh của chúng tôi về RAG, tinh chỉnh và kỹ thuật kịp thời sẽ giúp bạn lựa chọn.

Lời kết

LLM là một công cụ dự đoán mã thông báo tiếp theo được đào tạo ở quy mô đặc biệt và nó hữu ích hơn cũng như dễ sai sót hơn so với mô tả đó. Luôn ghi nhớ cơ chế này sẽ giúp bạn sử dụng nó tốt: nó mạnh mẽ về ngôn ngữ và khuôn mẫu, đồng thời nó cần sự giám sát của bạn về thực tế. Để làm cho nó cụ thể, hãy chạy đoạn mã nhỏ ở trên bằng văn bản của chính bạn, sau đó thử cùng một lời nhắc nhiều lần trong một trợ lý thực sự và so sánh các câu trả lời.

Câu hỏi thường gặp

Tiếp tục học hỏi