チャットしたり、要約したり、コードを書いたりするツールは、その下にあるメカニズムを見るまでは、ほとんど魔法のように思えます。 大規模言語モデル (LLM) は本質的に、次のテキストを予測するための非常に洗練されたシステムです。この 1 つのアイデアは、これらのツールが優れている点と、その方法で失敗する理由の両方を説明します。

このガイドでは、数学を使わずに主な概念を説明し、アイデアを具体化するための小さな次の単語予測子を構築します。そのコードを Python 3.13 で実行し、その実行からの出力が得られます。これはニューラル ネットワークではなく、単純な数を数えるおもちゃであり、実際の LLM ははるかに高性能です。また、特定のモデルの数値はすぐに変化するため、引用することも避けています。

大規模言語モデルとは何ですか?

LLM は、人間の言語を理解して生成するように訓練された人工知能の一種です。名前を 1 語ずつ取り上げてみましょう。

• Large: パラメータと呼ばれる調整可能な内部値が膨大な数あり、膨大な量のテキストから学習します。
• 言語: 自然言語やコードを含むテキストを処理します。
• モデル: データからパターンを取得し、それを使用して予測を行う数学的システムです。

モデルはエンジンであり、チャット アシスタントなどの製品はモデルを中心に構築される車です。製品には、ユーザー インターフェイス、安全システム、検索、その他のツールが追加されることがよくあります。

核となるアイデア: 次に何が起こるかを予測する

これはあなた自身が行います。 「フランスの首都は」と読めば、あなたの頭はすぐに「パリ」を思い浮かべます。 LLM は同様のことを行いますが、はるかに大規模です。テキストが与えられると、次に考えられる各トークンの可能性を計算し、1 つを選択し、それをテキストに追加して繰り返します。

検索対象となる、保存された回答のデータベースはありません。モデルは、トレーニング中に学習したパターンを数値の形式で保持します。それらのパターンが真実と一致すると、正しい答えが得られます。そうでない場合でも、流暢な回答を得ることができます。これが検索エンジンとの重要な違いです。

小さな動作デモ

最も単純な形式で次のトークンの予測を確認するために、このスクリプトは小さなテキスト内のどの単語の後に続くかをカウントします。次に、それらのカウントから新しいテキストを生成します。統計学者はこれをバイグラム モデルと呼びます。

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

その出力は確率分布です。 「the」の後に、モデルは「cat」と「dog」が最も可能性が高いと考えます。次に、これらの確率からサンプリングを繰り返してテキストを生成します。

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

3 つのことに注意してください。選択はランダムであるため、同じ開始でも異なるテキストが生成される可能性があります。出力は、トレーニング データに現れなかったシーケンスであっても、トレーニング データに似ています。そしてそれはまったく理解できないので、「敷物.猫」がナンセンスのように聞こえるのはそのためです。

見たことのない単語について尋ねても、何も提供できません。follows["elephant"] は空です。私たちのおもちゃは、前の 1 つ の単語だけを調べます。実際の LLM の大きな飛躍は、単純なカウントではなくニューラル ネットワークを使用して、長期間のコンテキストを考慮し、はるかに多くのデータから学習することによって実現します。

トークン: モデルの読み取り方法

LLM は私たちとは異なり、単語全体を読みません。テキストはまず トークン に分割されます。トークンは単語、単語の一部、句読点などです。各トークンは数値にマッピングされ、モデルは完全に数値で機能します。

トークンは実際には 2 つの理由から重要です。ホストされたモデルの使用は通常トークンによって価格設定され、各モデルには一度に処理できる数に制限があります。トークン化は、いくつかの有名な奇妙な動作も説明します。モデルは文字ではなく塊を認識するため、単語内の文字を数えるなどのタスクは従来、モデルにとって驚くほど困難でした。

埋め込み: 数値としての意味

各トークンは、ある種の意味空間に配置される数値の長いリストである embedding に変換されます。関連する概念は最終的に近くにあるため、「猫」と「子猫」は近くの位置にありますが、「猫」と「請求書」は近くにありません。

同じ考え方がセマンティック検索にも応用されており、正確な単語ではなく意味に基づいてドキュメントを検索します。私たちの ベクター データベース ガイド では、その使用について説明しています。

注意と変圧器

最新の LLM のほとんどは、2017 年の論文「Attending Is All You Need」で Google 研究者によって紹介された transformer アーキテクチャに基づいています。その重要なメカニズムは自己注意です。

「トロフィーは大きすぎたのでスーツケースに入りませんでした。」という文を考えてみましょう。 「それ」とは何を指すのでしょうか？それがトロフィーを意味することはわかります。アテンションを使用すると、モデルは新しいトークンを処理するときに、以前のトークンをすべて重み付けできるため、単語が遠く離れている場合でも、「それ」を最も関連性の高い単語にリンクできます。

以前のアプローチではテキストを段階的に処理し、遠くの単語を見失う傾向がありました。トランスフォーマーはコンテキスト全体を一緒に調べ、この作業の多くを専用のハードウェアで並行して実行できるため、このような大量のテキストのトレーニングが実用的になります。

LLM のトレーニング方法

事前トレーニングにより、モデルに広範な言語能力が与えられますが、テキストに答えるのではなく、テキストを続けるだけになる可能性があります。後の段階では、それを便利なアシスタントに形作ります。大規模なモデルのトレーニングにはかなりのコンピューティング能力が必要であり、コストもかかります。 inference として知られる完成モデルを使用すると、リクエストあたりのコストがはるかに安くなります。

テキストの生成方法

1. プロンプトはトークンに分割され、埋め込みに変換されます。
2. ネットワークは、それらを相互に関連付けるために注意を使用して処理します。
3. 考えられるすべての次のトークンの確率を出力します。
4. 1 つのトークンが選択され、コンテキストに追加されます。
5. ステップ 2 ～ 4 を停止条件に達するまで繰り返します。

通常、ストリーミング時に返信が 1 語ずつ表示されるのはこのためです。テキストは文字通り順番に作成されます。 温度は、ステップ 4 の冒険性を制御します。低い値では最も可能性の高いトークンが優先され、高い値ではより多様なトークンが許可されます。

満たす条件

知っておくべき制限事項

• 幻覚。 モデルは事実、引用、またはコード関数を発明できます。ありそうなテキストが生成されるため、虚偽の発言が完全にもっともらしく見える可能性があります。
• 知識の遮断。 製品が検索や他のツールに接続していない限り、最近の出来事について認識できない可能性があります。
• 限られたコンテキスト。 会話がコンテキスト ウィンドウを超える場合、以前の詳細が省略されたり要約されたりする可能性があります。また、製品にその機能が追加されない限り、モデルは過去のチャットを自動的に記憶しません。
• バイアス トレーニング データには人間のバイアスが反映されており、それが出力に現れる場合があります。
• 矛盾 同じ質問から異なる回答が得られる可能性があり、これは、ある質問の上にソフトウェアを構築する場合に重要です。
• セキュリティ リスク。 テキスト内の隠された命令によりモデルが操作される可能性があり、これはプロンプト インジェクションとして知られる問題です。

LLM を上手に活用する

LLM を、作業をレビューする必要がある迅速で有能なアシスタントとして扱います。いくつかの習慣が大きな違いを生みます。

• 具体的であること。 明確な指示、コンテキスト、例がより良い結果をもたらします。 プロンプト エンジニアリングに関するガイドでは、その方法を示しています。
• 事実を提供します。自分の文書から回答する必要がある場合は、記憶に頼るのではなく、RAGを使用してください。
• 何が重要であるかを確認します。数字、引用、法的または医学的主張を信頼できる情報源と照合してください。
• 生成されたコードをテストします。同僚の場合と同じように、それを実行してテストを作成します。私たちのAIコードレビューツールガイドにはいくつかのサポートが含まれています。
• 機密データを保護します。 ホストされているツールで機密情報を共有する前に、組織のルールを確認してください。

自分の作業に合わせてモデルをカスタマイズする方法を決定している場合は、RAG、微調整、プロンプト エンジニアリングの比較が選択に役立ちます。

まとめ

LLM は、並外れた規模でトレーニングされた次のトークンの予測子であり、その説明が示すよりも便利ですが、誤りの可能性が高くなります。このメカニズムを念頭に置くと、それをうまく使用することができます。このメカニズムは言語とパターンに強く、事実についての監督が必要です。具体的にするには、独自のテキストを使用して上記の小さなスクリプトを実行し、実際のアシスタントで同じプロンプトを数回試して、答えを比較します。

よくある質問

学び続ける