「お金を取り戻す方法」を検索すると、適切なシステムでは「返金ポリシー」というタイトルのページが見つかるはずです。ただし、この 2 つに重要な単語はありません。その能力は、現代の AI で最も有用なアイデアの 1 つである エンベディング から生まれています。

このガイドでは、複雑な計算を行わずに埋め込みについて説明します。 Python 3.13 で小さな例を実行しました。その出力を以下に示します。その中のベクトルは、アイデアをわかりやすくするために、私たちが手作業で作成したものであり、それぞれに 3 つの数字だけが含まれています。実際のエンベディングはトレーニングされたモデルから得られ、多くの場合、数百または数千の数値が含まれます。

埋め込みとは何ですか?

埋め込みとは、ベクトルと呼ばれる数値のリストとして何かを表現することです。モデルは、関連する意味を持つ項目が互いに近いベクトルを取得するようにトレーニングされます。

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

テキストがこの形式になると、コンピューターは 2 つのテキストがどの程度類似しているかを計算できますが、単語では直接計算することはできません。埋め込みは単語に限定されません。文章、ドキュメント全体、画像、音声、製品はすべて埋め込むことができます。

なぜ単にキーワードを一致させないのでしょうか?

RAG に関するガイドでは、これを実際に示しています。単純な単語数検索では、「いつお金を取り戻せますか?」のスコアは 0 でした。彼らは言葉を交わさなかったので、返金文書に反対しました。 3 行目にも注目してください。正確な識別子は埋め込みの弱点であるため、キーワード検索が依然として有効です。

地図を考えてみる

巨大な地図上にすべての単語を配置し、場所が意味を反映していることを想像してください。 「猫」と「子猫」はほぼ隣り合って座り、「犬」は同じ近所に、「請求書」は別の都市にいます。関連する単語を見つけるには、近くを見るだけです。

実際の埋め込みも同様に機能しますが、マップの次元が 2 次元ではなく数百次元である点が異なります。人々はそれを想像することができませんが、計算はまったく同じように機能します。個々の数字には通常、「毛皮」のようなきちんとした意味はありません。重要なのは全体的な順位です。

小さな実用例

手作りのベクトルを比較する方法は次のとおりです。

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

「猫」に対しては、「子猫」のスコアが最も高く、次に「犬」、「請求書」のスコアがはるかに低くなります。そのパターンを生成するためにこれらのベクトルを選択したため、ランキングは実際の言語について何も証明しません。計算がどのように動作するかを示すだけです。セマンティック検索は、クエリを埋め込み、保存されているすべてのアイテムに対してスコアを付け、並べ替えるという 3 つのステップで同じことを行います。

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

コサイン類似度の説明

各ベクトルは原点から指す矢印と考えることができます。コサイン類似度は、2 つの矢印の長さを無視して、間の角度を測定します。主要な値を確認しました。

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

最初の行を見てください。 [2, 4, 6] は [1, 2, 3] の 2 倍の長さですが、重要なのは方向だけであるため、スコアは完璧な 1.0 です。これは、長さが意味ではなくドキュメントのサイズなどを反映する可能性があるテキストの場合に役立ちます。しきい値にも注意してください。有用な範囲はモデルごとに異なるため、「類似」を意味する普遍的なスコアはありません。そのため、独自のデータでテストしてください。

その他の距離測定

違いは簡単に分かります。コサイン スコア 1.0 を持つ同じ 2 つのベクトルは、一方が他方よりも長いため、ユークリッド距離は 3.742 になります。多くのシステムは、ベクトルを 正規化し、それぞれの長さを 1 にスケーリングします。その後、ドット積とコサインは同じ答えを返し、これを確認しました。「猫」と「犬」ではどちらも 0.955 でした。モデルのドキュメントを参照して、どの対策が推奨されているかを確認してください。

エンベディングの学習方法

実際のシステムでは、これらの番号を手動で割り当てる人はいません。ニューラル ネットワークはトレーニング中にそれらを学習します。初期の影響力のあるアイデアは、「猫に餌を与えた」と「犬に餌を与えた」のように、似たような文脈で現れる単語は同じような意味を持つ傾向があるというものです。 Word2Vec や GloVe などのモデルは、これらのパターンから単語ベクトルを学習しました。

その後、BERT などのトランスフォーマー ベースのモデルにより、埋め込みがコンテキストを認識するようになったため、「銀行」が「河川銀行」と「銀行ローン」で異なるベクトルを取得できるようになりました。最新のモデルの多くは、文全体または一節全体を一度に埋め込みます。私たちのガイド大規模な言語モデルトランスフォーマーがコンテキストをどのように処理するかを説明します。

埋め込みが使用される場所

大規模な検索

この例では、クエリとすべての項目を比較しました。これは完全検索と呼ばれます。数千のアイテムの場合は問題なく動作しますが、数百万のアイテムの場合は遅くなります。 HNSW などの 近似最近傍 (ANN) インデックスがこれを解決します。彼らは、絶対的に最良のものを見逃す可能性をわずかにあきらめることで、非常に近い一致をすぐに見つけます。

PostgreSQL の pgvector などのベクター データベースと拡張機能は、フィルタリングやストレージとともにこれらのインデックスを提供します。私たちの ベクター データベース ガイド では、オプションについて説明しています。小規模なプロジェクトの場合は、まったく必要ない可能性があり、メモリ内検索を開始するのに最適な方法です。

埋め込みモデルの選択

• 言語。 たとえば、コンテンツがヒンディー語またはタミル語の場合は、モデルがそれを適切に処理しているかどうかを確認してください。
• ドメイン。 一般的なモデルでは、専門的な法律用語や医学用語を使用するのが難しい場合があります。
• ディメンション。 ディメンションが増えるとより多くの詳細をキャプチャできますが、ストレージとメモリの消費量が増加します。
• コストとホスティング。 ホスト型 API と、特にプライベート データの場合に自分で実行できるオープン モデルを比較します。
• 入力長。 モデルには制限があるため、長いドキュメントは最初にチャンクに分割する必要があります。

最良のテストはあなた自身のデータです。約 20 個の実際のクエリと検索対象のドキュメントを収集し、各モデルがそれらをどのようにランク付けするかを比較します。公開されたベンチマークはコンテンツを反映していない可能性があります。

制限事項

• モデルのロックイン。 異なるモデルのベクトルを比較することはできません。機種変更した場合は全て埋め込み直す必要があります。
• 正確な用語。 ID、コード、および珍しい名前は、確実に一致しない可能性があります。
• 否定。 「返金は許可されます」と「返金は許可されません」は、反対の意味であっても、近くにある場合があります。
• 似ているからといって正しいというわけではありません。 近いものは時代遅れであるか、単に間違っている可能性があります。
• バイアス 埋め込みは、トレーニング データからステレオタイプを吸収できます。
• コサインは魔法ではありません。研究者らは、一部の学習された埋め込みに関してコサインがどれほど意味があるのか​​疑問に思っているため、スコアを真実の尺度としてではなく、有用な信号として扱います。

よくある間違い

• モデルの混合。 同じモデルとバージョンを使用してクエリとドキュメントを埋め込みます。
• あらゆる場所で 1 つの類似性しきい値を使用します。 モデルとタスクごとに調整します。
• 巨大なドキュメント全体を埋め込むと意味が薄れてしまうため、最初に分割してください。
• 評価をスキップします。 テスト クエリがなければ、変更が役に立ったかどうかを判断できません。
• すべてに埋め込みを使用します。 ユーザーが正確な ID を検索する場合は、通常の データベース インデックス の方が適しています。

まとめ

埋め込みによって意味が数値に変換されるため、ソフトウェアは文字列ではなくアイデアを比較できるようになります。概念はシンプルですが、実際の作業はモデルの選択、データのチャンク化、実際のクエリでのテストにあります。自分で試してみるには、数十の独自のドキュメントを埋め込みモデルに埋め込み、実際の質問で検索し、驚くような結果が得られることを確認してください。

よくある質問

学び続ける