BM25 の説明: Python コードとハイブリッド検索を使用してキーワード検索で結果をランク付けする方法

  1. ホーム
  2. ブログ
  3. 人工知能

人工知能

BM25 の説明: Python コードとハイブリッド検索を使用してキーワード検索で結果をランク付けする方法

BM25 は、Elasticsearch、OpenSearch、Lucene など、ほとんどのキーワード検索エンジンのランキング方式です。まれなクエリ単語が含まれ、それらの単語が適切な量繰り返され、フィラーが詰め込まれていない場合、ドキュメントのスコアは高くなります。私たちはこれを 25 行の Python で構築し、どこが優れているのか、どこが失敗しているのか、そしてハイブリッド検索がどのように問題を修正するのかをテストしました。

読了目安10分
BM25検索をPythonで解説

ポイント

  • BM25 は、レア クエリ ワード (IDF)、その出現頻度 (飽和度を含む)、およびドキュメントの長さによってドキュメントをスコア付けします。
  • 彩度は重要です。私たちのテストでは、単語を 5 回繰り返すと 1.77 のスコアが得られ、20 回繰り返すと 2.08 しかスコアが得られないため、キーワードの詰め込みはほとんど役に立ちません。
  • BM25 は正確なエラー コード「E1042」を即座に見つけましたが、これらの単語を共有するドキュメントがなかったため、「ログインを忘れた」については何もを返しませんでした。
  • ハイブリッド検索は、相互ランク融合を使用したベクトル検索と BM25 を組み合わせて、正確な一致と意味を取得します。

AI ではベクトル検索が注目を集めていますが、ほとんどすべての実稼働検索システムでは依然としてキーワード ランカーがその隣で実行されており、そのランカーはほとんどの場合 BM25 です。検索、RAG、またはドキュメント Q&A を構築する場合、BM25 を理解すると、一部のクエリが完全に機能する理由、他のクエリが何も返さない理由、埋め込みと組み合わせることが単独で優れている理由がわかります。以下のすべては、6 つのドキュメントからなるヘルプセンター コレクションに対して Python 3.13.6 で実行した小規模な実装から来ています。

BM25とは何ですか?

BM25 は「Best Matching 25」の略で、1990 年代のオカピ情報検索研究のランキング機能です。クエリが与えられると、コレクション全体での各クエリ単語の頻度、ドキュメント内での出現頻度、平均と比較したドキュメントの長さという 3 つのシグナルからすべてのドキュメントに関連性​​スコアが与えられます。トレーニングも GPU も必要なく、トークナイザーを使用してあらゆる言語で動作し、Lucene、Elasticsearch、OpenSearch、Solr のデフォルトのランキングになります。

BM25 フォーミュラのひとつひとつ

score(D, Q) = Σ over query terms t of
    IDF(t) × f(t, D) × (k1 + 1) / ( f(t, D) + k1 × (1 − b + b × |D| / avgdl) )

IDF(t) = ln( (N − n(t) + 0.5) / (n(t) + 0.5) + 1 )
  • f(t, D): 用語 t が文書 D に出現する回数。
  • |D| および avgdl: ドキュメントの長さとコレクション内の平均の長さ。
  • N および n(t): ドキュメントの数と、t を含むドキュメントの数。
  • k1 (通常は 1.2): 繰り返される用語がスコアの追加を停止する速度。
  • b (通常 0.75): 長いドキュメントに対するペナルティの強さ。

対数の内側に「+ 1」が付いた IDF 形式は、Lucene が使用するものです。決してマイナスになることはありません。各クエリ用語は個別に寄与し、スコアが追加されます。

IDF: 珍しい単語はシグナルを伝える

6 つの文書のうち、「パスワード」が 3 つ表示され、エラー コード「e1042」が表示されたのは 1 つだけでした。 BM25 では、IDF 重みが 0.693 と 1.540 になりました。まれな特定の単語との一致は関連性の強力な証拠となりますが、一般的な単語はほとんど意味を持ちません。これが、正確な製品コード、エラー番号、または名前がキーワード検索にとって非常に強力なクエリである理由です。

項飽和: k1 効果

生の単語数では、「パスワード」を 20 回繰り返す文書がすべてを上回ることになります。 BM25 はそれを上限とします。 k1 = 1.2 で平均長ドキュメントの用語頻度部分を計算しました。

単語が出現する回数 BM25 用語頻度係数
1 1.000
2 1.375
5 1.774
10 1.964
20 2.075

2 番目の言及は多くを追加し、5 番目の言及は少し追加しますが、20 番目の言及はほとんど追加しません。この係数は k1 + 1 = 2.2 を超えることはできません。この利益の逓減こそが、BM25 が単純なカウントよりもキーワードの詰め込みにはるかに強く抵抗する主な理由です。

長さの正規化: b 効果

長いマニュアルにはほとんどの単語がどこかに記載されており、スコアが不当に吊り上げられてしまいます。 b パラメーターは、平均 (コレクション内の 15.8 単語) と比較した文書の長さによって用語の頻度を調整します。 b = 0.75 の場合、長い文書が短く焦点を絞った文書と同じスコアを獲得するには、より多くの言及が必要になります。 b = 0 に設定すると、長さの正規化が完全にオフになります。

25 行の Python で構成される BM25

import math, re

tok = lambda s: re.findall(r"[a-z0-9]+", s.lower())
D = {k: tok(v) for k, v in docs.items()}
N = len(D)
avg = sum(len(v) for v in D.values()) / N

def idf(t):
    n = sum(1 for v in D.values() if t in v)
    return math.log((N - n + 0.5) / (n + 0.5) + 1)

def bm25(query, k1=1.2, b=0.75):
    scores = {}
    for k, v in D.items():
        s = 0
        for t in tok(query):
            f = v.count(t)
            if f:
                s += idf(t) * f * (k1 + 1) / (f + k1 * (1 - b + b * len(v) / avg))
        scores[k] = round(s, 3)
    return sorted(scores.items(), key=lambda x: -x[1])

実際のエンジンは逆索引、つまり各単語からそれを含む文書へのマップを事前に計算するため、すべての文書をスキャンすることはありません。採点ロジックは同じです。私たちのコレクションには、パスワードのリセット (d1)、エラー E1042 (d2)、パスワード ルール (d3)、配送 (d4)、アカウントのロックアウト (d5)、および「パスワード」を 6 回繰り返すスパム ページ (d6) の 6 つの短いヘルプ記事がありました。

テストでわかったこと

クエリ BM25のトップ結果 生の単語数のトップ結果
パスワードをリセットする d1 (3.009)、d6 (1.259)、d3 (0.690) d6、スパムページ (6 件が一致)
E1042 d2 (1.617)、他には何もありません d2
私のアカウントからロックアウトされました d5 (3.570)、d2 (1.617) d5
ログインを忘れた すべてのスコアが 0 すべて0

「パスワードのリセット」については、生のカウントでは、単語が繰り返されているためスパム ページが 1 位にランクされましたが、BM25 では、本当に役立つリセット記事が 2 倍以上のスコアで 1 位になりました。つまり、2 つの異なる一致した単語とサチュレーション ビートの繰り返しです。正確なコード「E1042」については、BM25 が最適でした。興味深い失敗は次のとおりです。

ヒント: 自分のログで BM25 の失敗を確認してください。どこでもスコアが 0 のクエリは、まさにセマンティック検索の追加が効果を発揮するクエリです。

k1とbをチューニングする

単一単語のクエリ「password」では、4 つのパラメータ設定を試しました。

k1 b 上位3スコア
1.2 0.75 d6 1.259、d1 0.934、d3 0.690
1.2 0.0 d6 1.271、d1 0.953、d3 0.693
0.5 0.75 d6 0.956、d1 0.823、d3 0.691
2.0 0.75 d6 1.538、d1 1.012、d3 0.690

k1 が低いと、繰り返しの重要性が低くなるため、スパム ページのリードが 0.325 から 0.133 に縮小しました。 k1を高くすると幅が広がりました。ここでは、1 つの単語が弱いクエリであり、チューニングによる実際の利益は通常小さいため、ランキングは同じままでした。デフォルトの k1 = 1.2 および b = 0.75 が適切なスタートです。既知の答えを持つ一連の実際のクエリに対してのみ調整し、通常は分割、ステミング、ストップ ワードの方が重要であるため、最初にトークン化を修正します。

BM25 が失敗する場所

  • 異なる単語、同じ意味。 「ログインを忘れた場合」は、パスワード リセットの記事で回答されているにもかかわらず、どこでもスコアが 0 でした。 BM25 は意味ではなく単語と一致します。
  • 単語の形式。 私たちのトークナイザーは、「パスワード」と「パスワード」を別の単語として扱いました。実際のエンジンは、これを修正するためにステミングまたは見出し語化を追加します。
  • スペルミス。 「パスワード」はあいまい一致しないと何も一致しません。
  • 繰り返しはまだ少しは役に立ちます。 スパム ページは、単純なクエリ「パスワード」で 1 位にランクされましたが、飽和によりその差は小さく保たれました。

BM25 とベクトル検索の比較

アスペクト BM25 ベクトル検索
一致 正確な言葉 意味、言い換え
に強い ID、コード、名前、珍しい用語 自然な質問、同義語
苦手なもの 同義語・言い換え 正確なコード、まれな専門用語
ニーズ インデックスのみ、モデルなし 埋め込みモデルとベクトル ストア
説明可能 はい、学期ごとのスコア より硬い

ベクトル検索はテキストを 埋め込み に変換し、コサイン類似度 によってランク付けします。そのため、「ログインを忘れた」とパスワード リセットの記事が結び付けられます。 2 つの方法は反対の場所で失敗します。これが両方を使用する理由です。

逆順位融合によるハイブリッド検索

BM25 スコアとコサイン類似度は異なるスケールにあるため、単純に加算することはできません。逆順位融合 (RRF) は生のスコアを無視し、位置を結合します。各ドキュメントは各リストから 1 / (k + 順位) を取得し、通常は k = 60 で、合計が合計されます。

def rrf(*lists, k=60):
    scores = {}
    for ranking in lists:
        for rank, doc in enumerate(ranking, 1):
            scores[doc] = scores.get(doc, 0) + 1 / (k + rank)
    return sorted(scores.items(), key=lambda x: -x[1])

「ログインパスワードを忘れた」というクエリでは、BM25 は d6、d1、d3 にランク付けされました。私たちはこれを、意味ベースのモデルがおそらく与える順序である d1、d5、d3 の例示的な意味ランクと組み合わせました。それは実際の埋め込みモデルからではなく、手作りでした。次に、RRF は d1 を 1 位 (0.0325) にランク付けし、次に d3、d6、および d5 をランク付けしました。有益なリセット記事が両方のリストで上位にランクされたためトップに浮上しましたが、BM25 だけが気に入ったスパム ページは後退しました。実際のシステムでは、両方の検索を並行して実行し、上位 50 または 100 の結果を結合します。

実践中のBM25

  • 検索エンジン: Elasticsearch と OpenSearch は、テキスト フィールドにデフォルトで BM25 を使用します。
  • データベース: SQLite FTS5 には bm25() ランキング関数が組み込まれています。 PostgreSQL の組み込みの全文ランキングでは別の計算式が使用されており、BM25 には拡張機能が必要です (ここではどちらも実行しませんでした)。
  • Python: rank_bm25 などのライブラリがプロトタイプ用に実装します。
  • RAG パイプライン: 同じチャンクに対するベクトル取得と並行して BM25 を使用します。 RAG チャンキング戦略テストが示したように、チャンク方法は両方にとって重要です。

取得がシステム全体のどこに該当するかを確認するには、RAG とは何かに関するガイドとベクター データベース ガイドを参照してください。

まとめ

BM25 が何十年も続いているのは、シンプルで高速であり、繰り返しやパディングに抵抗しながら、稀な特定の一致に報酬を与えるという機能に非常に優れているためです。私たちのテストでは、両方の側面が明確に示されました。正確なエラー コードを特定し、スパム ページを上回りましたが、自然な言い換えに対しては何も返されませんでした。精度を高めるために BM25 を維持し、意味を求めるベクトル検索を追加し、RRF と融合して、実際のユーザーのクエリに対してすべての変更を判断します。

よくある質問

BM25とは簡単に言うと何ですか?

BM25はキーワードランキング式です。まれなクエリ単語が含まれ、それが妥当な回数繰り返され、無関係なテキストが埋め込まれていないドキュメントのスコアは高くなります。

BM25 の k1 と b は何を意味しますか?

k1 は、繰り返される単語がスコアの追加を停止する速度を制御します (通常は 1.2)。 b は、どのくらい長いドキュメントにペナルティを課すかを制御します。通常は 0.75 で、0 は長さの正規化をオフにします。

BM25 はベクトル検索よりも優れていますか?

どこでもどちらが良いというわけではありません。 BM25 は正確な単語、コード、名前に優れ、ベクトル検索は意味や言い換えを処理します。通常、両方を組み合わせたハイブリッド検索が最高のパフォーマンスを発揮します。

相互ランク融合とは何ですか?

スコアではなく順位によってランク付けされたリストをマージする方法。各ドキュメントは、k で割った 1 に各リスト内のランクを加えたものを取得し、合計が加算され、合計が最も高いものが最初にランク付けされます。

Elasticsearch は BM25 を使用しますか?

はい。 BM25 は、Elasticsearch、OpenSearch、および Apache Lucene のテキスト フィールドのデフォルトの類似性です。

学び続ける

Stack Quoraと連携する

テスト、WordPress、または SEO についてサポートが必要ですか?

私たちは、チームがより優れたソフトウェアを出荷し、サイトを成長させるのを支援します。あなたが取り組んでいることを教えてください。明確な次のステップを提案します。

読み続けてください

詳しいガイドはこちら テスト、AI、最新の開発

この記事は気に入りましたか?トピックを選択して、最新のチュートリアルに直接アクセスしてください。

人工知能

BM25 の説明: Python コードとハイブリッド検索を使用してキーワード検索で結果をランク付けする方法

BM25 は、私たちが実行した純粋な Python 実装を使って説明しました。数式、IDF、用語飽和、k1 および b パラメーター、生の単語数を超える理由、失敗する場所、および相互ランク融合によるハイブリッド検索がどのようにそれを修正するかについて説明しました。

記事を読む →
ソフトウェア開発

HTTP メソッドの説明: GET、POST、PUT、PATCH、DELETE、ライブサーバーでテスト済み

私たちが実行した小規模サーバーで説明した HTTP メソッド: GET、POST、PUT、PATCH、DELETE、HEAD および OPTIONS、安全かべき等か、PUT か PATCH、それぞれが返すステータス コード、405 エラー、および API 設計のためのチートシート。

記事を読む →
DevOps

Git Bisect の説明: コードを壊したコミットを手動または自動で見つける

Git bisect について、テスト済みのリポジトリを使って説明します。5 回のテスト実行中 41 件の中から 1 つの悪いコミットを見つけ、git bisect run で自動化し、終了コード 125 でテスト不可能なコミットをスキップし、カスタム用語を使用して安全にクリーンアップします。

記事を読む →
テスト自動化

pytest マーカーの説明: カスタム マーク、skip、skipif、xfail、および -m フィルター

pytest マーカーをテスト済みスイートで説明します。カスタム マークを登録し、-m でスモーク テストのみを実行し、and または not でフィルターを組み合わせ、skip、skipif、xfail を正しく使用し、–strict-markers でマーカーのタイプミスを停止します。

記事を読む →
ソフトウェアテスト

陽性テストと陰性テスト: 違い、24 の実際のテスト ケース、およびチェックリスト

実際のサインアップ フォームで説明される陽性テストと陰性テスト: pytest で実行される 6 つの陽性テスト ケースと 18 の陰性テスト ケース、陰性テストでキャッチされた欠落ガード、比較表、テクニック、チェックリスト。

記事を読む →
データベースとSQL

SQL ORDER BY 複数列: ASC、DESC、NULLS LAST、Case および Custom Order

テストされたクエリで説明された複数の列を含む SQL ORDER BY: ASC と DESC の混合、タイ ブレーカー、NULL FIRST と LAST、大文字と小文字を区別しない並べ替え、CASE を使用したカスタム順序、テキストとして保存された数値とインデックスの使用。

記事を読む →
データベースとSQL

SQL 累計: SUM OVER、グループごとの合計、移動合計、および RANGE トラップ

SUM() OVER を使用して SQL 現在の合計を計算する方法: グループごとの合計、毎日の累積合計、移動合計、合計のパーセント、RANGE 対 ROWS タイ トラップ、NULL、および古いサブクエリ メソッドに対する 360 倍の速度テスト。

記事を読む →
ソフトウェア開発

JavaScript 配列の並べ替え: 数値、オブジェクト、文字列、および 10 が 5 の前に来る理由

JavaScript で配列を正しくソートする方法: 比較関数を使用した数値、1 つ以上のフィールドによるオブジェクト、localeCompare を使用した文字列、日付、自然ソート、toSorted、安定性と速度、すべて Node 24 でテスト済み。

記事を読む →
人工知能

RAG チャンキング戦略の説明: 固定、オーバーラップ、センテンス、再帰および見出し、測定

tiktoken 0.14 を使用した 1 つのドキュメントでの RAG チャンク戦略の比較: 固定サイズ、オーバーラップ、センテンス パッキング、再帰的分割、見出しベースのチャンク、分割ファクト、孤立見出し、ストレージ コストの測定。

記事を読む →
ソフトウェア開発

API 冪等性の説明: 冪等性キーと安全な再試行、テスト済み

API 冪等性は、私たちが実行した Python サーバーとクライアントで説明されました。応答が失われたため、キーなしでは二重請求、キーありでは単一請求が発生し、さらにキーの再利用、同時再試行、ストレージ ルールが発生しました。

記事を読む →
DevOps

Git Stash の説明: 保存、適用、ポップ、および追跡されていないファイルのテスト済み

Git stash について、Git 2.56 で実行したコマンドを使用して説明しました。メッセージ付きのプッシュ、追跡されていないファイル、リストと表示、適用とポップ、インデックスの保持、競合、スタッシュ ブランチ、ドロップとクリアです。

記事を読む →
ソフトウェアテスト

ペアごとのテストの説明: オールペアによって 216 個のテストが 13 個に削減される方法 (テスト済み)

ペアワイズ テストについては、Python 3.13 で実行したジェネレーターで説明しました。13 のテストでカバーされる 216 の組み合わせのチェックアウト、検証済みのカバレッジ、より大きな例、およびペアワイズで見逃される可能性がある 3 方向のバグです。

記事を読む →
テスト自動化

テストダブルの説明: ダミー、スタブ、スパイ、モック、フェイク、テスト済みの Python コード

テスト ダブルについて、pytest 9.2 で実行される Python の例 (ダミー、スタブ、スパイ、モック、フェイク)、それぞれをいつ使用するか、状態と動作のチェック、およびプレーン モックが隠したバグを autospec がどのようにキャッチするかを説明します。

記事を読む →
データベースとSQL

SQL COALESCE の説明: デフォルト、NULLIF、IFNULL と ISNULL およびトラップ、テスト済み

SQL COALESCE では、SQLite 3.50 で実行したクエリ、つまり最初の非 null 値、空の文字列、数学における NULL、ゼロ除算の NULLIF、集計、LEFT JOIN ギャップ、IFNULL と ISNULL について説明しました。

記事を読む →
データベースとSQL

SQL 自己結合の説明: 従業員とマネージャー、ペアと行の比較、テスト済み

SQL 自己結合については、SQLite 3.50 で実行したクエリで説明しました。従業員とマネージャー、マネージャー以上の収入、一意のペア、日々の変化、2 ホップ チェーン、インデックス作成です。

記事を読む →
ソフトウェア開発

JavaScript スプレッド演算子の説明: スプレッドと残り、コピーと落とし穴、テスト済み

JavaScript スプレッド演算子については、ノード 24 で実行したコード (配列、オブジェクト、浅いコピー、残りのパラメーター、Math.max 制限、reduce のパフォーマンス トラップ) で説明しました。

記事を読む →
ソフトウェア開発

Python コレクション モジュールの説明: Counter、defaultdict、deque など、テスト済み

Python コレクションは、Python 3.13 で実行したコード (Counter、defaultdict、deque、namedtuple、OrderedDict、ChainMap) を使用して説明されています。さらに、list と deque のタイミングとチートシートも含まれています。

記事を読む →
人工知能

LLM コンテキスト ウィンドウの説明: トークン、制限、およびさらに適合させる方法、測定

LLM コンテキスト ウィンドウは、tiktoken を使用して測定したトークン数で説明されています。散文、コード、ヒンディー語の単語とトークン、入出力の予算、チャット履歴のトリミング、RAG のチャンク化とコストです。

記事を読む →
ソフトウェア開発

Webhook の説明: Webhook の仕組みと安全に受信する方法

Webhook について、Python で実行した受信側と送信側で説明しました。プッシュとポーリング、HMAC-SHA256 署名、改ざんおよび再実行されたリクエストの拒否、バックオフによる再試行、冪等性、およびテストのヒントです。

記事を読む →
DevOps

Git Cherry-Pick の説明: 必要なコミットを安全にコピーし、テスト済み

Git チェリーピックでは、Git 2.56 で実行したコマンド、つまりリリース ブランチへのホットフィックスのコピー、新しいハッシュとパッチ ID、-x、-n、コミット範囲、競合、–abort、–skip、およびその後のマージについて説明しました。

記事を読む →
テスト自動化

スナップショット テストの説明: 仕組み、役立つ場合と問題となる場合

スナップショットのテストについては、私たちが実行した pytest と syrupy のデモで説明しました。スナップショットの作成、コード変更後の diff の読み取り、タイムスタンプのマスク、安全な更新、スナップショットが役立つ場合と有害な場合について説明しました。

記事を読む →
ソフトウェアテスト

突然変異テストの説明: 100% のカバー率でもバグを見逃す理由

ミューテーション テストについては、私たちが構築して実行した小さなミューテーション ツールで説明しました。14 個のミュータント、79% のスコアを獲得した 100% のライン カバレッジのテスト スイート、100% に達した境界テスト、さらにツール、コスト、CI ヒントです。

記事を読む →
人工知能

プロンプト インジェクションの説明: AI アプリがどのように騙されるのか、そしてどのように防御するのか

ビルダー向けに説明されたプロンプト インジェクション: 直接攻撃と間接攻撃、キーワード フィルターが失敗する理由 (テストでは 4 つのうち 1 つがブロックされました)、最小権限、ツール許可リスト、出力チェックなどの多層防御。

記事を読む →
DevOps

DNS レコードの説明: A、AAAA、CNAME、MX、TXT、TTL と実際のルックアップ

DNS レコードは、実行したルックアップで説明されています。解決の仕組み、A と AAAA、CNAME ルール、MX と null MX、SPF と検証のための TXT、NS、TTL とキャッシュ、安全な DNS 変更です。

記事を読む →
DevOps

機能フラグの説明: 安全なリリース、段階的なロールアウト、およびフラグの衛生状態

私たちが実行したロールアウト シミュレーションで説明された機能フラグ: フラグの種類、安定したハッシュを使用したパーセンテージ ロールアウト、キル スイッチ、許可リスト、両方のパスのテスト、フラグの負債とベスト プラクティス。

記事を読む →
テスト自動化

Python Faker を使用したテストデータ生成: 現実的で再現性のある安全なデータ

Python Faker でデータ生成をテストし、実行して測定します。再現可能なデータ、ロケール、一意の値、ドメイン形状のレコード、Faker がミスするエッジ ケースのシード、本番データと速度のマスキング。

記事を読む →
ソフトウェアテスト

シフトレフト テストの説明: チームの作業を遅らせることなくバグを早期に発見する

シフトレフト テストについて説明しました。その意味、初期不良の方が安い理由、要件レビューから CI チェックまでの実践、テスターの役割の変化、シフトライト、メトリクス、展開計画について説明します。

記事を読む →
データベースとSQL

SQL 文字列関数の説明: TRIM、SUBSTR、REPLACE、CONCAT、およびデータ クリーンアップ

SQL 文字列関数を実行したクエリとともに説明しました。連結と NULL、TRIM、UPPER と LOWER、SUBSTR と INSTR、REPLACE、パディング、Unicode 長さ、乱雑なデータのクリーニング、方言の違いなどです。

記事を読む →
データベースとSQL

SQL トリガーの説明: BEFORE トリガーと AFTER トリガー、監査ログ、および落とし穴

SQL トリガーについて、実行したトリガーを使用して説明します: BEFORE と AFTER、OLD と NEW、監査ログ、検証、ストック更新、WHEN 条件、ロールバック、方言の違い、およびそれらを回避するタイミング。

記事を読む →
ソフトウェア開発

Python JSON モジュールの説明: ダンプ、ロード、カスタム タイプ、および一般的なエラー

Python JSON モジュールでは、ダンプとロード、ファイル、型変換、日付と小数点、カスタム エンコーダー、object_hook、float 精度、解析エラー、JSON 行など、実行したコードを使用して説明しました。

記事を読む →
ソフトウェア開発

ES モジュールと CommonJS: Node.js での JavaScript インポートの動作 (テスト済み)

ES モジュールと CommonJS について、Node.js で実行したコード (インポートおよびエクスポート構文、require、ライブ バインディング、キャッシュ、トップレベルの待機、動的インポート、ファイル拡張子、相互運用) を使用して説明しました。

記事を読む →
ソフトウェア開発

Python 正規表現の説明: パターン、グループ、先読みと落とし穴、テスト済み

Python 正規表現は、検索と一致、findall、グループと名前付きグループ、貪欲と遅延、サブ、先読み、フラグ、Unicode のサプライズ、壊滅的なバックトラッキングなど、実行したパターンで説明しました。

記事を読む →
人工知能

LLM 構造化出力の説明: AI モデルから信頼性の高い JSON を取得する

LLM 構造化出力は、Pydantic で実行した検証とともに説明されています。JSON モードとスキーマ、制約付きデコード、モデル出力が中断される方法、再試行ループ、セマンティック チェックです。

記事を読む →
DevOps

SSH キーの説明: 仕組み、ssh-keygen、Ed25519、および安全な習慣

SSH キーについて、私たちが生成したキーとともに説明しました: 公開キーと秘密キー、ssh-keygen、Ed25519 と RSA、指紋、パスフレーズ、ssh-agent、authorized_keys、構成ファイル、GitHub、およびキーの衛生状態。

記事を読む →
DevOps

HTTP キャッシュの説明: ライブ テストによるキャッシュ制御、ETag、および 304 レスポンス

HTTP キャッシュについて、私たちが実行した小規模サーバーで説明しました。キャッシュ制御ディレクティブ、最大有効期間、キャッシュなしとストアなし、ETag の再検証と 304 応答、CDN、キャッシュ無効化とヘッダーのテストです。

記事を読む →
テスト自動化

API コントラクトのテストの説明: 重大な変更を出荷前に把握する

API contract testing explained with a schema check we ran: what a contract is, consumer-driven contracts, Pact, OpenAPI, which changes break consume…

記事を読む →
ソフトウェアテスト

リスクベースのテストの説明: リスクをスコアリングし、マトリックスを構築し、重要なものをテストする

リスクベースのテストについて段階的に説明します。リスクの特定、可能性と影響のスコアリング、リスク マトリックスの構築、テストの深さへのリスクのマッピング、実際の例とよくある間違いです。

記事を読む →
データベースとSQL

SQL 制約の説明: NOT NULL、UNIQUE、CHECK、および FOREIGN KEY、テスト済み

SQL 制約について、実行したテストで説明しました。NOT NULL、UNIQUE、CHECK、DEFAULT、PRIMARY、FOREIGN KEY、NULL の抜け穴、SQLite の外部キー設定、名前付け制約とそれらのテストです。

記事を読む →
データベースとSQL

SQL 日付関数の説明: バグのない日付の追加、比較、グループ化

SQL の日付関数を、実行したクエリで説明しました。間隔の追加、月末のサプライズ、日付の違い、BETWEEN トラップ、日別のグループ化、タイム ゾーン、インデックス、方言の違いなどです。

記事を読む →
ソフトウェア開発

Python asyncio の説明: リアル タイミングでの async、await、gather、および TaskGroup

Python asyncio は、コルーチン、await、gather、TaskGroup、エラー処理、タイムアウト、同時実行の制限、パフォーマンスを損なうブロッキングコールの間違いなど、時間を測定したコードで説明しました。

記事を読む →
ソフトウェア開発

JavaScript におけるデバウンスとスロットル: それぞれの仕組み、いつ使用するか、テスト済み

JavaScript でのデバウンスとスロットルについて、Node.js で測定したタイミングを使用して説明します。それぞれの仕組み、単純な実装、先頭と末尾の呼び出し、実際の使用例とテストです。

記事を読む →
ソフトウェア開発

Python コンテキスト マネージャーの説明: with ステートメント、contextlib、および実際の使用法

Python コンテキスト マネージャーは、実行したコードを使用して説明しました。仕組み、__enter__ と __exit__、contextlib.contextmanager、suppress、ExitStack、データベース トランザクション、およびよくある間違いについて説明しました。

記事を読む →
人工知能

LLM 温度と Top-p の説明: AI モデルが次の単語を選択する方法

LLM 温度と top-p は、私たちが実行したシミュレーションで説明しました。確率がどのように再形成されるか、top-p が保持するもの、タスク別の推奨設定、決定論、AI 機能のテストです。

記事を読む →
DevOps

YAML の説明: 構文、ノルウェー問題、テストしたその他の罠

YAML は、基本構文、リストとマップ、ノルウェー問題、浮動小数点数に変換されるバージョン、8 進郵便番号、60 進数、アンカー、複数行テキスト、安全な読み込みなどのパーサー テストで説明されています。

記事を読む →
DevOps

Cron ジョブの説明: 構文、実際のスケジュール、およびそれらを壊す間違い

Cron ジョブは、検証したスケジュールとともに説明されています。5 つのフィールド、演算子、実際の例、月日または曜日のトラップ、環境の問題、ロギング、重複、タイム ゾーンです。

記事を読む →
人工知能

AI 幻覚の説明: 言語モデルが物事をでっち上げる理由とそれを軽減する方法

AI 幻覚について説明しました。幻覚とは何か、言語モデルが幻覚を生成する理由、一般的な種類、グラウンディングとプロンプトで幻覚を軽減する方法、そして私たちが実行した簡単なチェックです。

記事を読む →
DevOps

環境変数の説明: .env ファイル、シークレット、および設定が正しく行われている

実行した Python の例を使用して環境変数について説明します。環境変数の読み取りと設定、すべての値が文字列である理由、.env ファイル、プロセスの継承、シークレット、検証について説明します。

記事を読む →
ソフトウェア開発

API レート制限の説明: アルゴリズム、ヘッダー、および 429 エラーの処理

API レート制限については、実行したシミュレーションで説明します。トークン バケット、固定ウィンドウ、スライディング ウィンドウ、429 応答、レート制限ヘッダー、バックオフによる再試行、およびテスト制限です。

記事を読む →
テスト自動化

Python でのモッキング:unittest.mock、patch、およびテストを嘘にする間違い

Python でのunittest.mockによるモック、テスト済み: モックとreturn_value、side_effect、名前が使用されている場所のパッチ、仕様と自動仕様、日付のモック、およびよくある間違い。

記事を読む →
ソフトウェアテスト

コードカバレッジの説明: 回線カバレッジとブランチカバレッジ、および 100% の実際の意味

実際のcoverage.pyの実行でコードカバレッジを説明: 行、分岐、条件のカバレッジ、レポートの読み取り、100%のカバレッジでもバグを見逃す可能性がある理由、および賢明なターゲット。

記事を読む →
データベースとSQL

SQL における DELETE、TRUNCATE、DROP: 違い、ロールバック、およびそれぞれをいつ使用するか

DELETE、TRUNCATE、DROP について、テスト済み SQL を使用して説明します。それぞれの削除内容、ロールバック、トリガー、ID リセット、速度、PostgreSQL、MySQL、SQL Server、SQLite の違いについて説明します。

記事を読む →
データベースとSQL

SQL ビューの説明: 作成、使用、落とし穴の回避、例を示します

SQL ビューについて、実行したクエリとともに説明しました。ビューの作成、ライブ結果、列の非表示、パフォーマンス、更新可能なビューと具体化されたビュー、壊れた依存関係、ベスト プラクティスについて説明します。

記事を読む →
ソフトウェア開発

TypeScript インターフェイスと型: 実際の違い、コンパイラでテスト

TypeScript インターフェイスと型、実際のコンパイラでチェック: 両方でできること、片方だけでできること、宣言のマージ、拡張と交差、および従うべき簡単なルール。

記事を読む →
ソフトウェア開発

Python *args と **kwargs の説明: 柔軟な関数と明確な例

Python の *args と **kwargs について、実行したコードで説明しました。パッキングとアンパッキング、パラメーターの順序、キーワードのみの引数と位置のみの引数、デコレーター、一般的なエラーです。

記事を読む →
ソフトウェア開発

Python Lambda 関数: 構文、実際の用途、および使用すべきでない場合

Python のラムダ関数について、実行したコードとともに説明します。構文、キーによるソート、マップとフィルター、クロージャー、遅延バインディング トラップ、通常の def がより適切な選択である場合。

記事を読む →
人工知能

AIエージェントとは何ですか?シンプルなエージェント ループを実行できる仕組み

AIエージェントとは何ですか?エージェント ループ、ツール、メモリ、ガードレール、実行した小さな Python ループ、実際のリスク、およびシンプルなチャットボットがより良い選択である場合についてのわかりやすいガイドです。

記事を読む →
DevOps

モニタリングと可観測性: ログ、メトリクス、トレースによる本当の違い

モニタリングと可観測性について説明: 既知および未知の障害、ログ、メトリクスとトレース、チェックアウト インシデントのウォークスルー、ゴールデン シグナル、OpenTelemetry、および便利なアラート。

記事を読む →
DevOps

Docker ボリュームとバインド マウント: コンテナ データを正しい方法で保持する

Docker ボリュームとバインド マウントについて説明します。コンテナ データが消える理由、名前付きボリューム、バインド マウント、tmpfs、Compose の例、バックアップ、アクセス許可、およびそれぞれをいつ使用するかについて説明します。

記事を読む →
テスト自動化

TDD と BDD: 主な違い、1 つの機能が両方の方法で構築され、それぞれをいつ使用するか

TDD と BDD は、両方の方法で構築された 1 つの割引機能で説明されています。実行したコードによるレッド-グリーン-リファクタリング、Given-When-Then シナリオ、ツール、トレードオフ、およびそれぞれをいつ使用するかです。

記事を読む →
ソフトウェアテスト

ユーザー受け入れテスト (UAT): プロセス、チェックリスト、および実際の例

ユーザー受け入れテストの説明: 誰が実行するか、QA との違い、7 段階のプロセス、UAT テスト ケース テンプレート、チェックリスト、サインオフ基準、およびよくある間違い。

記事を読む →
データベースとSQL

SQL NULL 値の説明: IS NULL、COALESCE、NULLIF、および回避すべきトラップ

SQL の NULL 値について、実行したクエリで説明しました。3 つの値のロジック、IS NULL、COALESCE、NULLIF、集計、結合、並べ替えでの NULL の扱い方、およびそれが密かに引き起こすバグです。

記事を読む →
データベースとSQL

SQL CASE WHEN ステートメント: 構文、実際の例、およびよくある間違い

SQL CASE WHEN では、単純な検索フォーム、条件順序、SUM を使用したピボット、COUNT トリック、カスタム並べ替え、更新、回避すべき NULL トラップなど、実行したクエリを使用して説明しました。

記事を読む →
ソフトウェア開発

JWTとは何ですか? JSON Web トークンを実際の例で説明する

JWTとは何ですか? JSON Web トークンについて説明しました。3 つの部分、実行したコード内で構築および改ざんされたトークン、JWT とセッション、ストレージ、リフレッシュ トークン、およびセキュリティ上の間違いです。

記事を読む →
ソフトウェア開発

JavaScript イベントループの説明: コールスタック、マイクロタスク、タイマーと例

JavaScript イベント ループについて、実行したコードで説明しました。コール スタック、タスク キュー、マイクロタスク キュー、setTimeout 0 が即時ではない理由、ブロッキング、スターベーション、およびインタビュー クイズです。

記事を読む →
ソフトウェア開発

Python ジェネレーターと収量の説明: 実際の例でメモリを節約する

Python ジェネレーターと Yield について、実行したコードを使用して説明します。一時停止と再開の方法、メモリ節約の測定、パイプライン、無限シーケンス、Yield from、send、および一般的なトラップについて説明します。

記事を読む →
人工知能

埋め込みとは何ですか?ベクトルとコサインの類似度を簡単に説明

埋め込みとは何ですか?ベクトル、コサイン類似度、セマンティック検索に関する平易なガイド。私たちが実行した小さな例、一般的な使用法、モデルの選択、既知の制限が含まれています。

記事を読む →
DevOps

Blue-Green デプロイメントと Canary デプロイメント: 違い、トレードオフ、および選択方法

ブルー グリーン デプロイメントとカナリア デプロイメントについて説明: それぞれの仕組み、コスト、リスクとロールバック、テストした安定したユーザー バケット化、データベース移行、ローリング アップデート、および選択方法。

記事を読む →
テスト自動化

不安定なテスト: 問題の原因とそれを永久に修正する方法

不安定なテストについては、私たちが実行したデモを使用して説明しました。主な原因、確認および診断する方法、タイミングの適切な修正、共有された状態と日付、隔離プロセスなどです。

記事を読む →
ソフトウェアテスト

負荷テストとストレス テスト: 違い、メトリクス、および k6 の例

ロード テストとストレス テストについて説明します。それぞれが何を証明するか、スパイク テストとソーク テスト、重要な指標、平均値が誤解を招く理由、K6 の例、テストの計画方法について説明します。

記事を読む →
ソフトウェアテスト

テスト ケースとテスト シナリオ: 主な違い、例、およびそれぞれをいつ使用するか

テスト ケースとテスト シナリオの説明: 明確な定義、並べて表、シナリオからケースへの 1 つのパスワード リセット機能、テンプレート、およびそれぞれをいつ使用するか。

記事を読む →
データベースとSQL

SQL クエリの最適化: 実行プランを読み取り、タイミングを考慮して遅いクエリを修正

SQL クエリの最適化は 100 万行でテストされています。実行プランの読み取り、適切なインデックスの追加、検索対象外のフィルターの修正、複合インデックスとキーセットのページネーションの使用。

記事を読む →
データベースとSQL

SQL UNION と UNION ALL: 違い、例、テストされたパフォーマンス

SQL UNION と UNION ALL について、実行したクエリで説明しました。重複、両方に従うルール、実際のデータのバグ、測定されたパフォーマンス、INTERSECT と EXCEPT、およびそれぞれをいつ使用するかについて説明します。

記事を読む →
ソフトウェア開発

JavaScript Fetch API チュートリアル: GET、POST、エラー処理、タイムアウト

ローカル サーバーに対してテストされた JavaScript Fetch API チュートリアル: GET と POST、404 がスローされない理由、再利用可能なヘルパー、クエリ文字列、タイムアウト、CORS、およびよくある間違い。

記事を読む →
ソフトウェア開発

Python ファイル処理: 読み取り、書き込み、CSV、JSON、パスライブラリと例

Python のファイル処理について、実行したコードで説明します。オープン モード、大きいファイルの読み取り、CSV、JSON、パスライブラリ、バイナリ ファイル、安全な書き込み、エラー処理、およびよくある間違いについて説明します。

記事を読む →
ソフトウェア開発

Python のクラスとオブジェクト: 実際の例を含む OOP チュートリアル

Python のクラスとオブジェクトについて、実行したコードとともに説明します: __init__、メソッド、クラスとインスタンスの属性、継承、プロパティ、ダンダー メソッド、データクラス、およびよくある間違い。

記事を読む →
人工知能

大規模言語モデルとは何ですか? LLM の仕組みを誇大広告なしで説明

大規模言語モデルとは何ですか? LLM は、トークン、エンベディング、アテンション、トレーニング、温度およびコンテキスト ウィンドウ、小さな次の単語のデモ、実際の制限など、平易な言葉で説明されています。

記事を読む →
DevOps

初心者のための Linux コマンド: 例を含む基本ターミナル ガイド

初心者向けの Linux コマンド。ナビゲーション、ファイル、ログの表示、grep、パイプ、権限、プロセス、アーカイブなどのタスク別にグループ化されており、実用的なログ分析の例も含まれています。

記事を読む →
テスト自動化

Selenium と Playwright: 主な違い、コードの比較、どちらを選択するか

Selenium と Playwright の比較: アーキテクチャ、待機、ブラウザと言語のサポート、デバッグ、両方のツールでの同じテスト、移行のアドバイスと選択方法。

記事を読む →
ソフトウェアテスト

等価性分割: テスト設計手法を実際の例で説明

等価性パーティション化について説明しました。有効なパーティションと無効なパーティションを見つける方法、年齢、パスワード、クーポンに関する実際の例、実行したテスト、境界と組み合わせる理由。

記事を読む →
ソフトウェアテスト

ソフトウェアテストにおける重大度と優先度: 相違点、マトリックス、および実際の例

ソフトウェア テストにおける重大度と優先度について説明します。明確な定義、例を含む 4 方向のマトリックス、レベル スケール、それぞれの設定者、バグ トリアージの実行方法。

記事を読む →
データベースとSQL

SQL サブクエリのチュートリアル: 型、相関サブクエリ、および EXISTS と例

実行したクエリを含む SQL サブクエリのチュートリアル: スカラー、IN、FROM、SELECT サブクエリ、相関サブクエリ、EXISTS、NOT IN NULL トラップ、サブクエリ対 JOIN 対 CTE。

記事を読む →
データベースとSQL

SQL トランザクションと ACID の説明: COMMIT、ROLLBACK、分離レベル

SQL トランザクションと ACID について、実行した銀行振込で説明しました。COMMIT、ROLLBACK、セーブポイント、ロック、分離レベル、ダーティ リード、デッドロック、ベスト プラクティスについて説明します。

記事を読む →
ソフトウェア開発

Git コマンドのチートシート: 実際に使用するコマンドと例

実際のデモ リポジトリからの出力を含む、タスク別にグループ化された Git コマンド チート シート (セットアップ、ステージング、ブランチ、リモート、スタッシュ、履歴、間違いの取り消し)。

記事を読む →
ソフトウェア開発

JavaScript Promise の説明: then、catch、Promise.all、およびよくある間違い

JavaScript の Promise を、実行したコードで説明します。ステート、then および catch チェーン、エラー処理、Promise.all、allSettled、race および any、イベント ループ、およびよくある間違いです。

記事を読む →
ソフトウェア開発

Python 辞書チュートリアル: メソッド、例、一般的なパターン

私たちが実行したコードを含む Python 辞書チュートリアル: 辞書の作成、読み取り、更新、主要なメソッド、マージ、内包表記、パターンのカウントとグループ化、およびよくある間違い。

記事を読む →
人工知能

RAGとは何ですか?検索拡張生成を実際の例で説明する

RAGとは何ですか?検索拡張生成について、インデックス作成、チャンク化、埋め込み、検索、実際に動作する小さな Python の例、評価、一般的な失敗など、ステップごとに説明します。

記事を読む →
DevOps

初心者向け Terraform チュートリアル: 最初のファイルからモジュールまでのコードとしてのインフラストラクチャ

初心者向けの Terraform チュートリアル: クラウド アカウントなしで開始し、初期化、計画、適用を学び、次に変数、出力、状態、モジュール、安全なチーム ワークフローを学びます。

記事を読む →
DevOps

Docker と Kubernetes: 主な違い、連携方法、どちらが必要か

Docker と Kubernetes について説明しました。それぞれの機能、同じアプリを両方で実行すること、Docker Compose と Swarm の比較、dockershim の変更、必要なものを決定する方法などです。

記事を読む →
テスト自動化

初心者向けの Pytest チュートリアル: フィクスチャ、パラメータ化、実際の例

pytest 9.2 で実行したテストを含む初心者向けの pytest チュートリアル: アサーション、フィクスチャ、parametrize、conftest、マーカー、tmp_path、monkeypatch、便利なフラグ、CI。

記事を読む →
ソフトウェアテスト

ソフトウェア テスト ライフ サイクル (STLC): 6 つのフェーズ、開始基準と終了基準、例

ソフトウェア テストのライフ サイクルについては、開始基準と終了基準を含む 6 つの STLC フェーズ、成果物、実際に動作するログイン機能の例、STLC と SDLC、およびアジャイルにおける STLC について説明しました。

記事を読む →
ソフトウェア開発

Git mergeとrebaseの違い:例と使い分け

Git mergeとrebaseの違いを、実際のログ出力、比較表、rebaseの黄金律、安全なチームワークフローで解説します。

記事を読む →
ソフトウェア開発

Pythonのリスト内包表記:構文・例・使うべきでない場面

Pythonのリスト内包表記を解説:構文、フィルタ、if-else、ネストしたループ、実測した処理時間、そして通常のforループの方が良い場面。

記事を読む →
データベースとSQL

SQL JOINを例で解説(Inner・Left・Right・Full)

サンプルのテーブルとクエリでSQL JOINを順に解説。INNER、LEFT、RIGHT、FULL、CROSS、SELFに加え、よくある間違いとパフォーマンスのコツも紹介します。

記事を読む →