RAG チャンキング戦略の説明: 固定、オーバーラップ、センテンス、再帰および見出し、測定

  1. ホーム
  2. ブログ
  3. 人工知能

人工知能

RAG チャンキング戦略の説明: 固定、オーバーラップ、センテンス、再帰および見出し、測定済み

RAG チャンキング戦略は、ドキュメントが埋め込まれて取得される前に、ドキュメントがどのように断片に分割されるかを決定します。私たちは同じポリシー文書を 5 つの方法で分割し、それぞれの方法で何が壊れるかを測定しました。つまり、事実が半分にカットされ、見出しがテキストから分離され、追加のトークンが保存されました。

読了目安9分
RAG チャンキング戦略の説明と測定

ポイント

  • RAG チャンキング戦略 は、意味をそのままに保つことと引き換えに、単純さを犠牲にします。私たちのテストでは、すべての測定において単一の方法が勝ったということはありません。
  • 100 トークンの単純な固定サイズのチャンクでは、「払い戻しは | 5 営業日以内に行われる」という 8 つの重要な事実のうちの 1 つが半分になります。
  • 20 個のオーバーラップ トークンによりその事実は救われましたが、保存されるトークンは 445 個ではなく 545 個となり、約 22% 多くなりました。
  • 再帰的分割により、すべての文は完全に保たれましたが、next セクションの見出しで終わる 6 つのチャンクのうち 4 つが残りました。

検索拡張生成 (RAG) は、ドキュメントの最も関連性の高い部分を見つけて言語モデルに渡すことによって機能します。これらの部分は チャンク であり、それらをどのようにカットするかによって、モデルに何が表示されるかが決まります。 2 つのチャンクに分割されたファクトを全体として取得することはできません。段落から見出しが切り取られると、チャンクが曖昧になってしまいます。 RAG チャンキング戦略の中から選択することは、回答の品質を向上させる最も安価な方法の 1 つです。

私たちは 5 つの一般的な戦略を Python 3.13 に実装し、OpenAI の tiktoken 0.14.0 で o200k_base エンコーディングを使用してトークンをカウントしました。以下のすべての数字はその実行からのものです。 RAG 自体が初めての場合は、まず RAG ガイド をお読みください。

RAG のチャンキングとは何ですか?

チャンク化は、ソース ドキュメントを 埋め込み に変換してベクター データベースに保存する前に、ソース ドキュメントを小さなパッセージに分割するステップです。質問の際、システムは質問を埋め込み、最も近いチャンクを見つけてプロンプトに貼り付けます。各チャンクは 1 つの単位として取得または無視されます。

チャンクは、具体的でモデルの コンテキスト ウィンドウ にいくつか収まるほど小さく、完全な思考を伝えるのに十分な大きさでなければなりません。戦略ごとに、削減をどこに行うべきかについての答えは異なります。

チャンク化が重要な理由

  • 検索精度: 2 つのトピックを混合したチャンクは、両方に関する質問に一致しますが、どちらにもよく答えません。
  • 完全性: ルールとその例外が異なるチャンクにある場合、モデルはルールの半分しか認識しない可能性があります。
  • コスト: 重複しており、チャンクが大きいため、埋め込み、保存し、モデルに送信するトークンが多くなります。
  • 引用: クリーンなチャンクはセクションにきちんとマッピングされているため、回答の検証が容易になります。

私たちのテストセットアップ

私たちは、5 つのマークダウン セクション (返品、配送、保証、アカウント、支払い) とそれぞれ 2 つの段落からなる、架空のオンライン ショップ用の 368 ワードの顧客ポリシーを作成しました。トークンは445個になりました。 「ほとんどの商品は 30 日以内に返品する」や「代金引換の場合は最大 10,000 ルピー」など、サポート ボットが正しく答える必要がある 8 つの事実を選択しました。

各戦略では、チャンクあたり 100 トークンという目標を使用しましたが、これは短いドキュメントを強制的にカットするのに十分な小ささです。私たちが測定したすべての結果について:

  • チャンク、トークンの平均サイズと最大サイズ。
  • 保存されたトークン、すべてのチャンクの合計。重複コストを示します。
  • 文の途中でカット: 文の途中で終了するチャンク。
  • 孤立した見出し: テキストが次のチャンクにある見出しで終わるチャンク。
  • 完全な事実: 8 つの事実のうち、少なくとも 1 つのチャンクに完全に表示されるものがいくつあるか。

1. 固定サイズのチャンク

最も単純な方法は、トークンをカウントし、該当する N 個のトークンごとにカットします。

def fixed(size, overlap=0):
    ids = enc.encode(doc)
    step = size - overlap
    out = []
    for i in range(0, len(ids), step):
        out.append(enc.decode(ids[i:i + size]))
        if i + size >= len(ids):
            break
    return out

無駄なトークンを含まない 5 つのチャンクが生成されましたが、そのうち 3 つは文の途中で終了し、1 つは孤立した見出しで終了しました。さらに悪いことに、1 つの事実が真ん中で分割されていました。

chunk 1 ends:   "... print the prepaid label. Refunds are issued within"
chunk 2 starts: " 5 business days after the warehouse receives and checks the"

返金のタイミングに関する質問では、番号がまったく含まれていないチャンク 1 が取得される場合があります。固定サイズのチャンクは高速で予測可能なため、優れたベースラインになりますが、言語は完全に無視されます。

2. オーバーラップのある固定サイズ

オーバーラップでは、各チャンクの最後のいくつかのトークンが次のチャンクの開始時に繰り返されるため、カット近くのテキストが両方に表示されます。 20 個のトークン、つまり 20% の重複を使用しました。 8 つの事実すべてがどこかにそのまま残り、返金の事実も救出されました。コスト: 6 チャンクと、445 ではなく 545 の保存トークン。今回は 5 回、依然として文の途中でカットが行われ、テキストが重複しているため、2 つのほぼ同一のチャンクが他の結果を押し出してしまいます。オーバーラップは任意の切り傷にパッチを当てるものであり、治療法ではありません。

3. 文のパッキング

このメソッドはテキストを文に分割し、次の文が制限を超えるまで文全体を各チャンクに詰め込みます。

def sentence_pack(size):
    sents = [s for p in doc.split("\n\n") for s in sent_split(p) if s]
    out, cur = [], ""
    for s in sents:
        if cur and T(cur + " " + s) > size:
            out.append(cur)
            cur = s
        else:
            cur = (cur + " " + s).strip()
    return out + [cur]

生成されたチャンクは 5 つで、文の途中でカットはなく、8 つの事実がすべてそのままの状態で、440 個のトークンが保存されていました。見出し行は単なる短い文のように見えるため、2 つのチャンクはまだ孤立した見出しで終わっています。正規表現を使用した文の分割では、「e.g.」などの略語にもつまずきます。 spaCy や NLTK などのライブラリはこれをより適切に実行します。

4. 再帰的分割

LangChain などのフレームワークによって普及した再帰的分割では、最初に最大の自然区切り文字 (段落間の空行) を試し、それでも大きすぎる部分についてのみ、より小さい自然区切り文字 (改行、文、単語) に戻ります。私たち自身の実装も同じ考え方に従いました。

平均して最小のチャンク (74 トークン) で、すべての文が完全に保持され、8 つの事実がすべてそのまま保持されました。しかし、微妙な欠陥が明らかになりました。6 つのチャンクのうち 4 つが次のセクションの見出しで終わっていました。たとえば、1 つのチャンクは「…荷物を確認します。## Shipping」で終わりますが、配送ルールは次のチャンクにあります。見出しが間違ったテキストに付加されているため、「配送」に言及した質問の検索に誤解を招く可能性があります。

ヒント: 常にチャンクのサンプルを印刷して読み取ってください。私たちの孤立ヘディングの問題は平均では見えませんでしたが、6 つのチャンクを読み取った後には明らかでした。

5. 見出しベースのチャンク

構造化ドキュメントには独自の境界があります。 Markdown の見出しで分割すると、セクションごとに 1 つのチャンク、つまり 5 つのチャンクが得られ、文の途中でのカットや孤立した見出しはなく、すべての事実がそのまま残ります。各チャンクは独自の見出しで始まり、埋め込みに有用なコンテキストを提供します。

問題はサイズのコントロールです。 1 つのセクションでは、目標の 100 トークンを超える 113 トークンに達し、実際のドキュメントには 1 行から数ページにわたるセクションがあります。実際には、方法を組み合わせます。最初に見出しごとに分割し、次に大きすぎるセクション内で再帰的分割または文分割を適用し、各部分の先頭で見出しを繰り返します。

RAG チャンキング戦略の比較

戦略 チャンク 平均/最大トークン数 保存されたトークン 文の途中でカット 孤立した見出し 事実はそのまま
固定100 5 89 / 100 445 3 1 7/8
100 + 20 のオーバーラップを修正 6 91 / 100 545 5 0 8/8
文のパッキング 5 88 / 100 440 0 2 8/8
再帰的 6 74 / 84 441 0 4 8/8
見出しごとに 5 89 / 113 445 0 0 8/8

これは 1 つの短いドキュメントであるため、この表はベンチマークではなく障害モードの図として扱ってください。このパターンは依然として有益です。メソッドが文書自体の構造を尊重するほど、意味を破壊するカットが少なくなります。

セマンティックチャンキングについてはどうですか?

セマンティック チャンクでは、各文が埋め込まれ、隣接する文間の類似性の低下によって測定される意味が変化する新しいチャンクが開始されます。見出しは必要なく、平易な散文でトピックの変化を追うことができます。また、文ごとの埋め込み呼び出しにコストがかかり、RAG パイプライン全体を測定した場合に、より単純な方法に勝るかどうかについては、公開された比較で意見が分かれています。ここでは実行しませんでした。構造を意識したベースラインの後にのみ試して、自分自身の評価で利益が得られた場合にのみ続けてください。

チャンクサイズとオーバーラップの選択方法

  1. 構造から開始します。 見出しまたはドキュメントのセクションが存在する場合は、それらによって分割します。
  2. サイズに上限を設けます。 一般的な開始範囲は、チャンクあたり数百トークン、つまり 200 ~ 500 程度であり、その後調整します。
  3. オーバーラップよりもきれいな境界を優先します。 ファクトがまだカットにまたがっている場合にのみ、10 ~ 20% のオーバーラップを追加します。
  4. メタデータを添付します。 フィルタリングと引用のために、タイトル、セクション見出し、ソース URL を各チャンクとともに保存します。
  5. 検索を測定します。 既知の答えを含む実際の質問を 20 ~ 50 個書き、正しいチャンクが上位の結果にランクされるかどうかを確認します。一度に 1 つの設定を変更します。
  6. LLM トークン ガイドで説明されているように、モデルが使用するトークナイザーを使用して トークンを適切にカウントします。

ベクター データベース ガイドで説明されているように、メタデータ フィルターをサポートするデータベースにチャンクを保存します。

まとめ

RAG チャンク戦略は、多くの取得問題が発生する場所であり、最も安価に解決できる場所です。私たちのテストでは、各方法の典型的な失敗が示されました。固定サイズではファクトが半分に減り、ストレージのコストが重複し、文のパッキングと再帰的分割により見出しが取り残される可能性があり、見出しベースのチャンクにはサイズの上限が必要です。文書の構造から始めて、文を意識した分割に戻り、チャンクを読み取り、小さな評価セットで残りを決定します。

よくある質問

RAG にとって最適なチャンク化戦略は何ですか?

普遍的な最善のものはありません。構造化文書の場合は、見出しごとに分割してから、再帰的分割または文分割でキャップ サイズを設定します。独自の検索テストを使用して選択を検証します。

RAG にはどのチャンク サイズを使用すればよいですか?

数百のトークン、多くの場合約 200 ~ 500 のトークンが一般的な開始点です。チャンクが小さいほど正確になり、チャンクが大きいほどより多くのコンテキストが含まれます。実際の質問に合わせて調整します。

チャンクの重複は役に立ちますか?

カットにまたがる事実を救い出すことができます。私たちのテストでは、20 個のオーバーラップ トークンにより、8 つのファクトすべてがそのまま維持されましたが、約 22% 多くのトークンが保存され、それでも文が切断されました。

再帰的チャンク化とは何ですか?

最初に空白行などの最大の区切り文字で分割し、それでも大きすぎる部分には文や単語などの小さな区切り文字のみを使用します。

セマンティック チャンクは固定サイズ チャンクよりも優れていますか?

確実ではありません。トピックの変化に従いますが、追加の埋め込み呼び出しがかかり、公開された結果はまちまちです。それを独自のデータのより単純なベースラインと比較します。

学び続ける

Stack Quoraと連携する

テスト、WordPress、または SEO についてサポートが必要ですか?

私たちは、チームがより優れたソフトウェアを出荷し、サイトを成長させるのを支援します。あなたが取り組んでいることを教えてください。明確な次のステップを提案します。

読み続けてください

詳しいガイドはこちら テスト、AI、最新の開発

この記事は気に入りましたか?トピックを選択して、最新のチュートリアルに直接アクセスしてください。

人工知能

RAG チャンキング戦略の説明: 固定、オーバーラップ、センテンス、再帰および見出し、測定

tiktoken 0.14 を使用した 1 つのドキュメントでの RAG チャンク戦略の比較: 固定サイズ、オーバーラップ、センテンス パッキング、再帰的分割、見出しベースのチャンク、分割ファクト、孤立見出し、ストレージ コストの測定。

記事を読む →
ソフトウェア開発

API 冪等性の説明: 冪等性キーと安全な再試行、テスト済み

API 冪等性は、私たちが実行した Python サーバーとクライアントで説明されました。応答が失われたため、キーなしでは二重請求、キーありでは単一請求が発生し、さらにキーの再利用、同時再試行、ストレージ ルールが発生しました。

記事を読む →
DevOps

Git Stash の説明: 保存、適用、ポップ、および追跡されていないファイルのテスト済み

Git stash について、Git 2.56 で実行したコマンドを使用して説明しました。メッセージ付きのプッシュ、追跡されていないファイル、リストと表示、適用とポップ、インデックスの保持、競合、スタッシュ ブランチ、ドロップとクリアです。

記事を読む →
ソフトウェアテスト

ペアごとのテストの説明: オールペアによって 216 個のテストが 13 個に削減される方法 (テスト済み)

ペアワイズ テストについては、Python 3.13 で実行したジェネレーターで説明しました。13 のテストでカバーされる 216 の組み合わせのチェックアウト、検証済みのカバレッジ、より大きな例、およびペアワイズで見逃される可能性がある 3 方向のバグです。

記事を読む →
テスト自動化

テストダブルの説明: ダミー、スタブ、スパイ、モック、フェイク、テスト済みの Python コード

テスト ダブルについて、pytest 9.2 で実行される Python の例 (ダミー、スタブ、スパイ、モック、フェイク)、それぞれをいつ使用するか、状態と動作のチェック、およびプレーン モックが隠したバグを autospec がどのようにキャッチするかを説明します。

記事を読む →
データベースとSQL

SQL COALESCE の説明: デフォルト、NULLIF、IFNULL と ISNULL およびトラップ、テスト済み

SQL COALESCE では、SQLite 3.50 で実行したクエリ、つまり最初の非 null 値、空の文字列、数学における NULL、ゼロ除算の NULLIF、集計、LEFT JOIN ギャップ、IFNULL と ISNULL について説明しました。

記事を読む →
データベースとSQL

SQL 自己結合の説明: 従業員とマネージャー、ペアと行の比較、テスト済み

SQL 自己結合については、SQLite 3.50 で実行したクエリで説明しました。従業員とマネージャー、マネージャー以上の収入、一意のペア、日々の変化、2 ホップ チェーン、インデックス作成です。

記事を読む →
ソフトウェア開発

JavaScript スプレッド演算子の説明: スプレッドと残り、コピーと落とし穴、テスト済み

JavaScript スプレッド演算子については、ノード 24 で実行したコード (配列、オブジェクト、浅いコピー、残りのパラメーター、Math.max 制限、reduce のパフォーマンス トラップ) で説明しました。

記事を読む →
ソフトウェア開発

Python コレクション モジュールの説明: Counter、defaultdict、deque など、テスト済み

Python コレクションは、Python 3.13 で実行したコード (Counter、defaultdict、deque、namedtuple、OrderedDict、ChainMap) を使用して説明されています。さらに、list と deque のタイミングとチートシートも含まれています。

記事を読む →
人工知能

LLM コンテキスト ウィンドウの説明: トークン、制限、およびさらに適合させる方法、測定

LLM コンテキスト ウィンドウは、tiktoken を使用して測定したトークン数で説明されています。散文、コード、ヒンディー語の単語とトークン、入出力の予算、チャット履歴のトリミング、RAG のチャンク化とコストです。

記事を読む →
ソフトウェア開発

Webhook の説明: Webhook の仕組みと安全に受信する方法

Webhook について、Python で実行した受信側と送信側で説明しました。プッシュとポーリング、HMAC-SHA256 署名、改ざんおよび再実行されたリクエストの拒否、バックオフによる再試行、冪等性、およびテストのヒントです。

記事を読む →
DevOps

Git Cherry-Pick の説明: 必要なコミットを安全にコピーし、テスト済み

Git チェリーピックでは、Git 2.56 で実行したコマンド、つまりリリース ブランチへのホットフィックスのコピー、新しいハッシュとパッチ ID、-x、-n、コミット範囲、競合、–abort、–skip、およびその後のマージについて説明しました。

記事を読む →
テスト自動化

スナップショット テストの説明: 仕組み、役立つ場合と問題となる場合

スナップショットのテストについては、私たちが実行した pytest と syrupy のデモで説明しました。スナップショットの作成、コード変更後の diff の読み取り、タイムスタンプのマスク、安全な更新、スナップショットが役立つ場合と有害な場合について説明しました。

記事を読む →
ソフトウェアテスト

突然変異テストの説明: 100% のカバー率でもバグを見逃す理由

ミューテーション テストについては、私たちが構築して実行した小さなミューテーション ツールで説明しました。14 個のミュータント、79% のスコアを獲得した 100% のライン カバレッジのテスト スイート、100% に達した境界テスト、さらにツール、コスト、CI ヒントです。

記事を読む →
人工知能

プロンプト インジェクションの説明: AI アプリがどのように騙されるのか、そしてどのように防御するのか

ビルダー向けに説明されたプロンプト インジェクション: 直接攻撃と間接攻撃、キーワード フィルターが失敗する理由 (テストでは 4 つのうち 1 つがブロックされました)、最小権限、ツール許可リスト、出力チェックなどの多層防御。

記事を読む →
DevOps

DNS レコードの説明: A、AAAA、CNAME、MX、TXT、TTL と実際のルックアップ

DNS レコードは、実行したルックアップで説明されています。解決の仕組み、A と AAAA、CNAME ルール、MX と null MX、SPF と検証のための TXT、NS、TTL とキャッシュ、安全な DNS 変更です。

記事を読む →
DevOps

機能フラグの説明: 安全なリリース、段階的なロールアウト、およびフラグの衛生状態

私たちが実行したロールアウト シミュレーションで説明された機能フラグ: フラグの種類、安定したハッシュを使用したパーセンテージ ロールアウト、キル スイッチ、許可リスト、両方のパスのテスト、フラグの負債とベスト プラクティス。

記事を読む →
テスト自動化

Python Faker を使用したテストデータ生成: 現実的で再現性のある安全なデータ

Python Faker でデータ生成をテストし、実行して測定します。再現可能なデータ、ロケール、一意の値、ドメイン形状のレコード、Faker がミスするエッジ ケースのシード、本番データと速度のマスキング。

記事を読む →
ソフトウェアテスト

シフトレフト テストの説明: チームの作業を遅らせることなくバグを早期に発見する

シフトレフト テストについて説明しました。その意味、初期不良の方が安い理由、要件レビューから CI チェックまでの実践、テスターの役割の変化、シフトライト、メトリクス、展開計画について説明します。

記事を読む →
データベースとSQL

SQL 文字列関数の説明: TRIM、SUBSTR、REPLACE、CONCAT、およびデータ クリーンアップ

SQL 文字列関数を実行したクエリとともに説明しました。連結と NULL、TRIM、UPPER と LOWER、SUBSTR と INSTR、REPLACE、パディング、Unicode 長さ、乱雑なデータのクリーニング、方言の違いなどです。

記事を読む →
データベースとSQL

SQL トリガーの説明: BEFORE トリガーと AFTER トリガー、監査ログ、および落とし穴

SQL トリガーについて、実行したトリガーを使用して説明します: BEFORE と AFTER、OLD と NEW、監査ログ、検証、ストック更新、WHEN 条件、ロールバック、方言の違い、およびそれらを回避するタイミング。

記事を読む →
ソフトウェア開発

Python JSON モジュールの説明: ダンプ、ロード、カスタム タイプ、および一般的なエラー

Python JSON モジュールでは、ダンプとロード、ファイル、型変換、日付と小数点、カスタム エンコーダー、object_hook、float 精度、解析エラー、JSON 行など、実行したコードを使用して説明しました。

記事を読む →
ソフトウェア開発

ES モジュールと CommonJS: Node.js での JavaScript インポートの動作 (テスト済み)

ES モジュールと CommonJS について、Node.js で実行したコード (インポートおよびエクスポート構文、require、ライブ バインディング、キャッシュ、トップレベルの待機、動的インポート、ファイル拡張子、相互運用) を使用して説明しました。

記事を読む →
ソフトウェア開発

Python 正規表現の説明: パターン、グループ、先読みと落とし穴、テスト済み

Python 正規表現は、検索と一致、findall、グループと名前付きグループ、貪欲と遅延、サブ、先読み、フラグ、Unicode のサプライズ、壊滅的なバックトラッキングなど、実行したパターンで説明しました。

記事を読む →
人工知能

LLM 構造化出力の説明: AI モデルから信頼性の高い JSON を取得する

LLM 構造化出力は、Pydantic で実行した検証とともに説明されています。JSON モードとスキーマ、制約付きデコード、モデル出力が中断される方法、再試行ループ、セマンティック チェックです。

記事を読む →
DevOps

SSH キーの説明: 仕組み、ssh-keygen、Ed25519、および安全な習慣

SSH キーについて、私たちが生成したキーとともに説明しました: 公開キーと秘密キー、ssh-keygen、Ed25519 と RSA、指紋、パスフレーズ、ssh-agent、authorized_keys、構成ファイル、GitHub、およびキーの衛生状態。

記事を読む →
DevOps

HTTP キャッシュの説明: ライブ テストによるキャッシュ制御、ETag、および 304 レスポンス

HTTP キャッシュについて、私たちが実行した小規模サーバーで説明しました。キャッシュ制御ディレクティブ、最大有効期間、キャッシュなしとストアなし、ETag の再検証と 304 応答、CDN、キャッシュ無効化とヘッダーのテストです。

記事を読む →
テスト自動化

API コントラクトのテストの説明: 重大な変更を出荷前に把握する

API contract testing explained with a schema check we ran: what a contract is, consumer-driven contracts, Pact, OpenAPI, which changes break consume…

記事を読む →
ソフトウェアテスト

リスクベースのテストの説明: リスクをスコアリングし、マトリックスを構築し、重要なものをテストする

リスクベースのテストについて段階的に説明します。リスクの特定、可能性と影響のスコアリング、リスク マトリックスの構築、テストの深さへのリスクのマッピング、実際の例とよくある間違いです。

記事を読む →
データベースとSQL

SQL 制約の説明: NOT NULL、UNIQUE、CHECK、および FOREIGN KEY、テスト済み

SQL 制約について、実行したテストで説明しました。NOT NULL、UNIQUE、CHECK、DEFAULT、PRIMARY、FOREIGN KEY、NULL の抜け穴、SQLite の外部キー設定、名前付け制約とそれらのテストです。

記事を読む →
データベースとSQL

SQL 日付関数の説明: バグのない日付の追加、比較、グループ化

SQL の日付関数を、実行したクエリで説明しました。間隔の追加、月末のサプライズ、日付の違い、BETWEEN トラップ、日別のグループ化、タイム ゾーン、インデックス、方言の違いなどです。

記事を読む →
ソフトウェア開発

Python asyncio の説明: リアル タイミングでの async、await、gather、および TaskGroup

Python asyncio は、コルーチン、await、gather、TaskGroup、エラー処理、タイムアウト、同時実行の制限、パフォーマンスを損なうブロッキングコールの間違いなど、時間を測定したコードで説明しました。

記事を読む →
ソフトウェア開発

JavaScript におけるデバウンスとスロットル: それぞれの仕組み、いつ使用するか、テスト済み

JavaScript でのデバウンスとスロットルについて、Node.js で測定したタイミングを使用して説明します。それぞれの仕組み、単純な実装、先頭と末尾の呼び出し、実際の使用例とテストです。

記事を読む →
ソフトウェア開発

Python コンテキスト マネージャーの説明: with ステートメント、contextlib、および実際の使用法

Python コンテキスト マネージャーは、実行したコードを使用して説明しました。仕組み、__enter__ と __exit__、contextlib.contextmanager、suppress、ExitStack、データベース トランザクション、およびよくある間違いについて説明しました。

記事を読む →
人工知能

LLM 温度と Top-p の説明: AI モデルが次の単語を選択する方法

LLM 温度と top-p は、私たちが実行したシミュレーションで説明しました。確率がどのように再形成されるか、top-p が保持するもの、タスク別の推奨設定、決定論、AI 機能のテストです。

記事を読む →
DevOps

YAML の説明: 構文、ノルウェー問題、テストしたその他の罠

YAML は、基本構文、リストとマップ、ノルウェー問題、浮動小数点数に変換されるバージョン、8 進郵便番号、60 進数、アンカー、複数行テキスト、安全な読み込みなどのパーサー テストで説明されています。

記事を読む →
DevOps

Cron ジョブの説明: 構文、実際のスケジュール、およびそれらを壊す間違い

Cron ジョブは、検証したスケジュールとともに説明されています。5 つのフィールド、演算子、実際の例、月日または曜日のトラップ、環境の問題、ロギング、重複、タイム ゾーンです。

記事を読む →
人工知能

AI 幻覚の説明: 言語モデルが物事をでっち上げる理由とそれを軽減する方法

AI 幻覚について説明しました。幻覚とは何か、言語モデルが幻覚を生成する理由、一般的な種類、グラウンディングとプロンプトで幻覚を軽減する方法、そして私たちが実行した簡単なチェックです。

記事を読む →
DevOps

環境変数の説明: .env ファイル、シークレット、および設定が正しく行われている

実行した Python の例を使用して環境変数について説明します。環境変数の読み取りと設定、すべての値が文字列である理由、.env ファイル、プロセスの継承、シークレット、検証について説明します。

記事を読む →
ソフトウェア開発

API レート制限の説明: アルゴリズム、ヘッダー、および 429 エラーの処理

API レート制限については、実行したシミュレーションで説明します。トークン バケット、固定ウィンドウ、スライディング ウィンドウ、429 応答、レート制限ヘッダー、バックオフによる再試行、およびテスト制限です。

記事を読む →
テスト自動化

Python でのモッキング:unittest.mock、patch、およびテストを嘘にする間違い

Python でのunittest.mockによるモック、テスト済み: モックとreturn_value、side_effect、名前が使用されている場所のパッチ、仕様と自動仕様、日付のモック、およびよくある間違い。

記事を読む →
ソフトウェアテスト

コードカバレッジの説明: 回線カバレッジとブランチカバレッジ、および 100% の実際の意味

実際のcoverage.pyの実行でコードカバレッジを説明: 行、分岐、条件のカバレッジ、レポートの読み取り、100%のカバレッジでもバグを見逃す可能性がある理由、および賢明なターゲット。

記事を読む →
データベースとSQL

SQL における DELETE、TRUNCATE、DROP: 違い、ロールバック、およびそれぞれをいつ使用するか

DELETE、TRUNCATE、DROP について、テスト済み SQL を使用して説明します。それぞれの削除内容、ロールバック、トリガー、ID リセット、速度、PostgreSQL、MySQL、SQL Server、SQLite の違いについて説明します。

記事を読む →
データベースとSQL

SQL ビューの説明: 作成、使用、落とし穴の回避、例を示します

SQL ビューについて、実行したクエリとともに説明しました。ビューの作成、ライブ結果、列の非表示、パフォーマンス、更新可能なビューと具体化されたビュー、壊れた依存関係、ベスト プラクティスについて説明します。

記事を読む →
ソフトウェア開発

TypeScript インターフェイスと型: 実際の違い、コンパイラでテスト

TypeScript インターフェイスと型、実際のコンパイラでチェック: 両方でできること、片方だけでできること、宣言のマージ、拡張と交差、および従うべき簡単なルール。

記事を読む →
ソフトウェア開発

Python *args と **kwargs の説明: 柔軟な関数と明確な例

Python の *args と **kwargs について、実行したコードで説明しました。パッキングとアンパッキング、パラメーターの順序、キーワードのみの引数と位置のみの引数、デコレーター、一般的なエラーです。

記事を読む →
ソフトウェア開発

Python Lambda 関数: 構文、実際の用途、および使用すべきでない場合

Python のラムダ関数について、実行したコードとともに説明します。構文、キーによるソート、マップとフィルター、クロージャー、遅延バインディング トラップ、通常の def がより適切な選択である場合。

記事を読む →
人工知能

AIエージェントとは何ですか?シンプルなエージェント ループを実行できる仕組み

AIエージェントとは何ですか?エージェント ループ、ツール、メモリ、ガードレール、実行した小さな Python ループ、実際のリスク、およびシンプルなチャットボットがより良い選択である場合についてのわかりやすいガイドです。

記事を読む →
DevOps

モニタリングと可観測性: ログ、メトリクス、トレースによる本当の違い

モニタリングと可観測性について説明: 既知および未知の障害、ログ、メトリクスとトレース、チェックアウト インシデントのウォークスルー、ゴールデン シグナル、OpenTelemetry、および便利なアラート。

記事を読む →
DevOps

Docker ボリュームとバインド マウント: コンテナ データを正しい方法で保持する

Docker ボリュームとバインド マウントについて説明します。コンテナ データが消える理由、名前付きボリューム、バインド マウント、tmpfs、Compose の例、バックアップ、アクセス許可、およびそれぞれをいつ使用するかについて説明します。

記事を読む →
テスト自動化

TDD と BDD: 主な違い、1 つの機能が両方の方法で構築され、それぞれをいつ使用するか

TDD と BDD は、両方の方法で構築された 1 つの割引機能で説明されています。実行したコードによるレッド-グリーン-リファクタリング、Given-When-Then シナリオ、ツール、トレードオフ、およびそれぞれをいつ使用するかです。

記事を読む →
ソフトウェアテスト

ユーザー受け入れテスト (UAT): プロセス、チェックリスト、および実際の例

ユーザー受け入れテストの説明: 誰が実行するか、QA との違い、7 段階のプロセス、UAT テスト ケース テンプレート、チェックリスト、サインオフ基準、およびよくある間違い。

記事を読む →
データベースとSQL

SQL NULL 値の説明: IS NULL、COALESCE、NULLIF、および回避すべきトラップ

SQL の NULL 値について、実行したクエリで説明しました。3 つの値のロジック、IS NULL、COALESCE、NULLIF、集計、結合、並べ替えでの NULL の扱い方、およびそれが密かに引き起こすバグです。

記事を読む →
データベースとSQL

SQL CASE WHEN ステートメント: 構文、実際の例、およびよくある間違い

SQL CASE WHEN では、単純な検索フォーム、条件順序、SUM を使用したピボット、COUNT トリック、カスタム並べ替え、更新、回避すべき NULL トラップなど、実行したクエリを使用して説明しました。

記事を読む →
ソフトウェア開発

JWTとは何ですか? JSON Web トークンを実際の例で説明する

JWTとは何ですか? JSON Web トークンについて説明しました。3 つの部分、実行したコード内で構築および改ざんされたトークン、JWT とセッション、ストレージ、リフレッシュ トークン、およびセキュリティ上の間違いです。

記事を読む →
ソフトウェア開発

JavaScript イベントループの説明: コールスタック、マイクロタスク、タイマーと例

JavaScript イベント ループについて、実行したコードで説明しました。コール スタック、タスク キュー、マイクロタスク キュー、setTimeout 0 が即時ではない理由、ブロッキング、スターベーション、およびインタビュー クイズです。

記事を読む →
ソフトウェア開発

Python ジェネレーターと収量の説明: 実際の例でメモリを節約する

Python ジェネレーターと Yield について、実行したコードを使用して説明します。一時停止と再開の方法、メモリ節約の測定、パイプライン、無限シーケンス、Yield from、send、および一般的なトラップについて説明します。

記事を読む →
人工知能

埋め込みとは何ですか?ベクトルとコサインの類似度を簡単に説明

埋め込みとは何ですか?ベクトル、コサイン類似度、セマンティック検索に関する平易なガイド。私たちが実行した小さな例、一般的な使用法、モデルの選択、既知の制限が含まれています。

記事を読む →
DevOps

Blue-Green デプロイメントと Canary デプロイメント: 違い、トレードオフ、および選択方法

ブルー グリーン デプロイメントとカナリア デプロイメントについて説明: それぞれの仕組み、コスト、リスクとロールバック、テストした安定したユーザー バケット化、データベース移行、ローリング アップデート、および選択方法。

記事を読む →
テスト自動化

不安定なテスト: 問題の原因とそれを永久に修正する方法

不安定なテストについては、私たちが実行したデモを使用して説明しました。主な原因、確認および診断する方法、タイミングの適切な修正、共有された状態と日付、隔離プロセスなどです。

記事を読む →
ソフトウェアテスト

負荷テストとストレス テスト: 違い、メトリクス、および k6 の例

ロード テストとストレス テストについて説明します。それぞれが何を証明するか、スパイク テストとソーク テスト、重要な指標、平均値が誤解を招く理由、K6 の例、テストの計画方法について説明します。

記事を読む →
ソフトウェアテスト

テスト ケースとテスト シナリオ: 主な違い、例、およびそれぞれをいつ使用するか

テスト ケースとテスト シナリオの説明: 明確な定義、並べて表、シナリオからケースへの 1 つのパスワード リセット機能、テンプレート、およびそれぞれをいつ使用するか。

記事を読む →
データベースとSQL

SQL クエリの最適化: 実行プランを読み取り、タイミングを考慮して遅いクエリを修正

SQL クエリの最適化は 100 万行でテストされています。実行プランの読み取り、適切なインデックスの追加、検索対象外のフィルターの修正、複合インデックスとキーセットのページネーションの使用。

記事を読む →
データベースとSQL

SQL UNION と UNION ALL: 違い、例、テストされたパフォーマンス

SQL UNION と UNION ALL について、実行したクエリで説明しました。重複、両方に従うルール、実際のデータのバグ、測定されたパフォーマンス、INTERSECT と EXCEPT、およびそれぞれをいつ使用するかについて説明します。

記事を読む →
ソフトウェア開発

JavaScript Fetch API チュートリアル: GET、POST、エラー処理、タイムアウト

ローカル サーバーに対してテストされた JavaScript Fetch API チュートリアル: GET と POST、404 がスローされない理由、再利用可能なヘルパー、クエリ文字列、タイムアウト、CORS、およびよくある間違い。

記事を読む →
ソフトウェア開発

Python ファイル処理: 読み取り、書き込み、CSV、JSON、パスライブラリと例

Python のファイル処理について、実行したコードで説明します。オープン モード、大きいファイルの読み取り、CSV、JSON、パスライブラリ、バイナリ ファイル、安全な書き込み、エラー処理、およびよくある間違いについて説明します。

記事を読む →
ソフトウェア開発

Python のクラスとオブジェクト: 実際の例を含む OOP チュートリアル

Python のクラスとオブジェクトについて、実行したコードとともに説明します: __init__、メソッド、クラスとインスタンスの属性、継承、プロパティ、ダンダー メソッド、データクラス、およびよくある間違い。

記事を読む →
人工知能

大規模言語モデルとは何ですか? LLM の仕組みを誇大広告なしで説明

大規模言語モデルとは何ですか? LLM は、トークン、エンベディング、アテンション、トレーニング、温度およびコンテキスト ウィンドウ、小さな次の単語のデモ、実際の制限など、平易な言葉で説明されています。

記事を読む →
DevOps

初心者のための Linux コマンド: 例を含む基本ターミナル ガイド

初心者向けの Linux コマンド。ナビゲーション、ファイル、ログの表示、grep、パイプ、権限、プロセス、アーカイブなどのタスク別にグループ化されており、実用的なログ分析の例も含まれています。

記事を読む →
テスト自動化

Selenium と Playwright: 主な違い、コードの比較、どちらを選択するか

Selenium と Playwright の比較: アーキテクチャ、待機、ブラウザと言語のサポート、デバッグ、両方のツールでの同じテスト、移行のアドバイスと選択方法。

記事を読む →
ソフトウェアテスト

等価性分割: テスト設計手法を実際の例で説明

等価性パーティション化について説明しました。有効なパーティションと無効なパーティションを見つける方法、年齢、パスワード、クーポンに関する実際の例、実行したテスト、境界と組み合わせる理由。

記事を読む →
ソフトウェアテスト

ソフトウェアテストにおける重大度と優先度: 相違点、マトリックス、および実際の例

ソフトウェア テストにおける重大度と優先度について説明します。明確な定義、例を含む 4 方向のマトリックス、レベル スケール、それぞれの設定者、バグ トリアージの実行方法。

記事を読む →
データベースとSQL

SQL サブクエリのチュートリアル: 型、相関サブクエリ、および EXISTS と例

実行したクエリを含む SQL サブクエリのチュートリアル: スカラー、IN、FROM、SELECT サブクエリ、相関サブクエリ、EXISTS、NOT IN NULL トラップ、サブクエリ対 JOIN 対 CTE。

記事を読む →
データベースとSQL

SQL トランザクションと ACID の説明: COMMIT、ROLLBACK、分離レベル

SQL トランザクションと ACID について、実行した銀行振込で説明しました。COMMIT、ROLLBACK、セーブポイント、ロック、分離レベル、ダーティ リード、デッドロック、ベスト プラクティスについて説明します。

記事を読む →
ソフトウェア開発

Git コマンドのチートシート: 実際に使用するコマンドと例

実際のデモ リポジトリからの出力を含む、タスク別にグループ化された Git コマンド チート シート (セットアップ、ステージング、ブランチ、リモート、スタッシュ、履歴、間違いの取り消し)。

記事を読む →
ソフトウェア開発

JavaScript Promise の説明: then、catch、Promise.all、およびよくある間違い

JavaScript の Promise を、実行したコードで説明します。ステート、then および catch チェーン、エラー処理、Promise.all、allSettled、race および any、イベント ループ、およびよくある間違いです。

記事を読む →
ソフトウェア開発

Python 辞書チュートリアル: メソッド、例、一般的なパターン

私たちが実行したコードを含む Python 辞書チュートリアル: 辞書の作成、読み取り、更新、主要なメソッド、マージ、内包表記、パターンのカウントとグループ化、およびよくある間違い。

記事を読む →
人工知能

RAGとは何ですか?検索拡張生成を実際の例で説明する

RAGとは何ですか?検索拡張生成について、インデックス作成、チャンク化、埋め込み、検索、実際に動作する小さな Python の例、評価、一般的な失敗など、ステップごとに説明します。

記事を読む →
DevOps

初心者向け Terraform チュートリアル: 最初のファイルからモジュールまでのコードとしてのインフラストラクチャ

初心者向けの Terraform チュートリアル: クラウド アカウントなしで開始し、初期化、計画、適用を学び、次に変数、出力、状態、モジュール、安全なチーム ワークフローを学びます。

記事を読む →
DevOps

Docker と Kubernetes: 主な違い、連携方法、どちらが必要か

Docker と Kubernetes について説明しました。それぞれの機能、同じアプリを両方で実行すること、Docker Compose と Swarm の比較、dockershim の変更、必要なものを決定する方法などです。

記事を読む →
テスト自動化

初心者向けの Pytest チュートリアル: フィクスチャ、パラメータ化、実際の例

pytest 9.2 で実行したテストを含む初心者向けの pytest チュートリアル: アサーション、フィクスチャ、parametrize、conftest、マーカー、tmp_path、monkeypatch、便利なフラグ、CI。

記事を読む →
ソフトウェアテスト

ソフトウェア テスト ライフ サイクル (STLC): 6 つのフェーズ、開始基準と終了基準、例

ソフトウェア テストのライフ サイクルについては、開始基準と終了基準を含む 6 つの STLC フェーズ、成果物、実際に動作するログイン機能の例、STLC と SDLC、およびアジャイルにおける STLC について説明しました。

記事を読む →
ソフトウェア開発

Git mergeとrebaseの違い:例と使い分け

Git mergeとrebaseの違いを、実際のログ出力、比較表、rebaseの黄金律、安全なチームワークフローで解説します。

記事を読む →
ソフトウェア開発

Pythonのリスト内包表記:構文・例・使うべきでない場面

Pythonのリスト内包表記を解説:構文、フィルタ、if-else、ネストしたループ、実測した処理時間、そして通常のforループの方が良い場面。

記事を読む →
データベースとSQL

SQL JOINを例で解説(Inner・Left・Right・Full)

サンプルのテーブルとクエリでSQL JOINを順に解説。INNER、LEFT、RIGHT、FULL、CROSS、SELFに加え、よくある間違いとパフォーマンスのコツも紹介します。

記事を読む →