rag-engineer
本番対応RAGシステムの構築
RAGシステムは、不適切なチャンキング戦略と単純な検索により失敗することがしばしばあります。このスキルは、セマンティックチャンキング、ハイブリッド検索、コンテキスト最適化のためのエキスパートパターンにより、本番グレードの検索システムを構築する方法を提供します。
スキルZIPをダウンロード
Claudeでアップロード
設定 → 機能 → スキル → スキルをアップロードへ移動
オンにして利用開始
テストする
「rag-engineer」を使用しています。 ヘッダーと表を含むPDF文書のRAGシステムでのチャンキング方法は？
期待される結果:
文書構造を尊重するセマンティックチャンキングを使用：(1) PDFを解析してヘッダー、段落、表の境界を抽出、(2) ヘッダーメタデータを保持しながら段落レベルでチャンク化、(3) コンテキスト連続性のためにチャンク間に10〜20%のオーバーラップを含める、(4) 検索時のフィルタリング用に構造メタデータを保存。このアプローチは、固定トークン数のチャンキングよりも意味の保持に優れています。
「rag-engineer」を使用しています。 RAGシステムは関連文書を返しますが、回答の質が悪いです。どのようにデバッグしますか？
期待される結果:
検索の評価を生成から分離：(1) 手動でトップkの結果を検査して検索精度を確認、(2) テストセットでヒット率とMRRを測定、(3) 検索が良好に見える場合、問題はプロンプトまたはLLMの選択にあります。一般的な修正：初期検索と最終生成の間にリランキングステップを追加します。
セキュリティ監査
安全All 16 static findings evaluated as false positives. The skill is a legitimate RAG (Retrieval-Augmented Generation) engineering documentation skill. External commands flagged are markdown code fence syntax (backticks) showing JavaScript examples. Cryptographic and reconnaissance warnings match keywords in context of semantic search and data pipelines, not security-relevant code.
重大な問題 (3)
品質スコア
作れるもの
文書Q&Aシステムの構築
大きな文書コレクションから関連性の高いコンテキストを正確に検索するRAG搭載のQ&Aシステムを作成
既存のRAG精度の向上
高度なチャンキングとハイブリッド検索を使用して、既存のRAG実装における検索品質の問題を診断して修正
マルチホップ推論システムの設計
複数のソース文書からの情報が必要となる複雑な質問に回答できるシステムを構築
これらのプロンプトを試す
[文書タイプ]のRAGシステムではどのようにチャンキングすればよいですか？意味とコンテキストを保持する戦略は何ですか？
BM25キーワードマッチングとベクトル類似性を組み合わせたハイブリッド検索システムを設計してください。スコアをどのように融合しますか？
LLM生成とは別で検索システムを評価する方法はありますか？跟踪すべきメトリクスは何ですか？
ベストプラクティス
- ヒット率やMRRなどのメトリクスを使用して、生成とは独立して検索品質を 항상評価する
- 固定トークン数ではなく、文書構造を尊重するセマンティックチャンキングを使用する
- セマンティック理解と正確なキーワードマッチングを組み合わせたハイブリッド検索を実装する
回避
- コンテンツ構造に関係なく固定サイズチャンキングを使用すると、文が分割され意味が失われる
- フィルタリングなしで全てをエンベディングすると、コストが増加し関連性が低下する
- 検索評価をスキップすると、生成の問題が常にLLMの問題であると仮定してしまう