vector-index-tuning
ベクトルインデックスの調整を最適化して、速度と再現率を向上させる
ベクトル検索が遅い、またはコストがかかる場合、インデックスの設定が間違っている可能性があります。このスキルは、HNSWおよび量子化戦略の遅延、再現率、メモリ使用量を改善するためのテンプレートと経験則を提供します。
スキルZIPをダウンロード
Claudeでアップロード
設定 → 機能 → スキル → スキルをアップロードへ移動
オンにして利用開始
テストする
「vector-index-tuning」を使用しています。 100万ベクトルで0.95の再現率と10ms以下のレイテンシを目標にHNSWパラメータを提案する
期待される結果:
- ビルド品質のため、M:32およびefConstruction:200を推奨
- 0.95の再現率を目標にefSearchを128に設定
- M:32でのメモリオーバーヘッドを推定し、小規模ベンチマークで検証
「vector-index-tuning」を使用しています。 FP32からINT8量子化に切り替えた場合のメモリ削減量は?
期待される結果:
- FP32は1次元あたり4バイト、INT8は1バイトを使用
- 768次元のベクトル: FP32 = 3KB、INT8 = 768バイト(ベクトルあたり)
- 再現率への影響を最小限に抑えた約75%のメモリ削減
「vector-index-tuning」を使用しています。 5000万ベクトルでIVFとHNSWのどちらを選ぶべきか?
期待される結果:
- HNSW: 再現率は高いが、メモリとビルド時間がコストとなる
- IVF: メモリ使用量が少なく、ビルドは速いが再現率がやや低い
- メモリが制約となる5000万以上のベクトルでは、ハイブリッド: IVF-PQを検討
セキュリティ監査
安全Pure documentation skill with instructional Python templates for vector index tuning. All static findings are false positives: hardcoded URLs are documentation references, weak crypto patterns matched legitimate quantization terminology, backticks are markdown formatting, and memory-mapped references are Qdrant config parameters.
リスク要因
🌐 ネットワークアクセス (1)
品質スコア
作れるもの
ANNの再現率調整
レイテンシ予算内で再現率ターゲットを満たすHNSW設定を見つける
メモリ使用量の削減
量子化オプションを評価し、大規模でのストレージトレードオフを推定する
インデックススケーリングの計画
数百万から数十億のベクトルに合わせてインデックスタイプと設定を選択する
これらのプロンプトを試す
20万ベクトルで0.95の再現率を目標にHNSW MとefSearchのベンチマークを実行し、最適なバランス構成を提案する
768次元の1000万ベクトルに対してfp16、int8、製品量子化を比較し、メモリと再現率への影響を要約する
500万ベクトルで再現率と速度のバランスを取るQdrantコレクション設定を作成し、HNSWと量子化の設定を含める
レイテンシーパーセンタイルと再現率のドリフトを追跡するための指標とテストループを定義する
ベストプラクティス
- 正確な再現率測定のため、実際のクエリと正解データセットでベンチマークを実行する
- デフォルトパラメータから始めて、一度に1つの変数を体系的に調整する
- 各設定変更後にレイテンシーパーセンタイルと再現率を追跡する
回避
- 既知の正解データセットに対する再現率を測定せずに調整する
- 制御された実験を行わずに複数のパラメータを同時に変更する
- MやefSearchの値を増やす際のメモリオーバーヘッドを無視する
よくある質問
このスキルはどのプラットフォームをサポートしていますか?
テンプレートの主な制限は何ですか?
パイプラインに統合できますか?
データにアクセスしたり送信したりしますか?
ベンチマークの結果がノイズが多い場合はどうすればよいですか?
一般的な調整ガイドとどのように比較されますか?
開発者の詳細
作成者
wshobsonライセンス
MIT
リポジトリ
https://github.com/wshobson/agents/tree/main/plugins/llm-application-dev/skills/vector-index-tuning参照
main
ファイル構成
📄 SKILL.md