المهارات vector-index-tuning
📦

vector-index-tuning

آمن

Optimiser les performances de l'index vectoriel

متاح أيضًا من: wshobson

Les systèmes de recherche vectorielle struggle souvent avec la latence et la mémoire à grande échelle. Cette skill fournit des patterns de tuning HNSW éprouvés et des stratégies de quantification pour équilibrer le rappel, la vitesse et l'utilisation des ressources.

يدعم: Claude Codex Code(CC)
🥉 75 برونزي
1

تنزيل ZIP المهارة

2

رفع في Claude

اذهب إلى Settings → Capabilities → Skills → Upload skill

3

فعّل وابدأ الاستخدام

اختبرها

استخدام "vector-index-tuning". Recommend HNSW parameters for 100K vectors targeting 95% recall

النتيجة المتوقعة:

Pour 100K vecteurs avec un objectif de rappel de 95% : M=32 ( connexions augmentées pour une meilleure connectivité du graphe), efConstruction=200 (construction d'index approfondie), efSearch=128 (qualité de recherche équilibrée). Mémoire attendue : ~250MB pour des vecteurs FP32. Temps de construction : 30-60 secondes. Latence de recherche : 5-15ms à p99.

استخدام "vector-index-tuning". How much memory does INT8 quantization save for 1M 768-dim vectors?

النتيجة المتوقعة:

Référence FP32 : 1M × 768 × 4 octets = 2.93GB. Quantifié INT8 : 1M × 768 × 1 octet = 732MB. Réduction de mémoire : 75% d'économie (2.2GB). Impact sur le rappel : dégradation typique de 1-3%. Recommandé pour les applications sensibles à la latence avec des exigences de rappel modérées.

التدقيق الأمني

آمن
v1 • 2/25/2026

Static analysis flagged 26 patterns that are all false positives. The skill contains only documentation and Python code examples for vector database optimization. Markdown code fences were misidentified as shell execution. URLs are reference links. Configuration parameter names were misidentified as filesystem operations. No actual security risks exist.

2
الملفات التي تم فحصها
553
الأسطر التي تم تحليلها
0
النتائج
1
إجمالي عمليات التدقيق
لا توجد مشكلات أمنية
تم تدقيقه بواسطة: claude

درجة الجودة

38
الهندسة المعمارية
100
قابلية الصيانة
87
المحتوى
50
المجتمع
100
الأمان
100
الامتثال للمواصفات

ماذا يمكنك بناءه

Optimisation de la latence de recherche en production

Ajuster les paramètres HNSW et activer la quantification INT8 pour réduire la latence p99 de 50ms à 10ms tout en maintenant un rappel de 95%.

Déployment d'index en mémoire contrainte

Appliquer la Product Quantization pour contenir 10M de vecteurs dans 8GB de RAM avec des compromis de rappel acceptables pour les déploiements sensibles aux coûts.

Planification de la mise à l'échelle de l'index vectoriel

Sélectionner le type d'index et la configuration appropriés lors de la mise à l'échelle de 100K à 100M de vecteurs avec des performances prévisibles.

جرّب هذه الموجهات

Recommandation de base des paramètres HNSW
I have 500,000 vectors with 768 dimensions. I need 95% recall at p99 latency under 20ms with 16GB memory budget. Recommend HNSW parameters and quantify expected memory usage.
Sélection de la stratégie de quantification
Compare INT8 scalar quantization vs Product Quantization for my use case: 10M vectors, 512 dimensions, must fit in 8GB RAM, minimum 90% recall required. Include code to implement the recommended approach.
Configuration de collection Qdrant
Generate a complete Qdrant collection configuration optimized for high-recall search on 5M product embedding vectors. Include HNSW settings, quantization config, and optimizer thresholds with explanations.
Plan de benchmark de performance
Design a benchmarking plan to evaluate HNSW parameter sweeps. I have 1M vectors, 10K query samples with ground truth labels. Include metrics to track, parameter ranges to test, and criteria for selecting the winning configuration.

أفضل الممارسات

  • Benchmarquez avec de vraies requêtes de production plutôt que des données synthétiques pour capturer les réels patterns de charge de travail
  • Commencez avec les paramètres HNSW par défaut et ajustez seulement lorsque les métriques indiquent un besoin d'optimisation
  • Surveillez le rappel en continu en production car la dérive des données peut dégrader la qualité de recherche au fil du temps

تجنب

  • Réindexer les systèmes de production sans plan de rollback et validation en staging
  • Sur-optimiser le rappel au détriment des SLAs de latence et des budgets mémoire
  • Ignorer le warmup de l'index après le déploiement qui provoque des pics de latence à froid

الأسئلة المتكررة

Quel est un bon point de départ pour les paramètres HNSW ?
Commencez par M=16, efConstruction=100, efSearch=50. Ces valeurs par défaut fonctionnent bien pour la plupart des jeux de données sous 1M de vecteurs. Ajustez seulement après avoir mesuré les performances de base contre vos objectifs de latence et de rappel.
Comment la quantification affecte-t-elle la qualité de recherche ?
La quantification scalaire INT8 cause typiquement une dégradation du rappel de 1-3% avec 75% d'économie de mémoire. La Product Quantization peut atteindre une compression de 10-20x mais peut dégrader le rappel de 5-15%. Validez toujours l'impact du rappel avec votre jeu de données spécifique.
Quand dois-je utiliser IVF au lieu de HNSW ?
Considérez IVF lors de la mise à l'échelle au-delà de 100M de vecteurs ou lorsque la mémoire est gravement contrainte. HNSW offre un meilleur rappel et latence pour les jeux de données sous 100M de vecteurs. IVF nécessite plus de tuning mais peut être plus efficace en mémoire à une échelle extrême.
À quelle fréquence dois-je réindexer ma base de données vectorielle ?
Réindexez lorsque le rappel se dégrade au-delà de votre seuil (typiquement une baisse de 2-5%), après des changements significatifs de distribution de données, ou lors de la mise à l'échelle de l'infrastructure. Surveillez les métriques de rappel en continu pour déclencher la réindexation de manière proactive.
Quelle est la différence entre efConstruction et efSearch ?
efConstruction contrôle la qualité de construction de l'index (plus élevé = meilleur index, construction plus lente). efSearch contrôle la qualité de requête (plus élevé = meilleur rappel, recherche plus lente). Vous pouvez utiliser un efConstruction élevé une fois pendant la construction, puis ajuster efSearch pour votre compromis latence-rappel.
Puis-je changer les paramètres HNSW après avoir créé un index ?
efSearch peut être changé dynamiquement par requête. Cependant, M et efConstruction sont fixes à la création de l'index. Les changer nécessite de reconstruire l'index avec de nouveaux paramètres.

تفاصيل المطور

بنية الملفات