embedding-strategies
Optimiser les modèles d'embedding pour la recherche sémantique
Le choix du bon modèle d'embedding et de la stratégie de découpage est crucial pour la qualité de la récupération. Cette compétence fournit des modèles et des bonnes pratiques pour implémenter des pipelines de recherche vectorielle de haute qualité.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "embedding-strategies". Recommandez un modèle d'embedding pour un système de recherche de documents juridiques. J'ai besoin d'une grande précision et je peux utiliser des services API.
Résultat attendu:
- Recommandé : text-embedding-3-large (3072 dimensions) ou voyage-2 (1024 dimensions)
- text-embedding-3-large : Meilleure précision, gère 8191 tokens, idéal pour les longues clauses juridiques
- voyage-2 : Spécialisé pour le juridique/code, 1024 dimensions, limite de 4000 tokens
- Envisagez de découper les documents juridiques par en-têtes de section pour préserver le contexte des clauses
Utilisation de "embedding-strategies". Comment devrais-je découper ma documentation technique pour un système RAG ?
Résultat attendu:
- Stratégie : Utilisez le découpage sémantique par en-têtes combiné avec la division récursive de caractères
- Taille de chunk recommandée : 512 tokens avec 50 tokens de chevauchement
- Préservez les exemples de code comme chunks complets
- Ajoutez des métadonnées de contexte reliant les chunks aux sections d'origine
Audit de sécurité
Risque faibleAll static findings are false positives. C2 keyword alerts triggered by hash hex strings. Weak crypto alerts from hash substrings. External command alerts from ASCII flow diagrams using arrows. Hardcoded URL alerts are legitimate documentation links. No malicious code, command execution, or data exfiltration patterns found.
Score de qualité
Ce que vous pouvez construire
Construire des systèmes RAG
Implémenter la génération augmentée par récupération en sélectionnant les modèles d'embedding et stratégies de découpage appropriés pour votre corpus de documents.
Optimiser la recherche sémantique
Améliorer la pertinence de la recherche en choisissant des modèles d'embedding adaptés à votre type de contenu et en implémentant un découpage et prétraitement appropriés.
Créer des pipelines d'embedding
Construire des pipelines évolutifs qui traitent les documents, découpent le contenu, génèrent des embeddings et préparent les enregistrements pour les bases de données vectorielles.
Essayez ces prompts
Je dois choisir un modèle d'embedding pour mon [use case: code search / multilingual documents / legal contracts]. Mes priorités sont [priority: accuracy / cost / speed]. J'ai [constraints: limit on dimensions / need open source / need API access]. Recommandez 3 modèles avec justification.
Aidez-moi à implémenter le découpage pour mon [data type: technical documentation / conversational data / code]. Je dois gérer [requirement: preserve context / maintain semantic boundaries / limit chunk size]. Fournissez du code Python pour le découpage [strategy: token-based / sentence-based / recursive character].
Créez un pipeline Python qui [input: processes documents from source / generates embeddings / stores in vector database]. Incluez [feature: batching / progress tracking / metadata handling]. Utilisez [model: OpenAI embeddings / sentence-transformers].
Ma récupération basée sur les embeddings a [problem: low recall / inconsistent results / poor precision]. Ma configuration utilise [model details]. Analysez les causes potentielles et suggérez des améliorations pour [metric: precision at k / recall / ndcg].
Bonnes pratiques
- Adaptez le modèle d'embedding au type de contenu : code, prose ou multilingue
- Normalisez les embeddings pour des comparaisons de similarité cosinus fiables
- Utilisez le chevauchement de tokens lors du découpage pour préserver le contexte entre les frontières
Éviter
- Mélanger différents modèles d'embedding dans le même index
- Ignorer les limites de tokens et tronquer le contenu au milieu d'une idée
- Sauter le prétraitement, permettant au bruit de dégrader la qualité des embeddings
Foire aux questions
Quel modèle d'embedding devrais-je utiliser pour commencer ?
Comment choisir la taille des chunks ?
Puis-je utiliser des modèles d'embedding locaux ?
Comment évaluer la qualité de mes embeddings ?
Devrais-je normaliser les embeddings ?
Quel prétraitement devrais-je appliquer ?
Détails du développeur
Auteur
wshobsonLicence
MIT
Dépôt
https://github.com/wshobson/agents/tree/main/plugins/llm-application-dev/skills/embedding-strategiesRéf
main
Structure de fichiers
📄 SKILL.md