embedding-strategies
Оптимизация моделей эмбеддингов для семантического поиска
Выбор правильной модели эмбеддингов и стратегии чанкинга критически важен для качества поиска. Этот навык предоставляет шаблоны и лучшие практики для реализации высококачественных конвейеров векторного поиска.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "embedding-strategies". Recommend an embedding model for a legal document search system. I need high accuracy and can use API services.
Résultat attendu:
- Recommended: text-embedding-3-large (3072 dimensions) or voyage-2 (1024 dimensions)
- text-embedding-3-large: Best accuracy, handles 8191 tokens, ideal for long legal clauses
- voyage-2: Specialized for legal/code, 1024 dimensions, 4000 token limit
- Consider chunking legal documents by section headers to preserve clause context
Utilisation de "embedding-strategies". How should I chunk my technical documentation for a RAG system?
Résultat attendu:
- Strategy: Use semantic chunking by headers combined with recursive character splitting
- Recommended chunk size: 512 tokens with 50 token overlap
- Preserve code examples as complete chunks
- Add context metadata linking chunks to original sections
Audit de sécurité
Risque faibleAll static findings are false positives. C2 keyword alerts triggered by hash hex strings. Weak crypto alerts from hash substrings. External command alerts from ASCII flow diagrams using arrows. Hardcoded URL alerts are legitimate documentation links. No malicious code, command execution, or data exfiltration patterns found.
Score de qualité
Ce que vous pouvez construire
Создание систем RAG
Реализация поиска с дополнением генерации путём выбора подходящих моделей эмбеддингов и стратегий чанкинга для вашего корпуса документов.
Оптимизация семантического поиска
Улучшение релевантности поиска путём выбора моделей эмбеддингов, соответствующих типу вашего контента, и реализации правиль��ого чанкинга и предобработки.
Создание конвейеров эмбеддингов
Создание масштабируемых конвейеров, которые обрабатывают документы, разбивают контент на чанки, генерируют эмбеддинги и подготавливают записи для векторных баз данных.
Essayez ces prompts
I need to choose an embedding model for my [use case: code search / multilingual documents / legal contracts]. My priorities are [priority: accuracy / cost / speed]. I have [constraints: limit on dimensions / need open source / need API access]. Recommend 3 models with rationale.
Help me implement chunking for my [data type: technical documentation / conversational data / code]. I need to handle [requirement: preserve context / maintain semantic boundaries / limit chunk size]. Provide Python code for [strategy: token-based / sentence-based / recursive character] chunking.
Create a Python pipeline that [input: processes documents from source / generates embeddings / stores in vector database]. Include [feature: batching / progress tracking / metadata handling]. Use [model: OpenAI embeddings / sentence-transformers].
My embedding-based retrieval has [problem: low recall / inconsistent results / poor precision]. My setup uses [model details]. Analyze potential causes and suggest improvements for [metric: precision at k / recall / ndcg].
Bonnes pratiques
- Сопоставьте модель эмбеддингов с типом контента: код, проза или многоязычный контент
- Нормализуйте эмбеддинги для надёжного сравнения косинусного сходства
- Используйте перекрытие токенов при чанкинге для сохранения контекста через границы чанков
Éviter
- Смешивание разных моделей эмбеддингов в одном индексе
- Игнорирование лимитов токенов и обрезка контента на полуслове
- Пропуск предобработки, позволяя шуму ухудшать качество эмбеддингов
Foire aux questions
Какую модель эмбеддингов мне использовать для начала?
Как выбрать размер чанка?
Могу ли я использовать локальные модели эмбеддингов?
Как оценить качество моих эмбеддингов?
Следует ли нормализовать эмбеддинги?
Какую предобработку следует применить?
Détails du développeur
Auteur
wshobsonLicence
MIT
Dépôt
https://github.com/wshobson/agents/tree/main/plugins/llm-application-dev/skills/embedding-strategiesRéf
main
Structure de fichiers
📄 SKILL.md