similarity-search-patterns
벡터 데이터베이스로 프로덕션 수준의 유사도 검색 구축하기
Également disponible depuis: wshobson
벡터 유사도 검색은 시맨틱 검색과 RAG 시스템에 필수적이지만 신중한 인덱스 선택과 튜닝이 필요합니다. 이 스킬은 하이브리드 검색과 리랭킹 기능을 갖춘 Pinecone, Qdrant, pgvector, Weaviate 에 대한 즉시 사용 가능한 패턴을 제공합니다.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "similarity-search-patterns". 95% 재현율 목표로 100 만 개 제품 임베딩을 위해 Qdrant 설정
Résultat attendu:
- HNSW 인덱스 (m=16, ef_construct=64) 로 컬렉션 생성됨
- 스칼라 양자화 (INT8) 활성화로 메모리 4 배 감소
- 추천 search params: 95% 재현율과 P99 약 50ms 를 위한 ef=128
Utilisation de "similarity-search-patterns". 'machine learning optimization' 에 대한 문서 하이브리드 검색
Résultat attendu:
- 벡터 검색으로 20 개의 시맨틱적으로 유사한 문서 검색됨
- BM25 가 'optimization' 에 대한 정확한 용어 일치 필터링
- 리랭킹된 결과는 0.6/0.4 가중치로 두 신호를 결합
Audit de sécurité
SûrAll 31 static analysis findings are false positives. The scanner incorrectly flagged Markdown documentation syntax as executable code. Backticks are code fence markers, URLs are documentation links, and API key parameters represent secure credential handling. The skill contains Python code examples for vector database implementations with no security concerns.
Score de qualité
Ce que vous pouvez construire
RAG 애플리케이션 개발자
문서 임베딩에 대한 효율적인 벡터 검색으로 검색 증강 생성 (RAG) 을 구현합니다. 정확한 컨텍스트 검색을 위해 시맨틱 매칭과 키워드 매칭을 결합한 하이브리드 검색을 지원합니다.
추천 엔진 개발자
벡터 임베딩을 사용한 최근접 이웃 추천 시스템을 구축합니다. HNSW 인덱싱을 활용하여 수백만 항목에 대해 초당 1 초 미만의 쿼리와 구성 가능한 재현율 임계값을 제공합니다.
검색 플랫폼 엔지니어
PostgreSQL pgvector 또는 관리형 서비스로 프로덕션 수준의 유사도 검색 인프라를 배포합니다. 엔터프라이즈 검색 품질을 위한 사전 필터링과 리랭킹 파이프라인을 구현합니다.
Essayez ces prompts
문서 임베딩을 저장하고 검색해야 합니다. 1536 차원 임베딩에 대해 코사인 유사도를 사용하는 Pinecone 벡터 인덱스를 설정해 주세요. 메타데이터 필터링을 포함한 upsert 와 search 함수를 포함해 주세요.
pgvector 를 사용하여 벡터 유사성과 키워드 매칭을 결합하는 하이브리드 검색 함수를 생성해 주세요. 벡터 검색 가중치는 0.7, 전문 검색은 0.3 으로 설정합니다. HNSW 인덱스를 포함한 SQL 스키마를 포함해 주세요.
50 개의 벡터 검색 결과가 있지만 더 나은 순위 지정이 필요합니다. cross-encoder 모델로 리랭킹하는 방법을 보여주세요. sentence-transformers 코드를 포함하고 지연 시간과 정확도 간의 트레이드오프를 설명해 주세요.
1 천만 개의 벡터가 있고 P99 지연 시간을 95% 재현율로 100ms 미만으로 유지해야 합니다. Qdrant 에 대한 인덱스 유형과 파라미터를 추천해 주세요. 제 사용 사례에 대한 ef_construct, nprobe, 양자화 설정을 설명해 주세요.
Bonnes pratiques
- 소규모 데이터셋 (10 만 개 미만 벡터) 에는 flat 인덱스로 시작한 후 데이터가 성장하면 HNSW 로 마이그레이션
- 근사 인덱스 배포 전에 대상 지연 시간에서 재현율 항상 측정
- 벡터 비교 전에 메타데이터 사전 필터링으로 검색 공간 축소
Éviter
- 재현율 저하 측정 없이 근사 최근접 이웃 인덱스 사용
- 메모리 제한 상황에서 양자화 없이 원시 벡터 저장
- 사전 필터 없이 쿼리하여 대규모 컬렉션에서 전체 인덱스 스캔 발생
Foire aux questions
프로젝트에 어떤 벡터 데이터베이스를 선택해야 하나요?
코사인 유사도와 내적의 차이점은 무엇인가요?
지연 시간을 희생하지 않고 검색 재현율을 개선하려면 어떻게 해야 하나요?
삽입 후 벡터를 업데이트할 수 있나요?
어떤 임베딩 차원을 사용해야 하나요?
다국어 검색은 어떻게 처리하나요?
Détails du développeur
Auteur
sickn33Licence
MIT
Dépôt
https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/similarity-search-patternsRéf
main
Structure de fichiers