rag-implementation

예상 결과:

• 제어된 폴더에서 정책 문서를 로드하고 800 토큰 청크로 분할합니다.
• text-embedding-ada-002를 사용하여 임베딩을 생성하고 벡터 데이터베이스에 저장합니다.
• BM25와 의미론적 검색을 결합한 하이브리드 검색을 사용한 후 상위 20개 결과를 리랭킹합니다.
• 소스 파일과 섹션 번호를 참조하는 인용과 함께 답변합니다.

예상 결과:

• 대부분의 문서에 10-20% 중첩과 함께 500-1000 토큰을 사용합니다.
• 더 작은 청크(400 토큰)는 특정 쿼리에 대한 검색 정밀도를 향상시킵니다.
• 더 큰 청크(1500+ 토큰)는 컨텍스트가 필요한 내러티브 콘텐츠에 더 적합합니다.
• 소스 파일 및 섹션 헤더와 같은 메타데이터를 추가하여 필터링을 가능하게 합니다.

예상 결과:

• 로컬 테스트 및 프로토타입을 위한 Chroma - 간단한 설정, 인프라 없음.
• 자동 확장과 최소한의 운영이 포함된 관리형 서비스인 Pinecone.
• 벡터와 키워드 매칭을 결합한 하이브리드 검색 요구 사항을 위한 Weaviate.
• 네트워크가 필요 없는 완전한 오프라인 배포를 위해 FAISS를 고려합니다.