langfuse
AI 애플리케이션에 LLM 관찰 가능성 및 추적 기능 추가
Langfuse의 종합적인 추적 및 평가 기능을 사용하여 LLM 애플리케이션을 디버그하고 모니터링하세요. Langfuse는 AI 워크플로우 전반에 걸쳐 비용, 지연 시간 및 품질을 추적하기 위한 오픈소스 관찰 가능성을 제공합니다.
스킬 ZIP 다운로드
Claude에서 업로드
설정 → 기능 → 스킬 → 스킬 업로드로 이동
토글을 켜고 사용 시작
테스트해 보기
"langfuse" 사용 중입니다. Langfuse로 OpenAI 채팅 애플리케이션 추적에 도움을 요청하는 사용자
예상 결과:
- API 키 및 호스트 구성이 포함된 Langfuse 클라이언트 설정 초기화 코드
- user_id, session_id 및 메타데이터 필드가 포함된 추적 생성
- 입력 메시지, 모델 매개변수 및 토큰 사용량을 캡처하는 생성 로깅
- 사용자 피드백 또는 자동화된 기준에 따라 추적에 점수를 매기는 예시
"langfuse" 사용 중입니다. RAG 파이프라인을 위한 LangChain 콜백 통합이 필요한 사용자
예상 결과:
- 공개 키, 비밀 키 및 선택적 세션 추적이 포함된 CallbackHandler 설정
- chain.invoke() 호출에 핸들러를 전달하는 방법を示す構成
- 자동 추적을 위한 전역 콜백 핸들러 설정 예시
- 리트리버 및 LLM 호출에 대한 중첩된 스팬을 보여주는 샘플 추적 출력
보안 감사
안전All 17 static analysis findings are false positives. The skill is documentation for Langfuse, an open-source LLM observability platform. External command detections are Python code examples, not shell execution. Network URLs are legitimate API endpoints. API key references are placeholder examples in documentation.
위험 요인
🌐 네트워크 접근 (2)
🔑 환경 변수 (2)
품질 점수
만들 수 있는 것
프로덕션 LLM 애플리케이션 모니터링
전체 추적 가시성으로 실시간 AI 애플리케이션을 추적하고 디버그하세요. 사용자 세션 전반에서 토큰 비용, 응답 지연 시간 및 오류율을 모니터링합니다.
프롬프트 개발 및 테스트
프롬프트를 버전 관리하고, 반복적으로 출력을 비교하고, A/B 테스트를 실행하세요. 배포 전에 프롬프트 변경을 체계적으로 평가하기 위해 데이터세트를 사용하세요.
AI 비용 및 성능 최적화
토큰 사용량 패턴을 분석하고 비용이 많이 드는 작업을 식별하며 모델 선택을 최적화하세요. 비용 이상 및 성능 저하에 대한 알림을 설정하세요.
이 프롬프트를 사용해 보세요
OpenAI 애플리케이션에 Langfuse 추적을 설정하도록 도와주세요. 사용자 ID와 세션 ID로 채팅 완료를 추적해야 합니다. Langfuse를 초기화하고 기존 OpenAI 호출을 래핑하는 Python 코드를 보여주세요.
사용자 정의 체인과 에이전트가 있는 LangChain 애플리케이션이 있습니다. 모든 체인 실행, 중첩된 호출 및 도구 사용량을 추적하기 위해 Langfuse 콜백 핸들러 추가를 안내해 주세요.
Langfuse에서 시스템 프롬프트의 여러 버전을 관리하고 성능을 비교하고 싶습니다. Langfuse에서 프롬프트를 생성하고 코드에서 검색하며 어떤 버전이 더 나은 성능을 보이는지 분석하는 방법을 보여주세요.
관련성 및 정확성을 기반으로 LLM 출력에 점수를 매기는 평가 파이프라인 구축을 도와주세요. 테스트 데이터세트를 생성하고, 점수 매기기 기준을 정의하고, 모델 버전을 비교하기 위해 일괄 평가를 실행해야 합니다.
모범 사례
- 서버리스 환경에서 항상 langfuse.flush()를 호출하여 함수 종료 전에 추적이 전송되도록 하세요
- 모든 추적에 user_id 및 session_id를 포함하여 사용자 수준 디버그 및 세션 분석을 활성화하세요
- 일반적인 함수 이름 대신 비즈니스 로직을 반영하는 의미 있는 추적 및 스팬 이름을 사용하세요
피하기
- 서버리스 함수에서 추적을 플러시하지 않아 실행结束时 데이터 손실 발생
- 필터링 없이 모든 작업을 추적하여 노이즈 및 성능 오버헤드 생성
- 특정 사용자 경험 디버그 능력이 제한되는 사용자 및 세션 식별자 누락