langfuse
Adicione Observabilidade e Rastreamento LLM às Suas Aplicações de IA
Depure e monitore suas aplicações LLM com rastreamento e avaliação abrangentes. O Langfuse fornece observabilidade open-source para rastrear custos, latência e qualidade em seus fluxos de trabalho de IA.
تنزيل ZIP المهارة
رفع في Claude
اذهب إلى Settings → Capabilities → Skills → Upload skill
فعّل وابدأ الاستخدام
اختبرها
استخدام "langfuse". Usuário pede ajuda para rastrear uma aplicação de chat OpenAI com Langfuse
النتيجة المتوقعة:
- Código de inicialização mostrando setup do cliente Langfuse com chaves de API e configuração de host
- Criação de trace com campos user_id, session_id e metadata
- Log de generation que captura mensagens de input, parâmetros do modelo e uso de tokens
- Exemplo de pontuação de traces baseado em feedback do usuário ou critérios automatizados
استخدام "langfuse". Usuário precisa de integração callback LangChain para seu pipeline RAG
النتيجة المتوقعة:
- Setup do CallbackHandler com public key, secret key e rastreamento de sessão opcional
- Configuração mostrando como passar handlers para chamadas chain.invoke()
- Exemplo de configuração de callback handler global para rastreamento automático
- Saída de trace de exemplo mostrando spans aninhados para chamadas de retriever e LLM
التدقيق الأمني
آمنAll 17 static analysis findings are false positives. The skill is documentation for Langfuse, an open-source LLM observability platform. External command detections are Python code examples, not shell execution. Network URLs are legitimate API endpoints. API key references are placeholder examples in documentation.
عوامل الخطر
🌐 الوصول إلى الشبكة (2)
🔑 متغيرات البيئة (2)
درجة الجودة
ماذا يمكنك بناءه
Monitoramento de Aplicações LLM em Produção
Rastreie e depure aplicações de IA ao vivo com visibilidade completa de traces. Monitore custos de tokens, latência de resposta e taxas de erro em sessões de usuário.
Desenvolvimento e Teste de Prompts
Versione prompts, compare saídas entre iterações e execute testes A/B. Use datasets para avaliar sistematicamente mudanças de prompts antes da implantação.
Otimização de Custos e Desempenho de IA
Analise padrões de uso de tokens, identifique operações caras e otimize seleção de modelos. Configure alertas para anomalias de custo e degradação de desempenho.
جرّب هذه الموجهات
Ajude-me a configurar rastreamento Langfuse para minha aplicação OpenAI. Preciso rastrear chat completions com user IDs e session IDs. Mostre-me o código Python para inicializar o Langfuse e envolver minhas chamadas OpenAI existentes.
Tenho uma aplicação LangChain com chains e agents customizados. Guie-me na adição de Langfuse callback handlers para rastrear todas as execuções de chain, incluindo chamadas aninhadas e uso de ferramentas.
Quero gerenciar múltiplas versões dos meus system prompts no Langfuse e comparar seu desempenho. Mostre-me como criar prompts no Langfuse, recuperá-los no código e analisar quais versões performam melhor.
Ajude-me a construir um pipeline de avaliação que pontua minhas saídas LLM baseado em relevância e precisão. Preciso criar datasets de teste, definir critérios de pontuação e executar avaliações em batch para comparar versões de modelo.
أفضل الممارسات
- Sempre chame langfuse.flush() em ambientes serverless para garantir que traces sejam enviados antes da saída da função
- Inclua user_id e session_id em todos os traces para habilitar depuração a nível de usuário e análises de sessão
- Use nomes de trace e span significativos que reflitam lógica de negócio ao invés de nomes genéricos de função
تجنب
- Não flushar traces em funções serverless, causando perda de dados quando a execução termina
- Rastrear toda operação sem filtragem, criando ruído e overhead de desempenho
- Falta de identificadores de usuário e sessão, limitando habilidade de depurar experiências de usuário específicas