langfuse
Ajoutez l'observabilité et le traçage LLM à vos applications IA
Déboguez et surveillez vos applications LLM avec un traçage complet et une évaluation. Langfuse fournit une observabilité open-source pour suivre les coûts, la latence et la qualité de vos flux de travail IA.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "langfuse". L'utilisateur demande de l'aide pour tracer une application de chat OpenAI avec Langfuse
Résultat attendu:
- Code d'initialisation montrant la configuration du client Langfuse avec les clés API et la configuration de l'hôte
- Création de trace avec les champs user_id, session_id et métadonnées
- Journalisation de génération capturant les messages d'entrée, les paramètres du modèle et l'utilisation des jetons
- Exemple de scoring des traces basé sur les critères de feedback utilisateur ou automatisés
Utilisation de "langfuse". L'utilisateur a besoin de l'intégration de callback LangChain pour son pipeline RAG
Résultat attendu:
- Configuration du CallbackHandler avec la clé publique, la clé secrète et le suivi de session optionnel
- Configuration montrant comment passer les gestionnaires aux appels chain.invoke()
- Exemple de configuration du gestionnaire de callback global pour le traçage automatique
- Exemple de sortie de trace montrant les spans imbriqués pour les appels retriever et LLM
Audit de sécurité
SûrAll 17 static analysis findings are false positives. The skill is documentation for Langfuse, an open-source LLM observability platform. External command detections are Python code examples, not shell execution. Network URLs are legitimate API endpoints. API key references are placeholder examples in documentation.
Facteurs de risque
🌐 Accès réseau (2)
🔑 Variables d’environnement (2)
Score de qualité
Ce que vous pouvez construire
Surveillance des applications LLM en production
Suivez et déboguez les applications IA en direct avec une visibilité complète des traces. Surveillez les coûts en jetons, la latence des réponses et les taux d'erreur sur les sessions utilisateur.
Développement et test de prompts
Versionnez les prompts, comparez les sorties entre les itérations et exécutez des tests A/B. Utilisez des ensembles de données pour évaluer systématiquement les modifications de prompts avant le déploiement.
Optimisation des coûts et des performances de l'IA
Analysez les modèles d'utilisation des jetons, identifiez les opérations coûteuses et optimisez la sélection des modèles. Configurez des alertes pour les anomalies de coûts et la dégradation des performances.
Essayez ces prompts
Aidez-moi à configurer le traçage Langfuse pour mon application OpenAI. J'ai besoin de suivre les complétions de chat avec les IDs utilisateur et les IDs de session. Montrez-moi le code Python pour initialiser Langfuse et envelopper mes appels OpenAI existants.
J'ai une application LangChain avec des chaînes et des agents personnalisés. Guidez-moi pour ajouter des gestionnaires de callback Langfuse pour tracer toutes les exécutions de chaînes, y compris les appels imbriqués et l'utilisation des outils.
Je veux gérer plusieurs versions de mes prompts système dans Langfuse et comparer leurs performances. Montrez-moi comment créer des prompts dans Langfuse, les récupérer dans le code et analyser quelles versions fonctionnent mieux.
Aidez-moi à construire un pipeline d'évaluation qui note mes sorties LLM en fonction de la pertinence et de la précision. J'ai besoin de créer des ensembles de données de test, définir des critères de scoring et exécuter des évaluations par lots pour comparer les versions de modèles.
Bonnes pratiques
- Appelez toujours langfuse.flush() dans les environnements serverless pour vous assurer que les traces sont envoyées avant la fin de la fonction
- Incluez user_id et session_id sur toutes les traces pour permettre le débogage au niveau utilisateur et l'analytique de session
- Utilisez des noms de traces et de spans significatifs qui reflètent la logique métier plutôt que des noms de fonctions génériques
Éviter
- Ne pas flush les traces dans les fonctions serverless, causant une perte de données à la fin de l'exécution
- Tracer chaque opération sans filtrage, créant du bruit et une surcharge de performances
- Manquer d'identifiants utilisateur et de session, limitant la capacité de déboguer des expériences utilisateur spécifiques