langfuse
为您的AI应用添加LLM可观测性和追踪
使用全面的追踪和评估功能来调试和监控您的LLM应用。Langfuse提供开源可观测性功能,用于追踪AI工作流中的成本、延迟和质量。
تنزيل ZIP المهارة
رفع في Claude
اذهب إلى Settings → Capabilities → Skills → Upload skill
فعّل وابدأ الاستخدام
اختبرها
استخدام "langfuse". 用户请求帮助使用Langfuse追踪OpenAI聊天应用
النتيجة المتوقعة:
- 初始化代码展示Langfuse客户端设置,包含API密钥和主机配置
- 创建追踪,包含user_id、session_id和元数据字段
- 生成日志记录捕获输入消息、模型参数和token使用量
- 基于用户反馈或自动标准对追踪进行评分的示例
استخدام "langfuse". 用户需要为其RAG管道集成LangChain回调
النتيجة المتوقعة:
- CallbackHandler设置,包含公钥、私钥和可选的会话追踪
- 配置展示如何将处理器传递给chain.invoke()调用
- 设置全局回调处理器进行自动追踪的示例
- 展示检索器和LLM调用嵌套跨度的示例追踪输出
التدقيق الأمني
آمنAll 17 static analysis findings are false positives. The skill is documentation for Langfuse, an open-source LLM observability platform. External command detections are Python code examples, not shell execution. Network URLs are legitimate API endpoints. API key references are placeholder examples in documentation.
عوامل الخطر
🌐 الوصول إلى الشبكة (2)
🔑 متغيرات البيئة (2)
درجة الجودة
ماذا يمكنك بناءه
生产环境LLM应用监控
通过完整的追踪可见性跟踪和调试实时AI应用。监控用户会话中的token成本、响应延迟和错误率。
提示词开发和测试
版本化提示词,跨迭代比较输出,并运行A/B测试。使用数据集在部署前系统化评估提示词更改。
AI成本和性能优化
分析token使用模式,识别昂贵操作,并优化模型选择。为成本异常和性能下降设置警报。
جرّب هذه الموجهات
帮助我为我的OpenAI应用设置Langfuse追踪。我需要使用用户ID和会话ID跟踪聊天补全。向我展示初始化Langfuse并包装现有OpenAI调用的Python代码。
我有一个包含自定义链和代理的LangChain应用。指导我添加Langfuse回调处理器来追踪所有链执行,包括嵌套调用和工具使用。
我想在Langfuse中管理多个版本的系统提示词并比较它们的性能。向我展示如何在Langfuse中创建提示词、在代码中检索它们,以及分析哪些版本表现更好。
帮助我构建一个基于相关性和准确性对LLM输出进行评分的评估管道。我需要创建测试数据集、定义评分标准,并运行批量评估来比较模型版本。
أفضل الممارسات
- 在无服务器环境中始终调用langfuse.flush()以确保在函数退出前发送追踪
- 在所有追踪上包含user_id和session_id以启用用户级调试和会话分析
- 使用反映业务逻辑的有意义的追踪和跨度名称,而不是通用函数名称
تجنب
- 在无服务器函数中不刷新追踪,导致执行结束时数据丢失
- 追踪每个操作而不进行过滤,造成噪音和性能开销
- 缺少用户和会话标识符,限制调试特定用户体验的能力