FlowHunt 与 Langfuse 的可观测性

引言 – 本文解决了什么问题？

随着您在 FlowHunt 中的 AI 工作流不断扩展，理解幕后发生了什么变得至关重要。例如：“为什么这个工作流很慢？”、“我消耗了多少 token？”、“错误发生在哪里？”等问题，都需要对系统有详细的可见性。

没有合适的可观测性，调试 AI 工作流就像盲飞——只能看到结果，看不到过程。像 Langfuse 这样的追踪工具能够捕捉工作流执行的每一步，为性能、成本和行为提供细致的洞察。

本文将介绍如何将 FlowHunt 与 Langfuse 无缝连接，实现对所有 AI 工作流的全面可观测性。您将学会追踪执行路径、监控 token 使用、定位瓶颈，并可视化性能指标——所有这些都可在一个集中式仪表盘中完成。

阅读完毕后，您将拥有对 FlowHunt 工作区的全面可见性，助您优化工作流、降低成本、保障可靠性。

什么是可观测性？为什么需要它？

可观测性 是通过外部输出（主要是追踪、指标和日志）对系统内部状态进行观测和分析的实践。

对于运行 AI 工作流的 FlowHunt 用户，可观测性可以带来以下可见性：

• 展示每个工作流处理步骤的执行追踪
• 每次工作流运行的token 消耗及相关成本
• 包括延迟和响应质量的模型性能
• 识别失败及其根本原因的错误追踪
• AI 智能体中的用户交互和对话流程

没有可观测性，问题诊断变得被动且耗时。有了可观测性，您能主动洞察，持续优化并快速排障。

什么是 Langfuse？

Langfuse 是一款专为 LLM 应用打造的开源可观测性和分析平台。它能捕获 AI 工作流的详细追踪，为开发者和团队提供调试、监控和优化 AI 系统所需的洞察。

Langfuse 的主要特性包括：

• 详细追踪 LLM 调用、嵌入和智能体动作
• 成本追踪，自动统计 token 并计算价格
• 包括延迟、吞吐、错误率的性能指标
• 会话管理，归组相关交互
• 自定义仪表盘，可视化趋势和模式
• 团队协作，支持共享工作区与项目

将 Langfuse 连接到 FlowHunt 后，您可将原始执行数据转化为可操作的情报——明确什么有效、什么无效，以及优化的重点。

阅读本文后您将收获什么？

按照本指南，您将能够：

• 理解AI 工作流可观测性的价值
• 创建并配置Langfuse 账号和项目
• 使用 API 密钥将FlowHunt 连接到 Langfuse
• 访问 FlowHunt 工作流执行的实时追踪
• 在 Langfuse 中构建自定义仪表盘监控性能指标
• 基于追踪数据识别优化机会

如何将 FlowHunt 连接到 Langfuse

请按以下步骤启用 Langfuse 中的 FlowHunt 可观测性：

步骤 1：创建 Langfuse 账号

1. 访问 Langfuse 并点击 Sign Up。
2. 使用邮箱或 OAuth 方式完成注册。
3. 如有提示，验证您的邮箱地址。

步骤 2：创建新组织

1. 登录后会提示创建组织，或可点击 New Organization。
2. 输入组织名称（如“My Company”），点击 Create。

步骤 3：创建新项目

1. 在组织中，点击 New Project 按钮。
2. 给项目起一个有意义的名称（如“FlowHunt 生产环境”）。
3. 点击 Create 初始化项目。

步骤 4：生成 API 密钥

1. 创建项目后，系统会跳转到 Setup Tracing 标签页。
2. 点击 Create API Key 生成凭证。
3. 您将获得三项信息：
   • Secret Key（请妥善保管）
   • Public Key
   • Host（通常为 https://cloud.langfuse.com）
4. 重要提示： 请立即复制这些信息——Secret Key 只显示一次。

步骤 5：配置 FlowHunt 可观测性

1. 在浏览器中打开 app.flowhunt.io 。

2. 进入常规设置（通常在侧边栏或顶部菜单中）。

3. 滚动到底部，点击可观测性标签页。

4. 找到 Langfuse 区块，点击 Configure。

步骤 6：将 FlowHunt 连接到 Langfuse

1. 在 Langfuse 配置窗口，粘贴您的凭证：
   • 将 Public Key 填入 Public Key 字段
   • 将 Secret Key 填入 Secret Key 字段
   • 将 Host 填入 Host 字段（如 https://cloud.langfuse.com）
2. 点击 Save 或 Connect 完成集成。
3. 如集成成功，系统会显示确认信息。

步骤 7：验证连接

1. 返回您的 Langfuse 仪表盘。
2. 在 FlowHunt 中执行一次工作流以生成追踪数据。
3. 片刻后，您应能在 Langfuse 项目中看到对应的追踪。

Langfuse 可视化示例

连接后，您将获得强大的可视化和分析能力。以下是您可以生成的部分洞察示例：

1. 执行追踪时间线

详细查看每次工作流执行的时间线，包括：

• 每次 LLM 调用及其耗时
• 智能体处理的各个顺序步骤
• 嵌套的函数调用及依赖关系
• 每一步操作的精确时间戳

助您定位瓶颈，深入理解工作流行为。

2. Token 使用与成本分析

监控不同工作流的 token 消耗：

• 按工作流运行绘制的 token 柱状图
• 基于模型定价的累计成本计算
• 输入与输出 token 对比
• 随时间变化的趋势，预测预算需求

帮助识别高 token 消耗环节，实现成本优化。

3. 性能指标仪表盘

追踪关键性能指标：

• 各工作流的平均延迟
• 吞吐量（每小时完成的工作流数）
• 错误率与失败模式
• 不同模型供应商的响应时间

帮助维护 SLA 并优化用户体验。

4. 错误与异常追踪

识别并诊断失败：

• 列出带有错误信息的失败追踪
• 统计特定错误类型的出现频率
• 错误发生的时间序列视图
• 详细堆栈追踪，便于调试

加速故障排查，提高系统可靠性。

5. 用户会话分析

针对对话式 AI 智能体，追踪：

• 会话时长及消息数量
• 用户参与模式
• 对话流程可视化
• 多轮交互中的流失点

助力智能体优化和用户体验提升。

6. 模型对比仪表盘

对比不同 LLM 供应商的性能：

• 并排对比延迟表现
• 成本效率指标
• 质量分数（如有实现）
• 各模型的成功率

帮助基于真实数据做出模型选择决策。

总结

将 FlowHunt 与 Langfuse 集成，让您的 AI 工作流从“黑盒”变为透明、可优化的系统。通过全面的追踪，您可以洞察每一步执行，为性能、成本和可靠性做出数据驱动的决策。

Langfuse 可观测性集成让监控变得简单——只需配置 API 密钥，即可获得丰富的仪表盘，直观展现工作流在生产环境中的真实表现。

现在，您的 FlowHunt 工作区已经与 Langfuse 连接，具备了持续改进的基础：定位瓶颈、优化 token 使用、降低延迟，让 AI 系统在信心十足的前提下发挥最大价值。