Gumloop 功能规格 - Agent Analytics

初始上下文

功能: Agent Analytics — 每个自定义 Agent 拥有独立分析页，展示使用频次、谁在用、哪些工具被调用最多
版本起源: v10.5.0 "Telegraph Cove" (2026-06-29)
解决的问题: Agent owner 上线 Agent 后是黑箱——不知道谁在用、用得多频繁、哪些工具被调用，无法针对性优化
战略动机: 组织级 Organization Analytics（v9.0.0）下沉到单 Agent 维度。组织级管"花多少信用"，单 Agent 管"Agent 健不健康"
评分: 5/13（战略1 护城河1 用户2 复杂度1 创新0）· 🔶 用户提级生成

1. 概览

背景：Analytics 能力层级

┌──────────────────────────────────────────────────────────────────────┐
│                     Analytics 能力层级                                    │
├──────────────────────────────────────────────────────────────────────┤
│   组织级 (v9.0.0)              单 Agent 级 (v10.5.0)                       │
│   ┌──────────────┐             ┌──────────────┐                         │
│   │ 全组织信用消耗 │             │ 这个 Agent：   │                         │
│   │ 全组织 Agent 采纳│           │  - 谁在用      │                         │
│   │ 全组织 MCP 活动 │            │  - 用得多频繁   │                         │
│   │ (Insights 仪表盘)│          │  - 哪些工具调用多│                         │
│   └──────────────┘             └──────────────┘                         │
│   "花多少钱"                    "健不健康"                                │
└──────────────────────────────────────────────────────────────────────┘

目标

让 Agent owner 看见 Agent 真实使用情况——谁、何时、用哪些工具
支撑数据驱动的 Agent 优化——找出冷门工具移除、热门场景强化
为 Agent ROI 评估提供依据——证明 Agent 值得维护或需要迭代

2. 核心机制 [基于 Changelog 推断]

核心指标维度

维度	展示内容	运营意义
使用频次	对话数趋势（日/周/月）、活跃对话数	Agent 是否在被用、增长还是衰退
活跃对话者	谁在用、Top 用户、新老用户构成	谁是核心用户、可收集反馈
工具调用排行	哪些工具被调用最多/最少	热门工具强化、冷门工具移除减负
信用消耗	该 Agent 的信用占用、平均每对话成本	ROI 评估、成本异常检测

与既有能力协同

Organization Analytics Agent (v9.0.0)：组织级问答式分析，单 Agent Analytics 是其下沉视图
Insights Dashboard (v10.2.0)：组织信用分解，单 Agent 信用维度与之对齐
Agent Chat Evaluations (v10.0.0)：质量维度，与使用维度互补（"用得多"+"用得好"）

3. 功能需求

模块 A — 分析页展示

ID	触发场景	系统行为	优先级
A1	owner 打开 Agent 配置	显示 Analytics tab（仅 owner/编辑者可见）	P0
A2	进入 Analytics tab	展示使用频次图表（对话数趋势）	P0
A3	进入 Analytics tab	展示活跃对话者列表（Top 用户）	P0
A4	进入 Analytics tab	展示工具调用排行（最多/最少）	P0
A5	进入 Analytics tab	展示信用消耗（总量 + 每对话均值）	P1

模块 B — 时间筛选与下钻

ID	触发场景	系统行为	优先级
B1	owner 选时间范围	所有图表按所选范围刷新	P0
B2	owner 点击某条对话	跳转到该对话详情（需有权限）	P1

4. 用户场景

Agent owner 优化客服 Agent

作为客服 lead，我想知道支持 Agent 上线一个月后到底有没有人用、用得最多的工具是什么——这样我能决定是继续投入优化，还是砍掉冷门工具减负。

画像：张敏，32 岁，客服团队 lead，维护一个客户支持 Agent，接了 Zendesk、Gmail、Knowledge Base。

验收标准：

打开支持 Agent 的 Analytics tab，看到 30 天对话数趋势图
看到 Top 5 活跃用户（哪些客服在用）
看到工具调用排行：Zendesk（高频）、Gmail（中频）、Knowledge Base（零调用）
决策：强化 Zendesk 流程，移除 Knowledge Base 工具减负

5. 竞争分析

竞品	优势	劣势
LangSmith	粒度细（每 token）、专业	偏开发调试，非 owner 运营视角
Braintrust	评估与数据结合	偏技术用户
ChatGPT (GPTs)	简单、消费侧	指标浅（只有用量，无工具调用）

关键洞察

AgentOps 可观测性是 Agent 平台成熟期标配。Gumloop 差异化是"工具调用排行"——直接指导 Agent 配置优化
单 Agent 分析是组织 Analytics 的自然下沉，粒度细化，护城河有限
缺少"分析 → 自动优化"闭环，当前止步于展示数据，未联动 Reflections 自动改进

6. 遥测

漏斗阶段	事件名称	指标/KPI	优先级
采用	`agent_analytics_viewed`	Analytics 周活跃查看率	P0
影响	`agent_tool_removed_after_analytics`	数据驱动优化率	P1
影响	`agent_analytics_driven_edit`	优化迭代率	P1

7. 未来演进方向

阶段	时间线	里程碑	状态
Phase 1 — 单 Agent 分析	v10.5.0	基础指标（使用/用户/工具/信用）	已发布
Phase 2 — 深度下钻	v10.x	单对话路径分析、工具失败率、对话漏斗	规划中
Phase 3 — 分析驱动优化	v11.x	联动 Reflections——基于分析数据自动建议 Agent 改进	探索中
Phase 4 — Agent 健康度评分	远期	综合使用+质量+成本的"Agent 健康分"，主动告警低分 Agent	探索中

📚 源文档参考

无独立帮助文档 — 基于 Gumloop v10.5.0 Changelog + 竞品推断（Organization Analytics 已有文档）