初始上下文

产品/团队
Gumloop / AI Agent 平台 · Agent 能力面
功能
Agent Browser 让 agent 在云沙箱里驱动一个真 Chromium——开页、点击、输入、滚动、切标签、读屏(含 JS 重页面),用保存的登录与 2FA 登录而 agent 从不见密码,遇到登录/CAPTCHA/购买确认时暂停把浏览器交给用户,全程可实时观看 + 录像回放,可经住宅代理从指定国家访问
版本起源
v12.0.0 "Kelowna" (2026-10-06)
解决的问题
Agent 一直困在"连接器墙"后面——只有被 connector 覆盖的 app 才能碰;互联网上绝大多数站点没有 API,需要登录态或真实浏览器的流程更是死角。用户真正想要的 agent 是"能像人一样把网页上的事办了"
战略动机
(1) 破墙——连接器永远覆盖不了长尾,浏览器抹掉这堵墙,能力边界改为"真人级网页操作"。(2) 企业可托付——浏览器 agent 业界已有,Gumloop 赌在"企业敢把账号和系统交给它":密码永不可见 + 安全填充校验 host + handoff 锁 host + 录像审计 + 角色级开关。(3) 与 API/连接器路线分道——从"集成广度竞赛"转向"通用操作能力"
评分
10/13(战略2 护城河2 用户3 复杂度2 创新1)[初始11→质疑-1→最终10] · ✅ SPEC 候选(agent 能力面扩张,破连接器之墙)

1. 概览

背景:从"连接器世界"到"整个互联网"

┌──────────────────────────────────────────────────────────────────────┐
│                   Agent 的能力边界                                     │
├──────────────────────────────────────────────────────────────────────┤
│  连接器时代(v9~v11)              浏览器时代(v12.0+)                │
│  ────────────────────              ──────────────────────             │
│  · native connectors(100+ app)    · 任意网站(有无 API 皆可)        │
│  · MCP servers                      · 需 JS/登录态的站点              │
│  · 覆盖:有官方 API/集成的 app       · 覆盖:真人能在浏览器做的任何事   │
│  · 边界:connector 墙               · 边界:消失(with or without)    │
│                                                                        │
│  ── 两条路径不是替代,是互补 ──                                       │
│  连接器:更快更稳(官方 API)  →  有集成时优先用连接器                  │
│  浏览器:更通用(长尾/无 API) →  没集成时的通用解                     │
└──────────────────────────────────────────────────────────────────────┘

目标

  • 通用网页操作——像人一样开页/点击/输入/滚动/切标签/读屏,含 JS 重页面
  • 安全登录——用保存的登录与 2FA 登录,agent 永不见密码;跨任务保持登录
  • 人在环上——遇到只有人能做的步骤暂停并交给人
  • 可监督可审计——实时观看 + 录像回放每一步
  • 企业可托付——密码保管、按 host 校验的填充、角色级开关、住宅代理

官方明确建议:当连接器覆盖该 app(Gmail/Salesforce/Notion 等)时,用连接器更快更可靠,浏览器留给没有连接器的站点与任务。

2. 核心机制 [文档已验证]

全部机制来自官方文档 docs.gumloop.com/core-concepts/agent_browser,未做推断。

2.1 能力清单(六项)

能力说明
拟人浏览开页、点击、输入、滚动、切标签、读屏(含 JS 重页面)
不见密码地登录键入保存的登录与 2FA 码;agent 从不见密码
跨任务保持登录回合末把新登录存入 browser profile,下个任务已登录
求人帮忙遇登录/2FA/CAPTCHA/购买确认时暂停并把浏览器交给你
展示过程侧栏实时观看 + 事后录像回放每一步
异地浏览经住宅代理让站点看到来自所选国家的访客

2.2 开启与授权

① agent ability:Browser 开关(自定义 agent 配置面)
   ├─ 新建自定义 agent:创建者角色允许时 → 默认开启
   ├─ 既有自定义 agent:默认关,需有人在 Browser 段打开
   └─ Gumball:只要角色允许即可用,无需配置
   ▼
② 组织治理:Custom Roles → Features → Agent browser(默认关)
   ├─ 未授权 → 显示 "Turned off for your role"
   └─ 授权后:从该人下一条消息生效,无人需重配 agent

2.4 接管(Browser Handoff)

Agent 遇到只有人能做的步骤
   ▼
┌─────────────────────┐
│ Handoff 卡片(chat)│  ← agent 暂停等你
└─────────────────────┘
   ├─ 你在卡片里填值 → agent 键入并继续
   ├─ 你直接在实时浏览器里做 → agent 继续
   └─ Skip → agent 不带它继续

2.5 安全模型(核心差异化)

防护机制
agent 永不见密码登录密码、2FA setup key、敏感 handoff 答案从不给 agent 看、不入沙箱;agent 按名字引用、由 Gumloop 键入;2FA 码在键入瞬间由 Gumloop 生成。username 非机密,agent 可读
防网页诱导每次安全填充校验目标 frame 的 scheme/port/host 与被保存登录一致;不符则什么都不填并让 agent 问你。handoff 答案锁定提问时的确切 host
防窥屏密码/码字段键入前后都打码(含站点有"显示密码"开关时);无法打码则跳过截图;值不入 transcript 与日志
⚠️ 诚实边界这些防护针对"网页诱导 agent 打字";不是对"agent 主动从自己沙箱提取值"的硬边界。应把 agent 能键入的任何登录视为其可用

2.6 限制与计费

限制值
窗口桌面 Chromium;不支持移动/设备模拟
Handoff 字段每次 ≤6
录像每步一片,超长在帧上限截断
登录保存回合末,非中途
Incognito chat不恢复也不保存 browser profile
沙箱与 Code Sandbox 共享

计费:浏览器无单独收费(代理/录像/实时观看免费)。按 agent chat 计费——Compute 5 credits/分钟(agent 在浏览器工作的时间)+ Chat & Reasoning;handoff 等你时不计费。

3. 功能需求

模块 A — 能力与开关(P0)

  • 自定义 agent 的 Browser ability 开关(含 Proxy / Browser profile / 1Password / +Login)
  • 新建自定义 agent 在创建者角色允许时默认开启;既有 agent 默认关
  • Gumball 在角色允许时自动可用
  • 关闭时级联关闭 proxy/profile/1Password;已绑定 Login 保留可移除

模块 B — 浏览与登录(P0)

  • 拟人操作:开页/点击/输入/滚动/切标签/读屏
  • 用保存登录与 2FA 登录;agent 不可见密码;按 host 校验的安全填充
  • 跨任务保持登录(回合末存入 profile)
  • 住宅代理(选国家)

模块 C — 人机接管(P0)

  • 六类触发暂停并出 handoff 卡片
  • 卡片填值 / 实时浏览器操作 / Skip 三条路径;每次 ≤6 字段
  • handoff 答案锁 host;等待不计费

模块 D — 观看与审计(P1)

  • Live 面板(蓝光、可直接点按、地址栏、他人占用提示)
  • Replay·N steps(逐步/播放/变速/截图标注)
  • 每步录像;回合末附上;subagent 录像留本 chat

模块 E — 组织治理(P0)

  • Custom Roles 的 Agent browser feature(默认关)
  • 未授权显示 "Turned off for your role";授权从下一条消息生效

模块 F — 计费与限制(P1)

  • Compute 5 credits/分钟 + Chat & Reasoning;handoff 等待不计费
  • 桌面 Chromium only;incognito 不存 profile

4. 用户场景

场景 1 — 运营专员的"无 API 后台"日常

画像:电商运营,每天在供应商门户查库存、下载对账单、提交补货单——这些系统都没有 API。

她把这套流程交给一个开启了浏览器能力的运营 agent,绑定了供应商门户的登录(agent 从不见密码)。每天 agent 自动登录门户、核对库存、下载对账单、生成补货建议;遇到采购确认这一步,agent 暂停并把浏览器交给她,她在 handoff 卡片里点确认,agent 继续。

验收标准:
  • agent 能登录无 API 的供应商门户并完成查库存/下载/提交
  • 敏感确认步骤触发 handoff,人不介入则 agent 不擅自确认
  • 全程可在 Live 面板实时观看,事后可回放每一步
  • 密码从不出现在 chat/录像/日志中

场景 2 — 合规岗的"agent 网页行为审计"

画像:合规经理,需要能向审计解释"agent 到底做了什么"。

团队用浏览器 agent 处理报销系统。合规经理通过 Browser replay 回看每一笔操作的时间轴——哪一步开了什么页面、在哪个字段填了什么(密码字段已打码)、何时 handoff 给了人。录像随 agent 消息保留,可随时调取。

验收标准:
  • 每步浏览器操作有录像且可回放(含标签条/地址栏)
  • 密码/码字段打码,无法打码则跳过截图
  • 录像不被复制到父 chat(subagent 留本 chat)
  • 能导出/展示作为审计证据

5. 竞争分析

维度Gumloop Agent BrowserChatGPT Operator / CometAnthropic Computer UseBrowserbase / Browser Use
定位agent 平台的 ability消费级浏览器 agent通用 computer use 原语给开发者的浏览器基建
连接器无关✅ with or without connector✅✅✅(要自己接)
登录保管✅ 密码 agent 不可见 + 按 host 校验部分需自建需自建
人机接管✅ handoff 卡片 + Live 接控有无内建需自建
录像回放✅ 逐步回放 + 截图标注有无有
组织治理✅ 默认关 + Custom Roles无(消费级)无无
计费5 credits/分钟(handoff 免费)订阅按量按 session

关键洞察

  • "能开浏览器"不是差异化,"企业敢托付"才是——密码保管、安全填充、handoff、审计、角色治理这一整套封装;护城河在"敢把员工账号和客户系统交给它"
  • 与连接器是互补而非替代——官方明确"有连接器时优先用连接器",浏览器是长尾的通用解
  • 诚实边界是信任设计——明说"挡不住 agent 主动提取自己沙箱里的值"
  • 消费级 vs 平台级的分野——Operator/Comet 面向个人;Gumloop 把浏览器做成平台的 per-agent ability + 组织治理

7. 未来演进方向

阶段时间线里程碑状态
Phase 1 — 基础浏览 + 安全登录v12.0.0真 Chromium + 保存登录/2FA + 安全填充校验 + profile 持久化 + 角色开关已发布
Phase 2 — 观看与接管v12.0.0Live 面板 + Replay 录像 + handoff 卡片 + 住宅代理已发布
Phase 3 — 可观测与复用v12.x浏览器步骤进入 Impact reports;浏览器 skill 化(把高频网页流程沉淀为可复用 skill)部分
Phase 4 — 移动/多模态远期设备模拟(移动端校验);更强文件处理;跨 agent 共享浏览器 profile 策略探索

关键演进判断

  • 浏览器流程的 skill 化是自然的下一步:高频网页流程应能像 v11.1 的 skill 那样被沉淀复用
  • 录像是审计资产:操作录像 + 已有的 audit logging 合流,是企业合规的强需求
  • "浏览器 + 连接器"的智能路由:agent 应自己判断该走连接器还是浏览器——路由层是体验的关键