跳到主要内容

Computer-Use与浏览器Agent

本目录写 Agent 操作 GUI 环境的工程契约：什么时候该用业务 API，什么时候用结构化浏览器工具，什么时候才上截图式 Computer Use 或桌面控制。

它不是再讲一遍 Playwright 选择器，也不是行业方案里的「后台录入 Agent」。网页任务的业务形态仍以 ../15-行业应用方案/浏览器Agent.md 为准。横向能力体系 14 Computer Use Agents 是通识长文；本目录按主库体例写选型、循环、沙箱、HITL 和评测契约。

核对日期：2026-08-26。Anthropic 已把 Computer Use / Browser Use 做成 GA client toolset（computer_toolset_20260801、browser_toolset_20260801），字段与批处理规则会变，实现以官方文档为准。旧 beta computer_20251124 仍存在，不要把 beta header 写成现行必填。

1. 阅读顺序​

顺序文件解决的问题
1能力选型.mdAPI / 抓取 / 结构化浏览器 / 截图 CU / 桌面 CU
2观察与动作循环.mda11y 引用 vs 坐标、批处理按序、过期 ref
3沙箱允许域与会话隔离.md容器、profile、域名、下载、禁止内网
4凭证与HITL.md不把密码交给模型；批处理里每步先审批
5评测回放与注入防护.md页面注入、回放证据、安全评测集

2. 和相邻目录的边界​

主题主文件本目录只写
工具 schema、MCP 协议../04-工具调用体系/README.mdGUI 动作空间与观察结果，不重复 JSON-RPC
沙箱通用原则../12-安全与治理/沙箱执行.md浏览器 / 虚拟桌面特有约束
提示注入../12-安全与治理/Prompt-Injection.md屏幕与 a11y 树作为注入面
行业方案../15-行业应用方案/浏览器Agent.md机制与契约，不写业务旅程
HITL 卡片../18-Agent前端与交互/HITL交互界面.md点击 / 提交前必须展示的证据
回放页../18-Agent前端与交互/轨迹回放界面.md截图 / DOM hash / URL 如何进 trace
Skill../19-Skills与能力平台/README.md「何时开浏览器」可以写成 Skill，权限仍走网关

3. 能力栈位置​

默认：能 API 就不要开浏览器；能 ref 点击就不要坐标点击；能浏览器视口就不要整桌面。

4. 最低交付面​

能力最低要求
选型记录任务契约写明为什么不是 API
隔离专用容器 / VM + 空 profile，无宿主 Cookie
网络域名 allowlist 在网络层执行，navigate 后再核验跳转
观察优先 a11y / 可见文本，不回传 raw DOM
动作坐标越界拒绝；过期 ref 报错并重读页面
批处理按序执行，失败即停，每个 tool_use 都有 result
审批提交、支付、发消息、接受条款在执行器里拦截，不只靠模型自觉
审计每步 URL、动作、截图或树摘要、结果

5. 权威资料​