27 min read

OpenClaw 上网生态全景扫描

Source: https://x.com/lijiuer92/status/2028141123953442822

韭一条完整的管道:搜索发现 → 内容提取 → 浏览器交互 → 链上交易。

从最便宜的 API 查询到最昂贵的自主浏览器操作,再到正在涌现的 Web3 经济层。

2025-2026 年,这条管道的每一层都在经历从实验到生产的质变:

Browser-Use 拿到 $17M 融资和 79K GitHub stars,BrowserBase 以 $300M 估值完成 B 轮,

Google Chrome 直接内置了 Gemini 3 驱动的 Auto Browse,

Anthropic 收购 Vercept(SAM 发明人 Ross Girshick 团队)押注视觉感知,MCP 协议被捐给 Linux Foundation 成为行业标准, Exa.ai 以 $700M 估值完成 B 轮,x402 协议实现了 AI-to-AI 原生支付。WebArena 基准从 14% 攀升至 72.7%,距人类 78.24% 仅差 5.5pp。

这份报告目录:

第一,拆解 OpenClaw 内置浏览器架构的设计哲学和已知缺陷;

第二,绘制外部上网工具的完整生态地图:从搜索/提取的上游管道,到浏览器框架和基础设施,到协议标准;

第三,记录 Agent 与 Web3 的实际交汇点(严格区分已落地与开发中);

第四,给出基于当前事实的技术选型决策矩阵。

一、OpenClaw 内置浏览器架构——比你想的复杂

1⃣端口层级:一个数字推导出整个系统

OpenClaw 的所有服务端口从一个基数推导:gateway.port(默认 18789)。

Image

- Bridge (18790):内部桥接服务

- Control Service (18791):Profile 管理,浏览器操作的 HTTP API

- CDP Relay (18792):Chrome 扩展 relay 的 WebSocket 桥接

- Canvas (18793):预留

- 托管浏览器 CDP (18800-18899):每个隔离浏览器实例的专用 CDP 端口

Control Service 只绑定 loopback——刻意的安全设计。

这个设计的优点是确定性:知道 gateway 端口就能推算出所有其他端口。

缺点也明显:CLI 硬编码 18791,自定义端口时整个系统崩溃。

2⃣三种控制模式

OpenClaw 提供三种方式控制浏览器:

模式一:OpenClaw 托管浏览器。独立的 Chromium 实例,拥有自己的用户数据目录。OpenClaw 管理全生命周期。每个 profile 分配一个专用 CDP 端口(从 18800 起)。适用场景:需要干净环境的自动化任务。

模式二:Chrome 扩展 Relay。最有意思也最脆弱的模式。Chrome 扩展把用户现有的 Chrome 标签页——连同真实的 cookies、session、登录态——桥接给 Gateway。MV3 扩展,background.js 作为 service worker,通过 chrome.debugger API 附着到活动标签页,CDP 命令经 WebSocket 双向转发。这个模式的价值是真实性,但也是问题最多的模式。

模式三:远程 CDP。直接指定一个 CDP URL,连接到远程运行的 Chromium。用于分布式部署:Docker 容器、云端沙箱。

3⃣快照系统:OpenClaw 浏览器的核心创新

这是最聪明的设计决策。

传统方案是截图——把整个网页渲染成图片,喂给视觉模型分析。问题是:截图的 base64 编码可以轻松达到数 MB 级别,一次浏览器操作就能撑爆上下文窗口。

OpenClaw 的答案是语义快照(Semantic Snapshot):

快照系统把网页转换成结构化文本,比如 button "Sign In" [ref=e1]。Agent 先运行快照识别交互元素,再用引用编号发出动作指令。

Image

快照有多种格式,核心两种:

- AI 模式(默认):调用 Playwright 内部快照 API,生成 e1/e12 风格引用。默认最大 80,000 字符

- ARIA 模式:原始可访问性树,生成 ax1/ax2 风格引用

3⃣Chrome 扩展 Relay:系统中最薄弱的环节

韭二哥在整理 GitHub Issues 时,一个模式非常清晰:扩展 relay 是浏览器子系统中 bug 最密集的区域。问题可以归为四类:

  1. WebSocket 断连与状态丢失。页面导航后断连、频繁断连、切换标签页后连接丢失。
  2. MV3 Service Worker 生命周期。Chrome 在空闲 ~30 秒后杀死 service worker。如果 relay 断开或 worker 重启,扩展会"忘记"已附着的标签页。
  3. 协议握手缺陷。缺少 connect.challenge 处理器、/extension 端点返回 404、Token 不匹配。
  4. macOS 特有问题。SSRF 检查阻断 loopback CDP、Profile 路由 bug。

社区已经有人坐不住了。

韭二哥评:

语义快照 > 截图。数量级的 token 成本差距不是微调能弥合的。

三模式覆盖。托管浏览器、扩展 relay、远程 CDP——覆盖几乎所有使用场景。

硬伤:扩展 relay 的工程质量。MV3 service worker 的生命周期管理、WebSocket 断连恢复、多标签页状态同步——社区 fork 已经证明了解决方案存在,但官方尚未合并。

二、技术路线——四条路,两个赢家

AI 控制浏览器,本质上有四种方式:

路线一:纯视觉(截图 + LLM)。Agent 截图,喂给视觉模型,模型输出点击坐标和键盘操作。代表:Claude Computer Use、OpenAI Operator。优点:最通用。缺点:慢、贵、不够精确。

路线二:纯 DOM / 可访问性树。提取页面的可访问性树,压缩后喂给 LLM。代表:Playwright MCP。优点:快、确定性、token 成本低。缺点:Shadow DOM 是致命盲点。

路线三:Hybrid(可访问性树 + 选择性视觉)——正在赢。可访问性树作为主要上下文,对不可访问的元素补充截图。代表:Stagehand、Browser-Use。优点:兼得两家之长。

路线四:自然语言到动作。用户说"帮我订机票",Agent 直接执行。代表:MultiOn、Skyvern。缺点:最不可预测。

Image

Hybrid 路线已经赢了。

这不是预测,是既成事实——资金最多的公司(BrowserBase $67.5M)、stars 最多的开源项目(Browser-Use 79K)、以及最大的云厂商(Google Chrome Auto Browse)都在走这条路。

但这四条路线有一个共同的隐含前提:操作对象是浏览器。

如果把视角拉远到"任意 GUI"呢?UI-TARS、Open-AutoGLM、MAI-UI 代表的 GUI Agent 范式是与 Browser Agent 正交的第五条路径——详见第四章。

三、核心玩家深度拆解

1⃣Browser-Use:社区之王

Python 库,把任何 LLM 变成完全自主的浏览器自动化 Agent。

创始团队:Magnus Muller 和 Gregor Zunic,ETH Zurich 数据科学研究生。

4 天做出 demo,发到 Hacker News,3 个月 50K stars。

核心数据:~79,000+ GitHub Stars,$17M 种子轮(Felicis 领投,Paul Graham 参投),YC W25。

Image

自研模型是亮点:BU-1.0 (74.7%) → BU-2.0 (83.3%,匹配 Claude Opus 4.5 但快 40%) → BU-30B-A3B-Preview (MoE 架构,200 任务/$1)。

但基准数据有争议。

自报 WebVoyager 89.1%,独立复现只有 60.2% LLM 验证成功率(高估 20-50%)。

2⃣BrowserBase + Stagehand:资本之王

BrowserBase(基础设施层):云浏览器平台,声称自己是"AWS for headless browsers"。

估值 $300M(2025.6 B 轮),总融资 $67.5M,1,000+ 付费组织,2025 年处理 5000 万浏览器会话。

天使投资人:Patrick Collison(Stripe)、Guillermo Rauch(Vercel)。

BrowserBase 解决的问题:CAPTCHA 处理、浏览器指纹随机化、代理轮换、会话持久化——打包成 API。

Stagehand(SDK 层):AI 驱动的浏览器自动化框架。~20,000+ stars。

核心洞察:给开发者三个原子 AI 原语——act(instruction)、extract(instruction, schema)、observe(instruction)。

v3 移除 Playwright 依赖,直接通过 CDP 通信,44% 速度提升。

BrowserBase 和 Stagehand 的关系是经典的开源核心玩法:

Stagehand 是开源飞轮,BrowserBase 是付费基础设施。

3⃣Skyvern:视觉流派的代表

多 Agent 架构 + 计算机视觉做浏览器工作流自动化。

20,300+ stars,$2.7M 种子轮,$0.05/步。

Planner-Actor-Validator 三 Agent 循环。

纯视觉路线——不解析 DOM,对布局变化天然免疫。

WebVoyager 85.85%(表单填写最强)。

4⃣其他玩家简述

- Magnitude:纯视觉浏览器 Agent,WebVoyager 93.9%(开源 SOTA)

- MultiOn:$20M 融资,$100M 估值,闭源 API + Chrome 扩展。最大问题:没有 MCP server

- AgentQL:Web 页面的 SQL——用自然语言描述你要什么数据。有官方 MCP server

- Vercel agent-browser:Rust + Node.js 混合架构,声称比 Playwright MCP 节省 82-93% 上下文空间

5⃣韭二哥未来研究和推荐方案:Pinchtab

Go 编写的独立 HTTP 服务器,把浏览器自动化暴露为 REST API。~1,900+ stars,12MB 单二进制,零依赖。可访问性树 + 稳定元素引用(e0, e1, e2...)。Token 效率:/text 模式 ~800 tokens,交互式快照 ~3,600 tokens。内置隐身模式和会话持久化。

填补了一个真实空白——不是所有 Agent 都跑在 Python/TypeScript 里,curl 就能调用。

6⃣其他值得关注的玩家

- Amazon Nova Act:前 Adept 团队(~$415M 总融资被收购),AWS 生态正式进入浏览器 Agent 赛道

- Manus:通用 AI Agent,Browser Operator + 自主任务完成,2025.3 病毒式发布

- Lightpanda:Zig 编写,比 Chrome headless 快 11 倍、内存省 9 倍

- AIO Sandbox:字节跳动团队,全沙箱环境,CDP + VNC 双通道

四、GUI Agent——与浏览器 Agent 的范式对决

GUI Agent:

不解析 DOM,不依赖可访问性树,纯视觉驱动,

截图 → VLM 推理 → 坐标点击/键盘输入,覆盖任意有视觉界面的系统。

1⃣两种范式,一个战场

Image

Browser Agent 的优势来自结构化信息(DOM/a11y tree),

GUI Agent 的优势来自通用性(任何有像素的界面都能操作)。

两者不是同一条路线的前后版本,而是正交的范式选择。

2⃣UI-TARS(字节跳动):迭代最快的 GUI Agent

27.8K GitHub stars,Apache-2.0 开源。

从 2025.1 发布到 UI-TARS-2(2025.9),迭代速度极快。

基准表现:OSWorld 47.5%,AndroidWorld 73.3%,Online-Mind2Web 88.2%,ScreenSpot-V2 94.2%。

产品化:闭源版本集成进中兴努比亚 M153 成为"豆包手机"

系统级 Agent 接管手机操作。定价 3,499 元,24 小时内售罄 30,000 台。2026 年被称为"AI Agent 手机量产元年"。

2⃣Open-AutoGLM(智谱 AI):中文移动生态的最强选手

23.9K GitHub stars,MIT 开源。

中文移动 App 任务:89.7%(远超同类)。

针对中国超级 App(微信、支付宝、美团、抖音)的嵌套界面和小程序做了大量优化。

3⃣MAI-UI(阿里巴巴通义):移动端当前 SOTA

MoE 235B-A22B(基于 Qwen3-VL)。

AndroidWorld 76.7%(#1)。

大模型 MoE 架构确保推理时只激活 22B 参数。

韭二哥评论:

根据DigiRL(Berkeley),SFT 17.7% → 离线 RL 32.4% → 在线 RL(DigiRL)67.2%。接近 4 倍提升。

这意味着:强化学习(而非模型规模或数据量)才是解锁 GUI Agent 能力的关键杠杆。

4⃣Anthropic 收购 Vercept——视觉感知人才争夺战

2026 年 2 月 25 日,Anthropic 收购 Vercept。

四位联合创始人中三位加入 Anthropic:Ross Girshick(SAM/R-CNN)、Kiana Ehsani(具身 AI)、Luca Weihs(Agent 训练基础设施)。

第四位 Matt Deitke 被 Meta 以 $250M/4 年合约挖走。

这笔收购说明 Anthropic 认为视觉感知是计算机操控的关键瓶颈,

Claude Computer Use 的演化方向是从 Browser Agent 向 GUI Agent 靠拢。

五、基础设施层——浏览器即服务

Image

四个主要玩家:

BrowserBase($67.5M,AI-agent-first)、 Steel.dev (开源,自建)、

Browserless(2017 老兵)、

Bright Data(全球住宅 IP + TLS 指纹伪装,90% 成功率)。 Steel.dev 值得关注:开源,<1 秒启动,免费 100 浏览器小时/月。

如果 BrowserBase 是"AWS",Steel 就是"DigitalOcean"。

Bright Data 的路线不同:传统代理巨头进军 Agent Browser。

数亿规模的住宅 IP 网络与浏览器指纹模拟深度融合——对需要突破高强度反爬的场景,网络层优势是 BrowserBase 和 Steel 不具备的。

六、MCP 浏览器生态——标准化接口的胜利

MCP 采纳时间线

- 2024.11:Anthropic 发布 MCP

- 2025.3:OpenAI 采纳 MCP;Microsoft 发布 Playwright MCP

- 2025.4:Google 确认 Gemini 支持 MCP

- 2025.12:MCP 捐赠给 Linux Foundation

- 2026 初:全行业广泛采纳,435+ 浏览器相关 MCP server

- 2026.2:WebMCP 草案(W3C),Chrome 146 Canary 实验性预览

MCP 已经是"USB 接口"了。不是在变成,是已经变成了。

MCPMarket 收录了 435 个浏览器自动化相关的 MCP server。第一梯队:Playwright MCP (~25K stars)、Puppeteer MCP(官方)、BrowserBase MCP、AgentQL MCP。

1⃣Playwright MCP:事实标准

确立了可访问性树作为 AI-浏览器交互的正确抽象。

不发送截图,不发送原始 HTML。

发送语义化的、只包含交互元素的结构化表示。

已知限制:Shadow DOM。现代设计系统把元素藏在 shadow root 里,可访问性树看不到。这是 2026 年的头号架构弱点。

2⃣WebMCP:从"Agent 去抓取"到"网站主动开放"的范式转变

W3C Web Machine Learning Community Group 下的草案报告(2026.2),Google 和 Microsoft 工程师联合编辑。

核心理念:不是让 Agent 猜测网页结构然后硬抓,而是让网站通过浏览器端 JavaScript API 主动向 AI Agent 暴露自己的工具。

当前进展:Chrome 146 Canary 已预览支持,GitHub ~1.8K stars。尚无任何生产网站部署,仍处于纯实验阶段。

七、Agentic Browser——2026 年最大的新品类

Image

当浏览器本身变成 Agent,一切都变了。

五款 Agentic Browser:ChatGPT Atlas(OpenAI)、Perplexity Comet(免费)、Chrome Auto Browse(Gemini 3 驱动)、Opera Neon(隐私导向)、Dia(The Browser Company / Atlassian)。

Google 的 Chrome Auto Browse(2026.1.28 发布)是分水岭事件。

Chrome 是全球占有率最高的浏览器,而现在它内置了自主 Agent 能力。Pro 版每天 20 个任务,Ultra 版每天 200 个。

八、上游管道——浏览器之前的搜索与提取

浏览器是 Agent 上网活动中最贵的一层。

而聪明的 Agent 会先用便宜的搜索 API 找到目标,

再用提取工具获取内容,只有在必须交互时才启动浏览器。

Image

1⃣搜索/发现层核心工具

- Tavily:AI-native 搜索 API,总计 $25M → 2026.2 被 Nebius 以 $275-400M 收购

- Exa.ai :神经/语义搜索,~$107M 融资,$700M 估值

- Brave Search:独立索引,$5/月

- Perplexity Sonar:AI 搜索+合成答案

- SearXNG:自托管元搜索,开源 ~25K stars,零查询成本

韭二哥一句话点评:

Exa 的估值($700M)比 BrowserBase($300M)还高——资本市场认为"帮 Agent 找信息"和"帮 Agent 操作浏览器"至少一样值钱。

2⃣提取/阅读层核心工具

- Firecrawl:82K+ stars,$16M 融资,网页转 LLM-ready Markdown(省 67% token)

- Crawl4AI:~60K+ stars,零融资,完全免费

- Jina Reader:~9.7K stars,被 Elastic 收购,URL 前缀极简 API

韭二哥评论

不要用浏览器做搜索和提取能做的事。

Tavily API 搜索(0.01 秒,<$0.01)→ Firecrawl 提取(1 秒,~$0.01)→ 只有需要登录/交互时才启动浏览器(5-60 秒,$0.05-2.00)。

成本和时间差距是 100 倍以上。

九、基准测试的真相——别被数字骗了

1⃣WebVoyager:好看的数字

643 个任务,跨 15 个真实网站。

Image

看起来 AI 已经能自主操作 90% 的网页任务了?不。

Online-Mind2Web:现实检验

- Gemini 2.5 Computer Use:WebVoyager 88.9% → Mind2Web 69.0%(-20pp)

- OpenAI Operator:87% → 61%(-26pp)

- 多数近期 Agent:~90% → 基线水平

~90% 的 WebVoyager 分数在真实动态网站上崩塌到基线水平。

2⃣WebArena:自托管,更严格

812 个任务,自托管的真实网站副本。

Image

两年半从 14.41% 到 72.7%——差距从 63.8pp 缩小到 5.5pp。进步巨大且加速,但离"可靠"还有距离。

3⃣真实世界的成本与可靠性

- Stagehand + Claude Sonnet 4.6:~75% 完成率,中等成本

- Browser-Use + BU-2.0:~83% 完成率,低成本,~62 秒/任务

- 手写 Playwright 脚本:~98% 完成率,几乎零成本,毫秒级

- 10,000 次/天 Stagehand 提取:$50-200/天(LLM 费)

- 10,000 次/天 Playwright:可忽略

4⃣每步成本分解

延迟分解(单步):DOM 提取 100-500ms,截图捕获 200-400ms,LLM 推理 1000-5000ms(瓶颈),动作执行 100-1000ms,页面稳定等待 500-3000ms。每步总计 2000-10000ms。10 步任务:20-100 秒。

成本分解:Stagehand act() ~$0.002-0.01/步,10 步任务(GPT-4o)$0.10-0.25,Playwright 脚本 $0.00。

底线:AI 浏览器自动化的价值不在于峰值基准得分,而在于自动化任意网页任务而无需编写任务特定脚本。对于稳定页面的高频任务,Playwright 仍然是正确答案。

十、用户场景决策矩阵

Image

1⃣上游管道场景

- 快速信息搜索 → Tavily / Exa(via MCP),<$0.01/查询

- 已知 URL 内容提取 → Firecrawl / Jina Reader,比浏览器快 10 倍

- 大规模免费爬取 → Crawl4AI,零成本

- 隐私优先搜索 → SearXNG 自托管

- AI 合成答案+引用 → Perplexity Sonar API

2⃣GUI Agent 场景

- 桌面应用自动化 → UI-TARS Desktop / UFO2

- 中文 Android 应用自动化 → Open-AutoGLM / MAI-UI

- 跨平台统一自动化 → UI-TARS-2

3⃣Web3 场景

- Agent 自主链上交易 → Coinbase AgentKit + Agentic Wallets

- Agent-to-Agent 支付 → x402 协议

- Agent 链上身份 → ERC-8004

十二、Agent x Web3——事实与愿景的分界线

- Olas Agents(Gnosis Chain):600+ 日活 Agent,820 万+ 链上交易——目前最有说服力的单一证据

- x402 协议:Coinbase + Cloudflare 推动的 HTTP 402 + 稳定币结算

- Coinbase Agentic Wallets(2026.2.11):首个为 AI Agent 设计的钱包基础设施

- ERC-8004:合约已部署以太坊主网,24,500+ Agent 注册

- Clanker(Base 链):$76 亿总交易量,AI Agent 自主部署 ERC-20 代币

韭二洞察: AI Agent 不通过浏览器操作钱包。 Agent 使用编程式钱包,服务端签名,完全绕过浏览器钱包 UI。 Web3 Agent 交易层和浏览器层是解耦的。

十三、安全——Agent 上网的阿喀琉斯之踵 Agent 浏览器自动化的安全问题不是边缘情况,是结构性缺陷。 核心发现一:攻击面巨大且独特。Meta FAIR 的 WASP 基准测试发现,即使是顶级模型,面对低成本提示注入攻击,部分攻击成功率高达 86%。 核心发现二:安全对齐在 Agent 化后退化。同一个 LLM 作为聊天机器人会拒绝有害指令,但作为浏览器 Agent 会尝试执行。GPT-4o Agent 尝试了 100 个有害行为中的 98 个。 核心发现三:没有 Agent 在安全评测上表现良好。评测 16 个主流 LLM Agent,没有一个安全分数超过 60%。 核心发现四:隐私是盲区。Agent 倾向于不必要地使用敏感信息,处理登录凭证和 API 密钥时存在高风险故障点。 核心发现五:暗黑模式是 Agent 的新型攻击面。面对单个暗黑模式,Agent 平均 41% 的时间会被欺骗。 新兴防御方案 - ceLLMate:Agent 级最小权限策略 - AgentBound:首个 MCP server 访问控制框架 - WebSentinel:两步检测+定位,准确率 0.991 - Anthropic 多层防御:Claude Opus 4.5 成功注入率降至 1% - AgentSpec:DSL 指定运行时安全约束 - SafeAgent/AutoSafe:安全分数平均提升 45%

十四、现状分析小结

Hybrid 架构已经赢了。资金最多的公司、Stars 最多的项目、最大的云厂商——都在走 Hybrid。 MCP 标准化是既成事实。OpenAI、Google、Microsoft、Amazon 全部采纳。435+ 浏览器 MCP server。任何不支持 MCP 的工具正在自我边缘化。 基准测试在系统性地高估真实能力。WebVoyager ~90% → Online-Mind2Web 61%。20-30pp 的落差是结构性的。 Shadow DOM 是 2026 年可访问性树方案的最大技术挑战。React、Angular、Web Components 都大量使用 Shadow DOM,Playwright MCP 看不到 shadow root 内的元素。 Browser-Use 的自研模型路线是值得关注的技术方向。BU-30B-A3B-Preview:200 任务/$1,浏览器专用 LLM 的成本效率已远超通用模型。 GUI Agent 是正交于 Browser Agent 的第五条路径。

DigiRL 的 RL unlock 证明强化学习是 GUI Agent 能力的关键杠杆。

两个范式最终大概率走向 Hybrid 融合。

附录 C:关键链接索引

OpenClaw 浏览器

Agent 框架

基础设施

MCP / WebMCP

Web3 / Agent 经济

基准测试

Agentic Browsers

  • ChatGPT Atlas
  • Chrome Auto Browse
  • Dia Browser
  • Perplexity Comet
  • Claude for Chrome --- ## 附录 :学术论文参考 ### 基准测试与评测 - *WebArena: A Realistic Web Environment for Building Autonomous Agents* — Zhou et al., ICLR 2024 (arXiv:2307.13854) - *Mind2Web: Towards a Generalist Agent for the Web* — Deng et al., NeurIPS 2023 (arXiv:2306.06070) - *WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models* — He et al., ACL 2024 (arXiv:2401.13919) - *VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks* — Koh et al., ACL 2024 (arXiv:2401.13649) - *WebChoreArena: Evaluating Web Browsing Agents on Realistic Tedious Web Tasks* — Miyai et al., 2025 (arXiv:2506.01952) - *An Illusion of Progress? Assessing the Current State of Web Agents* — Xue et al., 2025 (arXiv:2504.01382) — 关键:揭示 WebVoyager 分数被系统性高估 - *From Grounding to Planning: Benchmarking Bottlenecks in Web Agents* — Shlomov et al., 2024 (arXiv:2409.01927) — 规划而非 grounding 是主要瓶颈 - *The BrowserGym Ecosystem for Web Agent Research* — Drouin, Gasse et al. (ServiceNow), TMLR 2025 (arXiv:2412.05467) - *WebGames: Challenging General-Purpose Web Agents* — 2025 (arXiv:2502.18356) — AI 43.1% vs 人类 95.7% ### 架构与技术 - *GPT-4V(ision) is a Generalist Web Agent, if Grounded (SeeAct)* — Zheng et al., ICML 2024 (arXiv:2401.01614) - *Navigating the Digital World as Humans Do (UGround)* — Gou et al., ICLR 2025 Oral (arXiv:2410.05243) - *Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V* — Yang et al. (Microsoft), 2023 (arXiv:2310.11441) - *Agent Workflow Memory* — Wang et al., 2024 (arXiv:2409.07429) — 可复用工作流记忆,Mind2Web +24.6% - *Agent-E: From Autonomous Web Navigation to Foundational Design Principles* — Emergence AI, 2024 (arXiv:2407.13032) - *Web Agents with World Models* — Chae et al., 2024 (arXiv:2410.13232) - *AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials* — Xue et al., ICLR 2025 Spotlight (arXiv:2412.09605) - *BrowserAgent: Building Web Agents with Human-Inspired Browser Actions* (arXiv:2510.10666) - *Building Browser Agents: Architecture, Security, and Practical Solutions* (arXiv:2511.19477) - *ColorBrowserAgent: Complex Long-Horizon Browser Agent with Adaptive Knowledge Evolution* — Wang et al., 2026 (arXiv:2601.07262) — WebArena 71.2%,扩展 AWM - *OpAgent: Operator Agent for Web Navigation* — 2026 (arXiv:2602.13559) — 在线 RL + 模块化架构,WebArena 71.6% - *CI4A: Semantic Component Interfaces for Agents* — Qiu et al., 2026 (arXiv:2601.14790) — 升级版 WebArena 86.3%,"Web for Agents" 范式 - *Build the Web for Agents, Not Agents for the Web* — Lu et al., 2025 (arXiv:2506.10953) — AWI 概念 + 6 项原则 - *Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks* — ICML 2025 (arXiv:2503.09572) — 规划-执行分离,WebVoyager 81.36% - *WebDART: Dynamic Decomposition and Re-planning for Complex Web Tasks* — Yang et al., 2025 (arXiv:2510.06587) — 动态重规划,+13.7pp - *WebOperator: Action-Aware Tree Search for Autonomous Agents* — Dihan et al., 2025 (arXiv:2512.12692) — ICLR 2026 投稿 - *WebATLAS: Experience-Driven Memory for Web Agents* — 2025 (arXiv:2510.22732) — 好奇心驱动探索 + 经验记忆 - *SkyRL-Agent: Efficient RL Training for Multi-turn LLM Agent* — Cao et al. (Berkeley/Ion Stoica), 2025 (arXiv:2511.16108) - *Web-Shepherd: Advancing PRMs for Reinforcing Web Agents* — Chae et al., NeurIPS 2025 Spotlight (arXiv:2505.15277) — 首个 Web 导航 PRM - *MCP vs RAG vs HTML: Web Interface Efficiency for LLM Agents* — 2025 (arXiv:2511.23281) — MCP/RAG 比 HTML:Token 减 42-81%,时间减 79-83% ### 安全与隐私 - *WASP: Benchmarking Web Agent Security Against Prompt Injection* — Evtimov et al. (Meta FAIR), NeurIPS 2025 (arXiv:2504.18575) — 86% 部分攻击成功率 - *BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents* — Zhang et al., 2025 (arXiv:2511.20597) - *Refusal-Trained LLMs Are Easily Jailbroken As Browser Agents (BrowserART)* — Scale AI, 2024 (arXiv:2410.13886) — GPT-4o Agent 尝试 98/100 有害行为 - *Why Are Web AI Agents More Vulnerable Than Standalone LLMs?* — Chiang et al., 2025 (arXiv:2502.20383) - *Manipulating LLM Web Agents via HTML Accessibility Tree* — Johnson et al., 2025 (arXiv:2507.14799) - *Context Manipulation Attacks on Web Agents* — Patlan et al., 2025 (arXiv:2506.17318) - *ceLLMate: Sandboxing Browser AI Agents* — Meng et al. (UCSD), 2025 (arXiv:2512.12594) - *AgentBound: Securing AI Agent Execution (MCP Access Control)* — Buhler et al., 2025 (arXiv:2510.21236) - *AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents* — Zharmagambetov et al. (Meta FAIR), 2025 (arXiv:2503.09780) - *Privacy Practices of Browser Agents* — Ukani et al., 2025 (arXiv:2512.07725) - *The Hidden Dangers of Browsing AI Agents* — Mudryi et al., 2025 (arXiv:2505.13076) — CVE-2025-47241 - *ST-WebAgentBench: Safety and Trustworthiness in Web Agents* — Levy et al., 2024 (arXiv:2410.06703) - *Agent-SafetyBench: Evaluating the Safety of LLM Agents* — Zhang et al. (Tsinghua), 2024 (arXiv:2412.14470) — 无 Agent 安全分超 60% - *WebSentinel: Detecting and Localizing Prompt Injection for Web Agents* — Wang et al., 2026 (arXiv:2602.03792) - *MUZZLE: Adaptive Agentic Red-Teaming of Web Agents* — Syros et al., 2026 (arXiv:2602.09222) - *AgentSpec: Customizable Runtime Enforcement for Safe LLM Agents* (arXiv:2503.18666) - *Investigating the Impact of Dark Patterns on LLM-Based Web Agents* — Ersoy et al., IEEE S&P 2026 (arXiv:2510.18113) — 41% 脆弱率 - *VPI-Bench: Visual Prompt Injection Benchmark* — 2025 (arXiv:2506.02456) — Browser-Use Agent 100% 攻击成功率,CUA 51% - *Mitigating the Risk of Prompt Injections in Browser Use* — Anthropic Research, 2025.8 ### 综述 - *A Survey of WebAgents: Towards Next-Generation AI Agents for Web Automation* — Ning et al., 2025 (arXiv:2503.23350) — 最全面的 Web Agent 专项综述 - *A Survey on Large Language Model based Autonomous Agents* — Wang et al., 2023-2025 (arXiv:2308.11432) - *A Survey on Autonomy-Induced Security Risks in Large Model-Based Agents* — Su et al., 2025 (arXiv:2506.23844) ### Agent 经济 / Web3 - *The Agent Economy: A Blockchain-Based Foundation for Autonomous AI Agents* — 2026 (arXiv:2602.14219) - *Autonomous Agents on Blockchains: Standards, Execution Models, and Trust Boundaries* — 2026 (arXiv:2601.04583) - *Secure Autonomous Agent Payments (TIVA)* — 2025 (arXiv:2511.15712) - *Can We Govern the Agent-to-Agent Economy?* — 2025 (arXiv:2501.16606) ### 视觉感知基础(Vercept 创始人论文——Anthropic 收购标的) 以下论文来自 Vercept 联合创始人(2026-02-25 被 Anthropic 收购),代表 Claude Computer Use 底层的视觉感知与具身 AI 基础: - *Segment Anything (SAM)* — Kirillov, Girshick et al. (Meta FAIR), 2023 (arXiv:2304.02643) — 通用图像分割基础模型 - *SAM 2: Segment Anything in Images and Videos* — Ravi, Girshick et al., 2024 (arXiv:2408.00714) — 视频分割,动态 UI 理解 - *Masked Autoencoders Are Scalable Vision Learners (MAE)* — He, Girshick et al., 2021 (arXiv:2111.06377) — 自监督视觉预训练 - *Feature Pyramid Networks for Object Detection (FPN)* — Lin, Girshick et al., 2017 (arXiv:1612.03144) — 多尺度检测 - *Faster R-CNN* — Ren, Girshick et al., 2015 (arXiv:1506.01497) — 现代目标检测基础 - *SPOC: Imitating Shortest Paths in Simulation* — Ehsani et al., CVPR 2024 (arXiv:2312.02976) — 具身导航 → 数字界面 - *AllenAct: A Framework for Embodied AI Research* — Weihs et al., 2020 (arXiv:2008.12760) — Agent 训练框架 - *ProcTHOR: Large-Scale Embodied AI Using Procedural Generation* — Weihs et al., 2022 (arXiv:2206.06994) — 程序化环境生成 ### GUI Agent 与通用界面自动化 - *CogAgent: A Visual Language Model for GUI Agents* — Hong et al., CVPR 2024 (arXiv:2312.08914) — 双分辨率架构先驱,18B VLM - *UI-TARS: Pioneering Automated GUI Interaction with Native Agents* — ByteDance, 2025 (arXiv:2501.12326) — 视觉语言模型驱动 GUI Agent - *UI-TARS-2: "All In One" Agent for GUI, Game, Code, and Tool* — ByteDance, 2025 (arXiv:2509.02544) — 跨平台统一 Agent,OSWorld 47.5% - *OS-ATLAS: A Foundation Action Model for Generalist GUI Agents* — Wu et al., 2024 (arXiv:2410.23218) — 跨 OS GUI grounding 基座模型 - *AutoGLM: Autonomous Foundation Agents for GUIs* — Xia et al. (Zhipu AI), 2024 (arXiv:2411.00820) — 中文移动 App 89.7% - *AppAgent: Multimodal Agents as Smartphone Users* — Zhang et al. (Tencent), 2023 (arXiv:2312.13771) — 探索-部署双阶段 - *UFO: A UI-Focused Agent for Windows OS Interaction* — Zhang et al. (Microsoft), ICLR 2025 (arXiv:2402.07939) — Windows GUI Agent - *OmniParser for Pure Vision Based GUI Agent* — Lu et al. (Microsoft), 2024 (arXiv:2408.00203) — 屏幕截图结构化解析 - *DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning* — Bai et al. (Berkeley), NeurIPS 2024 (arXiv:2406.11896) — SFT 17.7% → RL 67.2% - *AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents* — Rawles et al. (Google DeepMind), 2024 (arXiv:2405.14573) - *OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments* — Xie et al. (HKU), NeurIPS 2024 (arXiv:2404.07972) - *ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use* — Li et al., 2025 (arXiv:2504.07981) - *Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration* — Wang et al. (Alibaba), NeurIPS 2024 (arXiv:2406.01014) - *MAI-UI: A Multimodal Agent for Adaptive and Generalizable UI Automation* — Alibaba, 2025 (arXiv:2512.22047) — AndroidWorld 76.7% #1 - *GUI Agents: A Survey* — Zhang et al., ACL 2025 (arXiv:2412.13501) — GUI Agent 最全面综述 - *UFO2: The Desktop AgentOS* — Zhang et al. (Microsoft), 2025 (arXiv:2504.14603) — 从 Agent 到 AgentOS ### 其他 - *A Path Towards Autonomous Machine Intelligence* — Yann LeCun, 2022 - *Fully Autonomous AI Agents Should Not be Developed* — Mitchell et al., 2025 (arXiv:2502.02649)

本报告(现状篇)基于 李韭二与Manus、Google Gemini Deepsearch以及 SuperGrok 综合分析,

覆盖200 + 个信息源、35+ 个工具/平台、20+ 个 GitHub Issues,经三轮 fact-check 后再与独立研究报告交叉验证。

所有数据截至 2026 年 3 月 1 日。

文责由李韭二承担