14 min read

Agent 已经换了 Harness,训练为什么还停在旧环境里?

Source: http://x.com/i/article/2081263759100915712

一个 Agent 在线上能调用终端、浏览器、MCP 工具、子 Agent,还会自己压缩上下文。到了训练阶段,它却常被塞回一套简化的 ReAct 循环:模型说一句,环境回一句,复杂的执行系统被压成几次干净的工具调用。

这条路能把训练跑起来,也会留下一道很深的缝。模型在简化环境里学会的动作,到了真实 Harness 中,调用格式、上下文状态、错误反馈和任务节奏都可能变掉。

OpenForgeRL 处理的正是这道 train-deploy gap。它没有要求团队重写线上 Harness,而是在真实 Harness 和训练系统之间接入一个轻量 Proxy,把执行过程还原成 RL 能消费的轨迹,再把每次 Rollout 放进独立远程容器。

论文用数百到数千个任务训练了两个系列。OpenForge-Claw 在 ClawEval 上达到 31.7 的 pass3 和 55.9 的 pass@3;8B 的 OpenForge-GUI 在 OSWorld-Verified、Online-Mind2Web 和 WebVoyager 上分别达到 37.7、63.0 和 72.3。

这些数字值得看,产品和研发更该关注的是:Agent 能不能在将来实际运行的 Harness 里学习,正在变成模型训练的一部分。

图像

辅助图|简化训练环境和真实 Harness 之间,隔着一整套执行系统

训练 Agent 时,最容易被忽略的是那层 Harness

今天说一个 Agent “用了某个模型”,信息远远不够。把模型变成可工作的产品,还要靠 Harness 管理系统提示、工具注册、上下文、子任务、权限、重试、文件和外部服务。

同一个模型放进 ReAct、OpenClaw、Codex 或浏览器 Agent,看到的状态和可做的动作不同,失败后收到的反馈也不同。任务跑到第十步时,Harness 还可能已经替模型裁掉一部分历史、追加环境信息,或者启动了新的执行进程。

开放 RL 框架擅长的是另一种世界。Trainer 通常掌握每次生成,Rollout 在本地或训练节点附近完成,状态、动作和奖励能按统一接口交回来。

复杂 Harness 会打破这些假设。论文列出的典型情况包括多进程控制、嵌套工具调用、子 Agent、长程上下文,以及需要独立 CPU、内存或图形界面的环境;训练框架看不到 Harness 内部控制流,也不适合把几百个完整工作台塞到 GPU 训练节点上。

于是很多团队会复制一套“小号 Harness”专门训练。这样做的工程代价容易被低估:线上系统更新了工具、上下文策略或错误处理,训练环境要同步维护;一旦两套实现慢慢分叉,离线分数就越来越难解释线上表现。

更麻烦的是,分叉常常不会立刻暴露。一个任务在简化环境中仍能拿到奖励,真实系统却可能因为权限确认、上下文裁剪或写后回读多出几步;模型没见过这些步骤,上线后只能临场猜测。离线指标因此必须带上运行环境版本,脱离版本的分数很快会失去解释力。

训练环境和部署环境的差距会直接改变模型学到哪种行为。 模型可能熟练使用训练时的通用 shell,却不会调用线上 Harness 提供的专用工具;也可能在干净反馈里完成规划,遇到真实超时、半成品文件和页面变化时失去恢复能力。

OpenForgeRL 怎么把真实执行接回 RL

PDF 第 4 页的 Figure 2 是整篇论文最重要的一张结构图。左侧是 Trainer 和 Inference Server,右侧是一组远程 Sandbox Pod,中间只放了 Proxy Server 与 Rollout Orchestrator。

图像

论文原图|Figure 2:OpenForgeRL 用 Proxy 采集 Harness 调用,并由 Orchestrator 启动远程 Rollout(PDF 第 4 页)

读这张图先看右侧。每个任务进入独立 Sandbox,目标 Harness、环境和依赖都预先装在容器里;LLM 或 VLM 按原来的方式与环境交互,终端、浏览器和工具仍由 Harness 自己管理。

中间的 Proxy 不接管这套控制流。Harness 每次需要模型生成时,请求会经过 Proxy 转发到 RL 框架的推理引擎;返回结果照常交给 Harness,同时调用前后的输入输出被记录下来。

Rollout 结束后,系统再把这些 prompt-response 对、终局奖励和时间顺序重建成训练轨迹。对 veRL 这类标准训练后端来说,复杂 Harness 最终又变成了熟悉的状态、动作和奖励样本。

这里记录的状态是 Harness 发给模型的完整上下文,不等于环境内部的全部真实状态。它足以还原模型当时基于什么信息做决定,也提醒团队:如果 Harness 隐藏了关键错误或把工具结果过度摘要,训练轨迹同样会继承这种信息损失。

图像

辅助图|Proxy 记录调用往返,真实 Harness 继续按自己的节奏运行

这个设计的价值在于责任边界清楚。支持新的 Harness 或环境时,主要变化落在 Sandbox;Trainer 不必理解 Codex 怎样管理子任务,也不用知道浏览器 Agent 怎样保存会话。

另一半是 Kubernetes Orchestrator。它负责创建、分配和删除远程容器,让每个 Rollout 拿到单独的 CPU、内存和环境,同时避免把这些负载压到训练节点上。

远程执行也带来新问题。一个 Harness 卡住,整批训练可能一直等;网络断开、页面失效或容器崩溃,也不应被误算成模型做错了任务。

论文没有用“最大轮数”统一截断,因为不同 Harness 对一轮的定义不一致,有些系统也不暴露轮数。它为每个作业设置 wall-clock timeout,超时后终止该 Rollout,把错误交回轨迹重建模块,其余容器继续收集。

图像

辅助图|一个 Rollout 超时被隔离,其余训练样本继续返回

这套处理仍有边界。论文对基础设施错误采取较保守的策略:丢掉整条轨迹,避免“前半段动作正确、最后因网络失败”却收到负奖励;怎样给部分成功轨迹分配信用,作者留给了后续研究。

几百到几千个任务,换来了什么

论文没有用一个数据池训练所有场景。OpenForge-Claw 面向日常工具任务,OpenForge-GUI 又拆成 Computer-Use 和 Browser-Use;三类任务需要的工作区、验证器、Harness 和奖励判断都不一样。

PDF 第 6 页的 Table 1 列出了数据规模。Claw 使用 892 条 SFT 轨迹和 343 个 RL 任务,Computer-Use 使用 795 条 SFT 轨迹和 252 个 RL 任务,Browser-Use 使用 1496 条 SFT 轨迹和 900 个 RL 任务。

图像

论文原表|Table 1:Claw、Computer-Use 与 Browser-Use 的 SFT 轨迹和 RL 任务规模(PDF 第 6 页)

这里要避免一个误读。表里写的是训练材料规模,不能单独证明框架优于其他方案;结果还受模型底座、教师轨迹、任务筛选、奖励器、算力和 Harness 配置影响。

表中的 SFT 与 RL 两列也不能直接相加成“总轨迹数”。SFT 统计保留下来的成功示范,RL 统计可反复采样的任务;同一个 RL 任务会产生一组不同 Rollout,实际训练量还取决于 batch、group size 和训练步数。

在 Claw 侧,Qwen3-30B-A3B-Thinking 是底座。只做 SFT 时,ClawEval 的 pass3/pass@3 为 21.7/52.1,QwenClawBench 和 MCPAtlas 的 pass@1 为 32.1 和 23.6;继续加入 RL 后,四项数字变成 31.7/55.9、33.7 和 28.1。

GUI 侧使用 Qwen3-VL-8B-Thinking。SFT 模型在 OSWorld-Verified、Online-Mind2Web、WebVoyager 上为 34.4、57.4、61.5,加入 RL 后提高到 37.7、63.0、72.3。

作者将这些增益解释为真实交互带来的在线学习信号。对团队更有用的读法是:SFT 教模型模仿已经成功的轨迹,RL 才允许它在目标 Harness 和真实环境里试错,并把最终完成情况传回训练。

数据量看起来没有大到惊人,不代表生产门槛很低。论文的 Claw 训练运行在 8 张 B200 上,Rollout Pod 还需要 Azure CPU 节点;GUI 任务要维护虚拟显示、远程浏览器、截图、鼠标键盘动作和成功判定。

每个任务能否稳定启动、执行、判分和复现,会直接决定训练成本。 一个无法自动验证的“做得不错”,很难变成可靠的 RL 奖励。

同一模型,换个 Harness 就可能学不会

OpenForgeRL 还有一个比榜单更有价值的结果:它让研究者第一次能较系统地比较 Harness 本身。论文让同一个 Claw 模型分别在 ReAct、ZeroClaw、OpenClaw 和 Codex 中执行,难度差异非常明显。

图像

辅助图|同一模型接入不同 Harness,学习曲线和完成路径会分叉

未经训练的底座在 ZeroClaw、OpenClaw、Codex 上,ClawEval pass@1 分别为 32.5、11.4、12.2。用 ZeroClaw 单独训练后,三个结果变成 46.0、14.7、16.8,说明在一个 Harness 学到的能力能向相近系统迁移,但迁移幅度有限。

同时用 ZeroClaw、OpenClaw 和 Codex 训练时,三项结果达到 48.5、20.9、32.5。Codex 上的提升尤其大,也说明复杂 Harness 需要被训练数据真正覆盖,不能只靠底座模型自己适应。

作者观察到,结构更简单、工具和模型能力更对齐的 Harness 更容易学。这里不能推出“简单 Harness 一定更好”,因为复杂系统可能带来更强的上下文管理、协作和工程控制;结论更接近:Harness 增加的每层能力,也会增加模型需要理解的状态和反馈。

这组比较还没有把 Harness 随机分配给无限多模型,也没有排除全部实现细节,因此更适合当作受控实验中的机制信号。产品团队若要选型,应在自己的任务、权限和上下文预算下复测,不能只照搬论文里的四个名称。

论文还抽样比较了 SFT 与 SFT+RL 各 100 条轨迹。RL 后,模型更愿意使用任务需要的专用工具,减少把所有动作都塞进通用 shell;在 Codex 中,自检、工具覆盖和多步完成能力也更强。

error recovery 依然是最弱的一项。论文这里的“恢复”指命令失败后仍能修正并完成任务,它比识别错误更难,因为模型需要读懂失败、更新计划、处理已经产生的中间状态,还要重新验证结果。

这给 Agent 产品一个很现实的提醒。线上只统计最终成功率,会把“第一次就做对”“失败后恢复”“失败但留下脏状态”混在一起;训练和评测若看不到过程,团队就不知道下一轮应该补模型、补 Harness,还是补环境与验证器。

团队该保存的是完整执行轨迹

OpenForgeRL 目前仍是一篇预印本,实验集中在特定开源模型、六类 benchmark 和论文配置。分数不能直接外推成企业内部 Agent 的上线收益,尤其是含生产权限、私有数据和人工协作的流程。

图像

辅助图|一条训练轨迹,要能从任务一路追到 Harness 版本与最终回读

它提供的工程方向仍然清楚。第一步是把部署 Harness 版本化:系统提示、工具 schema、上下文策略、权限、依赖镜像和验证器要能组成可复现快照,训练样本必须知道自己来自哪一套运行环境。

第二步是记录 Harness 看到的完整交互证据。模型请求与响应只是其中一部分,还要保留工具参数、返回值、文件 diff、页面状态、外部回读、超时、重试和终局奖励;涉及敏感数据时,再做字段级脱敏和访问隔离。

第三步是给错误分类。模型决策错误、Harness 崩溃、网络问题、验证器误判和环境不可用不能共享一个负奖励;否则训练会把基础设施噪声学成策略偏好。

第四步是把过程能力纳入评测。除了 pass@1,至少观察专用工具覆盖、无效调用、上下文膨胀、失败恢复、写后回读和副作用残留;这些指标才能解释为什么两个 Harness 的最终分数不同。

还要给每条轨迹保留版本血缘。一次工具 schema 变化、模型路由调整或系统提示改写,都可能让旧轨迹失去可比性;样本进入训练集前,应能追到任务定义、镜像、Harness commit、模型版本、奖励器和最终回读。

最后要保留 canary。模型或 Harness 每次升级后,先在隔离环境重放一组带证据的长任务,确认行为变化,再逐步进入真实流量;训练通过只说明策略在样本中改善,不能代替部署验证。

当 Agent 的能力越来越多地来自 Harness,模型、运行时和训练数据就不能再分开治理。 可持续的闭环要用部署中的真实执行结构产生可验证轨迹,再让训练结果回到同一套 Harness 里接受读回。