下一代 Agentic RL 系统使自进化 Agent 成为可能

论文概览

这篇论文来自蚂蚁集团、香港科技大学和清华大学，发表于 2026 年 7 月。论文的核心论点非常明确：阻碍企业级自进化 Agent 落地的瓶颈不是 RL 算法，而是 Agentic RL 系统基础设施。

当前 LLM Agent 在企业部署中是根本性静态的——模型权重、系统提示、工具集和 in-context harness 在部署时冻结，任何改进都需要人工闭环：收集数据、离线微调、修改范式、重新部署。虽然 OpenClaw 等个人 Agent 系统展示了自进化的潜力，但企业级大规模自进化服务面临的是完全不同的系统挑战。

论文提出三大支柱架构，并通过 AREAL2.0 原型系统验证了一条可行的技术路径。

核心问题：部署与改进的错配

论文首先定义了"自进化 Agent"（Self-Evolving Agent）：一个部署后能够根据自身情境经验改善未来行为的 Agent。这并非无限制的递归自我修改，而是一个有界闭环——用户的交互轨迹可以被观察、脱敏、验证、归因，并转化为受治理的更新：记忆插入、技能补丁、harness 编辑、工具模式修改或 on-policy RL 更新。

企业场景与个人场景的关键差异在于治理边界。一个企业编码 Agent 需要从跨团队的 issue 解决轨迹中学习，同时尊重仓库权限、许可证边界和审计要求；客服 Agent 需要从升级事件、退款、满意度信号中学习，同时避免客户数据泄露；科研 Agent 需要从失败实验中学习，同时保持可溯源性和可复现性。

三大支柱

Pillar 1: Agent Trajectory Data Protocol (ATDP)

ATDP 回答的核心问题是：什么数据抽象应该被捕获用于学习？

论文给出了形式化定义。一条轨迹 τ 是一个类型化事件序列：

$\tau = (e_1, e_2, \ldots, e_T)$

每个中间步骤 $e_t$ 定义为：

$e_t = \langle o_t, h_t, a_t, y_t, r_t, m_t \rangle$

其中 $o_t$ 是可观察状态（工具输出、检索片段、用户消息、环境状态），$h_t$ 是隐藏内部状态（当前计划、草稿板、置信度、推理摘要），$a_t$ 是所选动作（带类型参数模式的工具调用），$y_t$ 是动作结果，$r_t$ 是奖励信号，$m_t$ 是相关元数据（延迟、token 数、成本、租户、会话、harness 指纹、模型 ID）。

ATDP 的六项设计原则值得深入理解：

与现有方案的关键区别：MCP 和 A2A 协议标准化的是工具发现和通信，不是 RL 轨迹数据；D4RL 和 RLDS 标准化的是离线 RL 数据集；ADP 统一的是 Agent 数据集用于 SFT——它们都不面向在线 RL 所需的步级因果上下文、延迟奖励和治理元数据。

Pillar 2: Comprehensive Agentic Data Proxy

Data Proxy 回答的问题是：如何为企业级异构 Agent 工作流捕获这些数据？

Data Proxy 不是一个 API 网关或日志导出器，而是将生产工作负载转化为受治理学习材料的机制。它位于 Agent 与 LLM、工具、记忆系统、人类反馈通道之间的所有稳定执行边界上。

其核心能力包括：

• Framework-agnostic interception：在模型 API 调用、工具调用、检索调用、记忆操作、文件/浏览器操作、人类审批事件等稳定边界拦截，不要求企业标准化于单一 Agent 框架
• Lossless ATDP emission：每个拦截调用转化为 ATDP 事件流并持久化。对 LLM 调用，lossless 意味着保留 prompt 模板指纹、系统提示版本、暴露工具、解码参数、采样输出、token ID、log probabilities 和模型版本
• Replay capability：区分确定性重放、近似重放和不可重放事件。监控 trace 只能说"Agent 调用了工具 X 并失败"，而训练 proxy 必须能让系统问"在不同的 prompt、模型、记忆、检索策略或工具模式下，Agent 是否会成功？"
• Cross-tenant aggregation with isolation：支持隔离的租户存储、基于策略的聚合、联邦训练，以及租户感知评估
• Reward harvesting：从用户回复、工单重开率、测试失败、编译器错误、人类纠正、升级决策、退款逆转等弱信号和延迟信号中收割奖励

Pillar 3: Agent Evolution Control Plane

Control Plane 回答的问题是：何时以及如何触发相应的 RL 优化？

论文将部署的 Agent 定义为复合策略：

$A_t = \langle \pi_{\theta_t}, H_{\psi_t}, M_t, T_t, G_t \rangle$

其中 $\pi_{\theta_t}$ 是 policy LLM，$H_{\psi_t}$ 是 in-context harness，$M_t$ 是记忆，$T_t$ 是工具集和工具模式，$G_t$ 是安全治理配置。

Control Plane 观察一个窗口的 ATDP 轨迹 $D_t = \{\tau_i\}_{i=t-W}^t$，选择进化动作：

$u^* = \arg\max_{u \in \mathcal{U}} [J_A(u | A_t, D_t)]$

进化动作集 $\mathcal{U}$ 包括六种干预面：

论文特别强调了"多面适配"原则——不同失败模式属于不同干预类别。如果 Agent 轨迹显示反复缺失事实或窄范围的可复用过程教训，记忆插入通常是最廉价和最安全的更新；如果失败聚集在工具路由、检索格式或护栏措辞上，harness 编辑更合适；如果同一类失败在多个租户、任务和工具配置中持续出现，则问题可能不是局部的，需要通过 RL 进行策略更新。

AREAL2.0 原型系统

AREAL2.0 是论文中唯一的原型实现，聚焦于一条特定的进化路径：从部署的 Agent 轨迹进行在线 policy LLM 权重更新。它明确不声称实现完整的自进化 Agent 基础设施，而是展示现有 RL 框架如何从离线后训练系统重组为在线学习范式。

AREAL2.0 的核心设计理念是将 AReaL 的 rollout 和 training worker 暴露为面向 Agent 服务的计算组件，使现有 Agent 服务可以用 AREAL2.0 管理的 agent-compute worker 替换标准 LLM 推理后端（如 SGLang 或 vLLM）。从应用视角看，只需将普通推理端点替换为 AREAL2.0 gateway 即可。

四个核心组件实现了解耦：

1. Gateway：公共入口点，将 AREAL2.0 暴露为标准推理后端的替代品。规范化外部 LLM 请求、认证访问、转发 Agent 轮次到在线 RL 服务架构
2. Router：为多个在线 RL 训练作业提供轻量级会话亲和性管理。Agent RL 工作负载天然有状态——单个任务可能涉及多轮、工具调用和延迟奖励，Router 将每个会话分配给 Data Proxy 并跨轮保持分配
3. Data Proxy：控制面管理 Agent 数据流量和存储，记录 Agent 轨迹（对话历史、工具调用事件和响应），为下游训练准备轨迹数据
4. Agent-Compute Worker：连接部署的 Agent 服务到 rollout 和训练后端的执行抽象，将 SGLang/vLLM 等推理引擎与 Megatron/FSDP 训练 worker 统一在微服务接口之后

论文以 Hermes Agent 作为代表性用例：在传统部署中，Hermes 调用 SGLang worker 获取模型响应；接入 AREAL2.0 后，该后端被 gateway 暴露的 agent-compute worker 替代。Agent 服务保持基本不变——继续像以前一样发出 LLM 推理请求，而 AREAL2.0 拦截交互流、记录轨迹、连接到在线 RL 训练循环。

与现有系统的关键区别

论文系统性地对比了现有 RL 系统的局限性：

AREAL2.0 的独特价值在于它不构建一个试图模仿生产行为的独立 RL 环境，而是重用原始 Agent 服务自身生成的数据。Agent 的原生工作流——包括多轮交互和工具使用——成为 ATDP 轨迹的来源，这缩小了离线后训练数据与部署 Agent 行为之间的差距。

启示与思考

这篇论文最重要的贡献不在于具体算法，而在于将自进化 Agent 从算法愿景重新定义为系统工程问题。三个洞察值得深入思考。

第一，自进化不等于更新模型权重。 这是一个容易被忽略但极其重要的观点。一个部署的 Agent 是由 base LLM、in-context harness、记忆、工具和护栏组成的复合策略，不同失败需要不同干预面。将自进化等同于"用 RL 更新模型"是一种过度简化——有时一个记忆插入或 harness 编辑就能以更低成本和风险解决问题。Control Plane 的本质是一个受治理的决策问题，而非单一优化器。

第二，重放能力是学习代理与监控代理的分水岭。 论文对 deterministic replay、approximate replay 和 non-replayable 事件的区分非常精准。一个不能被重放的轨迹不是可信的训练数据——这正是当前 Agent 可观测性栈（如 OpenTelemetry、LangSmith）的盲区。它们擅长记录"发生了什么"，但无法回答"在不同条件下会怎样"。

第三，企业级自进化需要从隐私和治理开始设计，而非事后添加。 ATDP 从第一天就内置数据分类标签、租户标识符、保留策略和训练资格字段，这种"治理优先"的设计哲学与个人 Agent 系统形成鲜明对比。在多租户环境中，一个不能解释"从团队 A 学到的更新是否应该推广到团队 B"的系统，实际上不是自进化，而是在漂移。

AREAL2.0 作为原型是刻意限定范围的——它只覆盖了 Control Plane 动作空间中的 policy-update 分支，完整的自进化 Agent 系统仍需完整的 ATDP 实现、综合数据代理、重放评估和自动多面进化。但作为一个初始系统步骤，它验证了一个关键集成原则：现有 RL 基础设施可以通过轻度重组连接 rollout 生成、推理服务、轨迹收集和策略优化，且对原始在线部署的改动最小。

参考链接

• 论文地址：arXiv:2607.01120
• 代码仓库：github.com/areal-project/AReaL
• OpenClaw-RL：arXiv:2603.10165
• Hermes Agent：github.com/NousResearch/hermes-agent