The Trinity：面向多模态智能体的能力驱动递归自我改进
本文目录
arXiv:2610.36077（cs.AI）
[提交于 2026 年 10 月 26 日]
作者：Weidong Tang、Ruiheng Wang、Jingxuan Zhang、Hexin Wang、Haoyuan Chen、Zhengfeiyang Zhang、Yixing Ma、Zichen Jiang、Ziyu Guo、Haodong Li、Zhengbo Jiao、Zhiqing Cui、Xinxiang Yin、Shuo Liang、Zhenglin Wan、Hongzhan Lin、Wangbo Zhao、Kaipeng Zhang、Pengfei Zhou、Odin Zhang、Yang You
摘要#
多模态智能可以看作世界与智能体之间在人类引导下通过交互实现的共同演化。然而，扩展这一过程面临两个瓶颈：构建异构、可验证的环境成本高昂；人工的 Harness（智能体运行框架）迭代无法跟上任务多样性与复杂度的增长。
本文的关键洞见是：模态与表层形式不同的任务，可以共享相同的底层能力要求。因此我们提出 The Trinity —— 一个递归自我改进框架，它通过三个角色把世界生成与 Harness 演化耦合起来：Creator（创造者）、Explorer（探索者）与 Evolver（演化者）。
Evolver 依据经过验证的执行轨迹，把任务组织的基础从表层类别转向共享要求，将原始任务树重组为层级化的能力树（capability tree）。
我们提出能力驱动的 Real2Sim2Real：对于同一节点上的异构任务，Creator 把它们共同的要求抽象成简化、可验证的模拟世界，用于能力学习；同时在原始任务上评估以衡量迁移效果。
沿着这棵能力树，Explorer 通过选择性继承逐步演化出可复用的能力模块，形成一个 Harness 树，其经过验证的更新在固定拓扑下跨迭代累积。
由此得到的各个 Harness 专精于不同能力，这促成了一种能力感知的 Harness 路由（Capability-Aware Harness Router），它利用公开的任务信息从树中选择兼容的模块配置。
我们演化出的 Harness 在 28 个训练基准上平均性能提升 34 个点，在 18 个未见基准上提升 26 个点，其中包括两个真实世界的具身任务。
主题：人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）
引用格式：arXiv:2610.36077 [cs.AI]（或 arXiv:2610.36077v1 [cs.AI] 表示本版本）
https://doi.org/10.48550/arXiv.2610.36077
提交历史#
来自：Weidong Tang
- [v1] 2026 年 10 月 26 日 星期一 18:03:34 UTC（42,027 KB）