分层世界模型:让AI像人类一样规划复杂任务
想象一下,当你决定从客厅走到厨房泡杯咖啡时,大脑并不会为每一步肌肉运动做即时计算。相反,你会先形成一个“去厨房”的高层意图,然后分解为“绕过沙发”、“打开柜子”等子目标,最后才由神经系统执行具体动作。这种分层规划能力,正是当前机器人智能所欠缺的——而一项名为H-JEPA的新研究,正试图将这种能力赋予机器。
H-JEPA如何工作:从抽象目标到具体动作
H-JEPA(分层联合嵌入预测架构)的核心创新在于其层级结构。与传统的单一预测模型不同,它构建了一个多层预测系统:
- 高层模型关注缓慢变化、与任务相关的状态,比如机器人的整体目标位置,忽略快速波动的视觉细节
- 中层模型在高层设定的子目标范围内,预测中等时间跨度的状态变化
- 底层模型最终将这些子目标转化为具体的动作序列,直接控制机器人执行
关键在于,所有层级都是端到端联合训练的。每一层都在自己学习到的潜在空间中预测未来,高层预测的结果自动成为下一层规划器的输入目标。这种设计让模型能够自然处理不同时间尺度的信息变化。
实验结果:成功率跃升与计算效率双赢
研究团队在四个模拟的导航与操作环境中测试了H-JEPA。最引人注目的结果来自Visual AntMaze任务——一个需要智能体在复杂视觉迷宫中寻找目标的测试:
使用传统扁平JEPA架构时,成功率仅为18%。而引入三层H-JEPA后,成功率飙升至73%,提升了整整四倍。更令人惊喜的是,取得这样的性能突破并没有增加计算负担,分层规划器反而使用了更少的算力。
进一步的消融实验表明,性能提升主要归功于两个因素:时间分解让不同层级专注不同时间尺度的预测,以及高层目标表示提供了更清晰的任务导向信号。
通向真实世界:从模拟到机器人的跨越
研究的验证并未停留在模拟环境。团队使用逆动力学监督方法,将H-JEPA扩展到了DROID真实机器人视频数据集上。结果显示,分层结构在更低规划算力的情况下,显著提升了离线规划的保真度。
这意味着分层世界模型不仅适用于受控的实验室环境,也有潜力处理真实世界中的复杂视觉输入。当机器人面对变化的光线、遮挡物和不可预测的环境因素时,能够丢弃无关细节,专注于实现长期目标的关键状态。
这篇10月5日提交至arXiv的论文,展示了分层世界模型在机器人规划领域的巨大潜力。它不仅仅是性能指标的提升,更代表了一种更接近生物智能的规划范式——通过在不同抽象层次上理解世界,让机器能够像我们一样,先思考“要去哪里”,再决定“如何到达”。