苹果机器人“大脑”HALO亮相，真实环境测试成功率超九成

近日，苹果研究团队在预印本平台arXiv上发布了一篇题为《Perceptive Humanoid Motion from Simulation》的论文，详细介绍了其最新研发的人形机器人自主控制系统HALO。与以往仅公布概念不同，这次苹果还同步开源了涵盖数据生成、模型训练到部署的全套代码。

91%的单项任务成功率从何而来？

研究团队在6个未经预先扫描或建图的真实室内环境中，对机器人进行了总计360次单项任务测试。这些任务包括拾取物品、开门、导航等基础操作，最终取得了平均91%的成功率。

为了挑战更复杂的场景逻辑，团队还设置了一项组合任务测试：在一个真实空间内，要求机器人依次完成"俯身通过障碍物"、"走向指定目标"、"推动箱子"三个连贯动作。这项测试平均成功率为70%，其中完整的“过障-行走-推箱”流程成功率为50%。这反映出当前系统在处理需要多步骤规划和物理交互的连续任务时，仍面临一定挑战。

数据合成与训练的“硬核”配置

支撑HALO高性能的背后，是庞大的计算资源投入。研究团队主要依赖约250张英伟达H100 GPU，耗时约48小时合成了核心训练数据集。整个训练流程分为两大模块：

  • 动作生成器：采用模仿学习方法进行训练，使用了64张英伟达B200 GPU。这部分负责让机器人学习并生成合理的动作序列。
  • 动作跟踪器：通过强化学习、策略蒸馏等技术训练，使用了4张H100 GPU。其职责是确保机器人在现实中精准执行生成的虚拟动作。

值得注意的是，虽然大量依赖仿真生成数据，但人工干预并未完全退出。团队承认，对于新增的物理任务，仍需要研究人员手动编写文本提示、设计关键动作帧，甚至部分动作参考了人类视频或动作捕捉数据。

当前局限与未来进化方向

论文也坦诚指出了HALO系统目前的短板。机器人主要依赖视觉摄像头来感知世界，这意味着它无法直接“感受”与物体的接触力度或纹理。当目标物体移出摄像头视野或被其他物体遮挡时，那些需要较多接触和力控的任务表现就会明显下降。

因此，研究团队将“融入触觉感知”列为关键的后续改进方向。让机器人同时具备“看”和“摸”的能力，将是其应对更复杂、非结构化现实环境的重要一步。