跨越20类机器人，世界基础模型GreenWAM既能预测行动后果，也能作出决策

来自 Sber 机器人中心 Brain 团队的研究提出机器人世界基础模型 GreenWAM，在 WorldArena 1.0 基准测试中，在轨迹预测、深度估计和三维预测准确性方面达到了领先水平，表现优于研究团队所比较的所有世界—动作模型和视频生成模型。

世界基础模型（World Foundation Models）通过大规模视频数据学习场景的演化规律，而世界—动作模型（World–Action Models）则利用这些知识，联合预测观测结果与动作。对于机器人而言，这两种用途紧密相连，然而现有模型通常针对其中一种功能进行构建和评估。如何让机器人既能预测行动的后果，又能据此作出正确决策，同时适应不同形态的机器人本体，仍是具身智能研究的重要方向。

在此背景下，来自 Sber 机器人中心 Brain 团队的研究提出机器人世界基础模型 GreenWAM，并介绍了构建该模型的方法，主要包括三个方面：

① 建立统一的共享解剖学动作空间；

② 针对这些机器人类别开展联合训练，使模型能够处理视觉模式、动作条件模式以及世界—动作联合模式；

③ 通过从生成模型中分离出动作专家，构建用于动作决策的策略。

作为世界模型，GreenWAM 在 WorldArena 1.0 基准测试中，在轨迹预测、深度估计和三维预测准确性方面达到了领先水平，表现优于研究团队所比较的所有世界—动作模型和视频生成模型。作为策略模型，GreenWAM 在 RoboTwin 2.0 排行榜上取得了前列成绩；在所比较的方法中，其在 LIBERO-plus 基准测试中实现了最高的零样本成功率；在 CALVIN 和 LIBERO 基准测试中，其表现也可与专门设计的视觉—语言—动作（VLA）策略和世界—动作策略相媲美。研究团队进一步将 GreenWAM 适配到真实人形机器人上，实验结果显示其在实际任务中取得了更高的成功率。

相关研究成果以「GreenWAM: A World Foundation Model for Robotics」为题，已发布预印本于 arXiv。

研究亮点：

* 研究发现针对特定机器人进行专门化训练，能够同时提升世界预测与动作控制能力

* 研究发现在适配阶段开始时就将动作专家分离出来，有助于提升模型表现

* 研究发现在策略适配过程中保留世界模型的不同工作模式，有助于维持模型应对场景变化时的鲁棒性

论文地址：https://hyper.ai/papers/2610.18774

数据集：将 20 类机器人纳入统一动作空间

不同机器人数据集在帧率、摄像头布局、状态语义和任务边界等方面存在差异，双臂机器人、单臂机械臂和类人机器人即使执行相似任务，其原生动作表示也可能完全不同。要让一个模型跨机器人共享知识，首先需要解决动作空间不统一的问题。

GreenWAM 构建了一套覆盖 20 类机器人本体的训练数据，整合公开数据与内部采集的 LeRobot 格式数据。公开机器人数据集通常以完整任务片段的形式提供，每个片段都有各自的标签、摄像头配置和数据质量。若直接从中采样固定长度的时间窗口，一个样本中就可能包含彼此无关的子任务，而且每个窗口还可能被配上针对其他时间区间编写的标签。因此，研究人员采用分阶段的数据准备流程，每个阶段只新增一项决策，不改写此前阶段已经作出的决定（如下图）。

机器人数据

首先，通过数据注册确定每个数据源的摄像头角色、状态布局和机器人属性；随后，将数据切分为原子样本，得到纳入语料的 144 万个完整子任务原子样本，总时长为 1,688.5 小时；经过质量筛选后，保留 143 万个原子样本，总时长为 1,674.7 小时；最后，通过生成描述文本和推导指令，为 119 万个原子样本生成了符合要求的指令。

这套统一动作空间由 79 个共享的解剖学动作槽位构成，分为四组：

• 腿部（12 个槽位）
• 身体（23 个槽位）： 包括基座位姿（7 个）、基座扭量（6 个）、躯干（7 个）和头部（3 个）；其中，位姿与扭量是彼此独立的物理量。
• 手臂（18 个槽位）
• 手部（26 个槽位）： 为每个平行夹爪设置一个表示张开—闭合状态的坐标；为灵巧手设置逐手指坐标，并为第二夹爪手指、编码器以及手指外展动作预留辅助槽位。

在视觉数据方面，研究还对多摄像头输入进行统一处理。来自头部和左右腕部摄像头的画面被组合到统一画布中，其中头部画面占据主要区域，左右腕部视角并列排列。训练数据采用多种画布尺寸与宽高比，以适应不同机器人的视觉配置。通过这些处理，GreenWAM 能够在共享的训练框架下学习不同本体的动作规律及其对应的视觉变化。

GreenWAM 框架：让同一个模型预测视频、生成动作

GreenWAM 的核心设计是将世界建模与动作生成纳入同一个基础模型框架。研究采用世界—动作模型（World–Action Model, WAM）的思路，让模型不仅学习机器人执行动作时会发生什么，还学习应该执行哪些动作。

如下图，研究团队以公开发布的 Cosmos 3 Edge 4B 检查点为基础，对 GreenWAM 进行初始化，其采用混合 Transformer 架构（mixture-of-transformers），将推理器与生成器相结合，并使用因果视频变分自编码器（VAE）和整流流（rectified flow）训练方法。

GreenWAM 模型架构

视频—动作联合建模

包含机器人状态信息的机器人视频片段，可以用于回答多个不同的问题：未来场景会呈现什么样子；如果机器人按照给定轨迹运动，它将观察到什么；产生当前观测视频的是哪条运动轨迹；以及机器人接下来应该采取什么动作。研究团队没有针对每个问题分别训练独立模型，而是使用同一组生成器权重，在七种工作模式下进行训练（如下表）。每种模式均通过指定哪些信息流作为干净的条件输入、哪些信息流作为经过加噪处理的预测目标来定义。

训练模式

在固定的训练模式配比中，四分之三的样本用于预测视频，无论是否同时提供机器人轨迹；其余四分之一则用于通过逆向动力学和 WAM 模式生成机器人状态。

在自回归训练样本中，带历史信息的正向动力学模式所占的比例，是带历史信息的图像到视频生成模式的两倍。所有工作模式均采用统一的物理时间网格，以对齐视频目标和状态目标。视觉模式与动力学模式使用经过完整整理的子任务数据；自回归模式则以完整的子任务数据块为单位，连续生成后续内容；WAM模式则在成功的机器人示范轨迹中预测一段较短的未来。

多视角观测与时间上下文

研究还在训练过程中引入多视角观测和时间上下文，使模型能够利用不同摄像头的信息理解机器人与环境之间的关系。

具体而言，数据语料包含使用单个摄像头或三个同步摄像头采集的片段。对于采用三视角采集的数据源，会在离线阶段，将头部摄像头和左右手腕摄像头的画面合成为一个视频，并针对每个连续保留的片段分别生成视频。对于单摄像头数据源，则直接使用完整画面，通过分析各视角的画面运动与左臂、右臂运动之间的相关性，逐一验证每个数据源中的摄像头角色。

训练阶段采用真实历史数据；推理阶段则使用模型生成的视频作为历史信息。历史信息可以跨越同一片段、同一摄像头下相邻且被保留的子任务；但在被剔除的数据间隔处以及不同片段的边界处，历史信息会重置。每个数据块均配有独立的描述文本或指令。

将 GreenWAM 适配为机器人控制策略

在策略适配阶段，研究进一步调整了模型架构，GreenWAM 将动作 token 从共享生成器中分离出来，构建独立的动作专家。该动作专家在初始化时是生成器塔的精确副本，因此，参数结构的调整不会改变模型最初的预测结果。随后，动作专家可以针对控制任务进行专门训练，同时保留基础模型已经学习到的视觉和动作知识。

GreenWAM 从仿真基准到真实类人机器人评估均表现突出

GreenWAM 作为世界模型的表现

研究首先在 WorldArena 1.0 上评估 GreenWAM 的世界建模能力。WorldArena 1.0 是一个公开的具身视频生成基准测试，其赛道 1 采用 15 项指标进行评分，分为六类：视觉质量、运动质量、内容一致性、物理规律遵循程度、三维准确性和可控性。

结果显示，GreenWAM 在要求生成结果与记录的运动轨迹和几何结构相匹配的指标上表现突出。在参与比较的世界—动作模型和视频生成模型中，GreenWAM 的轨迹准确性、深度准确性和三维准确性得分最高，分别为 56.0、98.2 和 93.4。 在排行榜全部 127 个参赛结果中，GreenWAM 的 JEPA 相似度得分为 98.41，排名第二，仅次于 BLM 的 98.49。

按照综合评分方法，GreenWAM 在 1,000 个测试片段上取得 63.31分（如下图），高于已发表的世界—动作模型Motubrain（63.16分）和 FlowWAM-FiveAges（62.99分）。

WorldArena 1.0 赛道 1：GreenWAM 在排行榜各模型中的表现

GreenWAM 作为策略模型的表现

进一步的受控实验表明，机器人专用化不仅有助于世界建模，也能改善下游策略表现。在 RoboTwin 2.0 基准测试中，GreenWAM 的得分位居排行榜前列，如下表：

RoboTwin 2.0,50 项任务 

下图则展示了模型在常规场景和随机化场景下完成同一任务的情况。在 50 项任务中，每项任务在两种场景设置下均分别进行 100 次试验。按照排行榜协议并使用官方指定的随机种子进行评估，GreenWAM 策略在常规场景下的成功率为 86.98%，在随机化场景下为 48.10%，两者平均成功率为 67.54%。

GreenWAM 策略在 RoboTwin 2.0 中的任务执行过程

CALVIN 用于测试策略模型能否在未见过的环境中，连续执行由语言指令控制的技能——相关评估表明，GreenWAM 平均每条任务链能够完成 4.64 条指令，标准误约为 0.03，高于 FLOWER 的 4.53 条。

RoboDojo 在仿真环境中评估模型的泛化能力、操作精度、长时序任务执行能力、记忆能力以及开放词汇指令理解能力——相关评估表明，GreenWAM 取得 16.12 分的综合得分和 10.49% 的成功率，这两项综合指标均高于 π0.5、X-VLA 和 X-WAM。

LIBERO 在仿真环境中使用 Franka 机械臂评估单臂操作能力——研究人员发现，GreenWAM 仅使用一个策略模型，在 LIBERO 上的表现已接近专门针对该基准训练的策略，并在下表所列的结果中取得最高的零样本 LIBERO-plus 任务成功率。

LIBERO 和 LIBERO-plus

真实世界中的类人机器人评估

研究人员还在一项装袋任务中评估策略模型的表现：Green 人形机器人需要将一个瓶子和一个瓶盖放入袋中，然后用双手提起装好物品的袋子。评估时，将任务拆分为连续的五条指令，分别要求机器人抓取并放置每件物品，最后提起袋子。

GreenWAM、蒸馏后的学生模型以及 Cosmos 3 Edge 策略每次调用均预测 16 个动作，而 π0.5 每次预测 50 个动作，测试包含分布内（ID）与分布外（OOD）评估。结果显示，GreenWAM 在 ID 和 OOD 测试中的成功率分别达到 95.6% 和 84.0%，均优于 Cosmos 3 Edge 策略的 88.9% 和 80.0%，以及 π0.5 的 84.4% 和 76.0%。

蒸馏后的学生模型则分别取得 91.1% 和 80.0% 的成功率，表明单步推理在降低计算开销的同时，仍保留了较强的控制能力。

结语

总而言之，GreenWAM 探索了一条将世界建模与动作控制统一起来的技术路线：通过共享解剖学动作空间，让不同机器人本体能够使用共同的动作表示；通过视频—动作联合训练，使模型同时学习环境变化与机器人动作；再借助机器人专用化、独立动作专家和世界模型训练模式的保留，改善下游策略表现。

这项研究的意义不仅在于特定基准上的性能提升，还在于展示了世界模型与策略模型之间可能存在的协同关系。实验表明，准确预测动作后果与可靠执行任务密切相关，尤其是在训练阶段未见过的场景中。不过，面对任务几何变化、长时序误差累积以及训练中未见过的机器人本体，模型仍有进一步改进的空间。未来，统一动作接口、真实机器人部署和更可靠的长时序预测，将是推动此类机器人基础模型走向更广泛应用的重要方向。

参考文献：https://arxiv.org/abs/2610.18774

本文来自微信公众号“HyperAI超神经”，作者：HyperAI，36氪经授权发布。