具身AI世界模型综述：三维分类框架与前沿挑战

论文概览

如果具身智能体要在真实世界中自主行动，它们需要一种核心能力：预测自身行动将如何改变世界。这种能力的内在支撑就是世界模型（World Model）——一个学习环境动力学的内部仿真器，使智能体能够在"想象"中推演不同行动方案的结果，而不必真的在物理世界中试错。

来自南开大学、天津理工大学、电子科技大学、新加坡 A*STAR 和 SUTD 的研究团队，在这篇全面综述中提出了一个统一的世界模型分析框架。文章的核心贡献在于其三维分类体系：功能维度将模型分为"决策耦合"（如 Dreamer 系列、DayDreamer）和"通用目的"（如 Sora、V-JEPA）两大类；时间维度区分"序列仿真推理"（逐步推演状态变迁）和"全局差异预测"（直接估计帧间变化）；空间维度则涵盖了从全局潜向量到分解渲染表示（3DGS、NeRF）的四种粒度的空间编码。

文章追溯了世界模型从 Ha & Schmidhuber (2018) 的奠基性工作到 Dreamer 系列的潜空间优化，再到 Sora 级别大规模生成模型的演进轨迹，并将这一框架统一应用于机器人操作、自动驾驶和通用视频生成三个领域。通过整合标准化数据集和评估指标，文章提供了跨模型的定量比较，并提炼出领域面临的四个核心挑战：统一数据集的匮乏、物理一致性评估指标的缺失、实时控制所需的计算效率权衡，以及长时程时序一致性。

核心创新

本文最突出的是其三维分类体系的系统性和完整性：

功能维度捕捉了世界模型在具身智能栈中的角色差异。决策耦合模型（Dreamer、LUMOS、DayDreamer）将世界模型作为策略优化的内部回路，以样本效率和多任务规划为核心目标——DreamerV3 证明了在 Minecraft 等开放环境中纯潜空间想象的策略学习能力，DayDreamer 则展示了在真实机器人上的高效部署。通用目的模型（Sora、UniSim、Cosmos）追求高保真度和广泛覆盖，在互联网规模的多源数据上训练，能生成物理上合理且视觉真实的未来场景。

时间维度区分了两种根本不同的动力学建模策略。序列仿真推理（Sequential Simulation）以 RSSM 为代表架构，通过递归状态空间模型将随机性与确定性记忆融合，逐步推演潜状态轨迹——这种方法样本效率高、适合实时控制，Dreamer 系列和 MILE 是其典型代表。全局差异预测（Global Difference Prediction）则采用 DiT 或 JEPA 范式，直接建模全局帧间变换，Sora、Cosmos 等大规模视频扩散模型属于此类——它们在视觉保真度方面表现卓越，但推理计算成本高昂。

空间维度是本文最具特色的分类轴。文章识别出四种递进的空间表示：全局潜向量（Global Latent Vector）将场景压缩为单一向量，计算高效但丢失空间细节；Token 特征序列（Token Feature Sequence）将视觉信息离散化为 token 序列，天然适配 Transformer 和大语言模型生态；空间潜网格（Spatial Latent Grid）通过 2D/3D 网格编码保留空间结构，OccWorld 的 3D 占用网格预测是其代表；分解渲染表示（Decomposed Rendering Representation）利用 3D 高斯泼溅（3DGS）和 NeRF 提供最高保真度的几何表示，ManiGaussian++ 和 DriveDreamer4D 引领了这条前沿路线。

方法论

文章的方法论贡献在于建立了世界模型的统一数学框架（基于压缩-预测-控制管线）和系统化的比较方法。

理论基础将世界模型形式化为 POMDP 下的变分推断问题。观测通过编码器压缩为潜状态 z，动力学先验 p(zt|zt-1, at-1) 预测状态转移，过滤后验 q(zt|zt-1, at-1, ot) 融合当前观测信息，最后通过重构项和 KL 正则项联合优化 ELBO。这一统一表述涵盖了 RSSM、Transformer 状态空间模型（TSSM）、扩散世界模型等多种架构变体。

Dreamer 系列代表了决策耦合、序列仿真、全局潜向量范式的最完整实现。从 DreamerV1 到 V3，模型在潜空间想象中逐步优化策略：V2 通过离散潜变量显著提升表征能力，V3 引入无需 reward 归一化的鲁棒学习算法，使单一模型可以在截然不同的环境（Atari、DMControl、Minecraft）上取得强结果。后续扩展如 GLAM 引入 Mamba 并行架构平衡效率与容量，HRSSM 通过双分支架构增强表示鲁棒性。

自动驾驶专用世界模型是另一个蓬勃发展的子领域。MILE 利用离线专家数据实现想象性规划，OccWorld 通过 3D 占用网格构建时空一致的场景预测，DriveDreamer4D 和高斯世界模型（GaussianWorld）则利用 4DGS 提供前所未有的时空视觉保真度。这些模型面临的独特挑战包括多智能体交互、安全约束和计算延迟的严格要求。

通用视频世界模型代表了领域的前沿。Sora 证明了大规模 DiT 在视频生成方面的惊人能力，V-JEPA 通过联合嵌入预测架构追求自监督学习，Cosmos 系列则致力于构建开放的物理世界仿真平台。这些模型的规模和能力正在迅速扩展，但从生成保真度到物理一致性之间仍存在显著鸿沟。

实验结果

文章汇总了大量 SOTA 模型的定量比较数据：

在机器人操作领域，DreamerV3 在 Atari 游戏中以单一算法配置达到了人类水平表现，DayDreamer 在 Franka 机器人上仅用数小时数据实现样本高效学习。LUMOS 通过语言条件模仿学习实现真实世界零样本迁移，SENSEI 利用 VLM 蒸馏的语义奖励增强了 RSSM 的规划能力。3DGS 类世界模型（ManiGaussian++）在几何精度方面显著超越传统潜向量方法，但代价是更高的计算需求。

自动驾驶领域的比较更为多元：DriveDreamer4D 的 4DGS 渲染在 nuScenes 上的未来帧预测质量（FID）显著优于传统方法，但推理速度限制了其实时部署。OccWorld 和 ViDAR 在规划成功率上展现了更强的实用性。DINO-Foresight 引入了无需渲染的 DINO 特征预测，在保持竞争力的同时大幅降低了计算开销。

跨领域比较揭示了一个核心发现：模型在视觉质量上的进步并不必然转化为下游任务性能的提升。Sora 虽然能生成令人惊叹的视频，但物理不一致（如物体消失、碰撞错误）使得其直接用于策略规划仍不可靠。这恰恰指向了文章强调的开放挑战——需要发展超越像素保真度的评估指标。

启示与思考

这篇综述为具身智能世界模型研究提供了几点方向性的洞察：

评估体系需要根本性重构。 当前以 FID、PSNR 等计算机视觉指标为主的评估范式，无法有效衡量世界模型对"物理因果性"的把握程度。发展以物理一致性、长时程稳定性和反事实推理准确性为核心的评测体系，是推动这一领域从"看起来像"走向"真的懂"的关键。

效率与保真度的权衡正在被重新定义。 RSSM 类方法在计算效率方面具有压倒性优势，使其成为当前唯一能在真实机器人上实时运行的世界模型范式。大规模扩散世界模型虽然视觉保真度领先，但推理延迟使其在闭环控制中不可行。GLAM（Mamba 架构）和 JEPA（免解码器预测）代表了两条有价值的中间路线。

3D 表示正在重塑世界模型的能力边界。 3DGS 和 NeRF 的引入使世界模型从 2D 图像预测跃迁到 3D 几何预测，这对需要精确空间推理的操作任务（如装配、布料处理）至关重要。但 3D 重建的计算开销和视点依赖性仍是实际部署的障碍。

数据是瓶颈也是机遇。 文章统计了各模型的训练数据来源，发现决策耦合模型的数据规模通常远小于通用模型——Dreamer 类模型可以在单一环境的几百万步数据上学习有效策略，而 Cosmos 需要千万小时的视频数据。这表明决策耦合模型通过结构化的归纳偏置实现了更高的数据效率，但也暗示着大规模预训练可能为它们带来新的能力跃升。

世界模型与 VLA 的融合是必由之路。 当前最先进的 VLA 系统（π0、RT-2、OpenVLA）大多采用直接的感知-动作映射，缺乏显式的世界预测能力。将世界模型的"前向想象"能力注入 VLA 框架——如 MinD 的分层世界模型和 CoT-VLA 的视觉链式思考——代表了具身智能的下一个演进方向。想象你的行动会产生什么结果，然后据此修正你的行动——这是人类智能的核心特征，也是让机器人真正理解物理世界的路径。