基础模型驱动机器人学：综合性综述
Foundation Model Driven Robotics: A Comprehensive Review
来自南洋理工大学和德州农工大学的综述，从系统集成的视角审视了 LLM 与 VLM 在机器人感知、规划、控制和交互中的全栈应用。论文覆盖仿真驱动设计、开放世界执行、Sim-to-Real 迁移和自适应机器人四大前沿方向，并深入分析了实时性、数据稀缺、安全可靠性等核心瓶颈。
import { resolveImageSrc } from '@/components/PaperMarkdownRenderer'
论文概览
这篇综述由南洋理工大学和德州农工大学的研究者联合撰写，以系统级集成的视角审视了基础模型在机器人学中的全栈应用。与现有综述倾向于孤立地讨论感知、规划等单项能力不同，这篇论文的核心贡献在于强调各子系统之间的协同工作——将高层语义推理与低层物理执行视为一个需要整体优化的闭环。
论文以 16 页的篇幅覆盖了 170+ 篇参考文献，涵盖从 GPT-3 到 PaLM-E 的关键模型，并梳理了四个主流应用方向：仿真驱动设计、开放世界执行、Sim-to-Real 迁移和自适应机器人系统。
对我而言最有价值的是论文对每个方向的瓶颈分析——它不满足于罗列成功案例，而是诚实地指出当前基础模型在实时操作、物理基础、安全性和解释性等方面的结构性缺陷。这种批判性视角使这篇综述超越了简单的文献整理。
核心创新：系统级集成视角
论文最核心的方法论贡献是超越了"LLM 能做 X"的展示式研究，转向了"如何在真实机器人系统中可靠地落地"的工程性思考。
四维能力框架
论文将基础模型在机器人中的应用归纳为四个核心能力维度：
感知（Perception）：VLMs 如 CLIP、BLIP-2 使机器人具备了开放词汇视觉识别能力，可以从语言描述中理解环境中的物体而不需要专门的类别训练。PaLM-E 进一步将多模态感知与具身推理融合，使同一模型既能回答视觉问题又能规划操作动作。
规划（Planning）：LLM 将自然语言指令翻译为可执行的任务序列。论文特别强调了反馈驱动规划的重要性——Inner Monologue 等方法通过在线的文本化"内心独白"实现闭环调整，显著提升了长时序任务的成功率。LM-Nav 展示了如何组合 LLM（生成路径点）和 VLM（匹配地标）实现户外导航。
控制（Control）：基础模型在控制层面扮演两种角色：一是直接作为通用策略网络（如 RT-1/RT-2 将 VLM 微调为机器人控制策略），二是通过代码生成动态合成控制程序（如 Code-as-Policies 框架）。后者的一个关键优势是可解释性和可调试性——生成的控制代码可以被人类检查和修改。
人机交互（HRI）：基础模型的对话能力使机器人能够理解上下文丰富的自然语言指令，在操作过程中提供解释、请求反馈或调整行为。论文指出这种多模态交互正在从"程序员对机器人"转向"普通用户对协作伙伴"。
从模块化到整体化的架构演进
论文识别的一个重要方法论趋势是向模块化架构的演进。MIT 的 HiP 框架是一个代表性案例：使用三个独立的基础模型分别处理语言推理、物理场景理解和运动控制，通过迭代式"提出计划 → 视觉验证 → 动作执行"的循环实现鲁棒的任务执行。这种模块化设计既保留了每个模型的专长，又通过标准化接口实现了组合效应。
四大应用前沿
仿真驱动机器人学
基础模型正在从根本上改变机器人仿真的工作流程。传统上，创建多样化的仿真场景需要大量手工劳动——摆放物体、编写任务描述、配置物理参数。现在，语言模型可以将自然语言提示直接转换为 USD、URDF 等场景描述文件，通过语义推理自动安排合理的物体布局。
更高级的应用包括语义域随机化——程序性地改变任务参数（物体类型、位置、关系约束）同时保持任务逻辑的一致性。Codex 等代码模型还能直接生成完整的仿真流水线代码，包括环境几何、任务目标、奖励函数和仿真器配置。
论文也指出了这一方向的现实挑战：由于缺乏真正的物理理解，LLM 生成的场景可能出现物体碰撞、不稳定配置等幻觉——这对于需要高保真物理学仿真的机器人训练尤为致命。
开放世界执行
开放世界执行的目标是让机器人在非结构化环境中自主运作。AutoRT 是一个代表性系统：使用 VLM 描述场景，LLM 生成任务提议，再通过基于规则的"宪法"过滤掉不安全或不可行的动作。Chain-of-Action 方法将高层指令分解为可执行的移动和操作原语序列，结合可供性推理确保子目标在物理上是可达的。
这些方法的核心挑战在于感知-执行链中的错误传播——传感器噪声、误分类或不完整的语义地图会在下游步骤中被放大，最终导致执行失败。
Sim-to-Real 迁移
这是机器人学习中最经典也最顽固的问题之一。论文讨论了基础模型如何帮助弥合仿真与现实之间的差距：视觉不变性学习利用 CLIP 等模型的鲁棒视觉表示，扩散模型生成多样化的仿真环境域随机化变体，LLM 自动生成课程训练计划。
论文特别提到了使用控制论指标量化 Sim-to-Real 动态差异的方法，相比传统的均方误差指标，这些方法能更准确地暴露摩擦等未建模物理效应的偏差——这些细微差异对真实世界表现有直接影响。
自适应机器人系统
最具前瞻性的方向之一。论文展示了 LLM 作为"高级大脑"实现实时策略调整的能力。Zahedifar 等人的混合 Lyapunov-LLM 控制器在双连杆机械臂遭遇突然动力学变化时达到了 100% 的适应成功率。RePLan 框架将视觉和语言模型结合，实现了长时序任务中的实时重规划。
RAG（检索增强生成）在这一方向也展现了潜力——机器人维护历史交互记忆，LLM 规划器可以在决策时查询过去的成功和失败经验，实现类似人类的"学习型"行为。但这一方向仍处于早期阶段，LLM 偶尔会提出不稳定的行动或不正确的修复方案。
六大核心挑战
论文识别了基础模型驱动机器人学的六个关键瓶颈：
-
实时与计算约束：当前基础模型的推理延迟与机器人实时控制的需求之间存在根本性矛盾。TinyVLA 等轻量化方案和无服务器推理架构是潜在的解决路径。
-
数据稀缺与物理基础：互联网规模的语言/视觉预训练无法覆盖机器人领域的长尾场景和物理边界情况。仿真生成和协作式数据收集是主要补充策略。
-
多模态融合不足：触觉、音频、本体感受等对机器人至关重要的模态在当前基础模型中基本缺失，因为缺乏大规模对齐数据集。
-
安全与可靠性：LLM 的幻觉和对抗提示攻击在物理操作场景中可能导致危险后果。传统的机器人安全措施无法覆盖这些新型故障模式。
-
黑盒解释性：在安全关键任务中，无法解释模型的决策过程会削弱用户信任和系统验证能力。链式思维提示和模块化策略是初步缓解措施。
-
泛化与鲁棒性局限：跨机器人形态的知识迁移和在极端环境条件下的适应仍然极具挑战性。
启示与思考
这篇综述让我特别关注的是安全视角的缺失与隐现。虽然论文在挑战部分提到了安全可靠性，但它没有深入探讨基础模型在物理世界中引入的新型风险类别。
对于 AI 安全研究而言，这提出了几个重要问题：当 LLM 生成的代码控制物理机器人时，常规的沙箱化代码执行可能不够——我们需要物理后果感知的验证层。PaLM-E 这样的模型将视觉理解和操作规划整合在同一架构中，使得传统的模块化安全分析（分别检查感知、规划、控制的输出）不再适用。
另一个值得注意的趋势是模块化架构的复兴。HiP 框架的思路——将不同模型的能力拆分为可独立评估的组件——与安全研究中的"组合式验证"方法论不谋而合。在 Agent 安全领域，我们正在探索类似的方法来确保复杂智能体系统的安全性。
论文最后呼吁发展"机器人基础模型"——专门为物理交互设计的预训练模型，而不仅仅是将语言/视觉模型移植到机器人领域。我认为这可能是实现可靠物理安全的关键：只有模型在训练时就内化了物理常识和安全约束，才能从根本上减少安全风险。