视觉语言导航：综述与分类体系

import { resolveImageSrc } from '@/components/PaperMarkdownRenderer'

论文概览

《Vision-Language Navigation: A Survey and Taxonomy》由国防科技大学的研究团队撰写，发表于 IEEE Transactions on Neural Networks and Learning Systems。这篇综述是视觉语言导航（Vision-Language Navigation, VLN）领域的第一篇全面综述，其核心贡献在于：不仅系统梳理了当时快速发展的 VLN 任务、数据集与模型，更重要的是提出了一套基于语言指令特征的全新分类体系，帮助研究者理解不同 VLN 任务之间的本质差异。

VLN 任务要求智能体根据人类自然语言指令，在未见过的环境中完成导航。这涉及计算机视觉、自然语言处理、机器人学和强化学习等多个领域的交叉，是迈向具身智能的重要一步。与早期仅依赖视觉或仅依赖拓扑地图的导航不同，VLN 智能体必须同时理解视觉场景和语言指令，并将两者映射为具体的行动序列。

核心创新

论文的主要贡献可以概括为以下三点：

1. 首次全面综述 VLN 任务：涵盖了 Anderson 等人 2018 年提出的 Room-to-Room（R2R）任务以及后续衍生的多种任务与数据集。
2. 提出基于语言指令的分类法：根据指令是一次性给出还是多轮交互，将 VLN 任务分为单次指令任务和多轮指令任务；进一步根据是否描述详细路径，将单次指令任务细分为目标导向和路径导向两类。
3. 系统梳理局限与未来方向：从泛化能力、数据质量、环境交互性等角度总结了当时 VLN 研究的瓶颈，并指出引入外部知识与实现仿真到现实迁移是关键机遇。

方法论

分类体系：按语言指令组织任务

作者指出，按照视觉输入（如室内或室外环境）难以有效区分 VLN 任务，因为相同环境中可能存在截然不同的任务设置。相反，语言指令的形态决定了任务的难度和所需能力。因此，论文将现有 VLN 任务划分为两大分支：

单次指令任务（Single-turn Tasks）

智能体在起点处一次性获得完整指令，然后自主导航到目标位置。这类任务根据指令是否包含详细路径，进一步分为两类：

• 目标导向（Goal-oriented）：指令只说明目标，例如"找到冰箱"或"把勺子拿过来"。智能体需要自行规划路径，目标可能在初始位置不可见，甚至需要通过交互才能发现（如打开抽屉）。代表性任务包括 LANI、ALFRED、REVERIE、Embodied Question Answering（EQA）、RoomNav 等。
• 路径导向（Route-oriented）：指令详细描述了沿途景物和行进路线，如"走到前门，左转，穿过拱门，停在中间房间"。智能体必须严格按照指令执行，走错一步就可能迷失。代表性任务包括 Room-to-Room（R2R）及其变体、Touchdown、StreetLearn 等。

多轮指令任务（Multi-turn Tasks）

指令不是一次性给出，而是随着导航过程分阶段提供。这类任务根据智能体是否能主动提问，进一步分为两类：

• 被动式（Passive）：智能体只能接收指令，不能发问。例如 CEREALBAR、HANNA、VNLA 等任务。
• 交互式（Interactive）：智能体可以在信息不足或存在歧义时向人类提问，从而逐步获取信息。代表性任务包括 CVDN、Just Ask、Talk The Walk、RobotSlang 等。

数据集与仿真器

论文详细介绍了 VLN 研究中常用的数据集和仿真器：

• 数据集：SUNCG、Matterport3D、2D-3D-S、Replica 等提供了大规模 3D 场景和语义标注；R2R、ALFRED、REVERIE、Touchdown 等则提供了带自然语言指令的导航数据。
• 仿真器：AI2-THOR、VizDoom、Gibson、House3D、Matterport3D Simulator、Habitat 等平台支持照片级真实感的室内或室外导航，提供第一人称视觉观察和离散或连续的动作空间。

这些仿真器为 VLN 研究提供了可控、可重复的实验环境，但也带来了仿真到现实的鸿沟。

主流方法

论文从多个维度总结了 R2R 等路径导向任务中的代表性方法：

• 探索策略：如 Regretful Agent、FAST、Evolving Graphical Planner 等，强调在走错路时能够回退或重新规划。
• 超越 Seq2Seq 的架构：从 LSTM 到 Transformer，再到 Cross-modal Masked Path Transformer、Structured Scene Memory 等模型，利用更强的注意力机制和多模态融合提升导航性能。
• 模仿学习与强化学习结合：许多工作采用教师强制与策略梯度相结合的方式，使智能体既能跟随专家轨迹，又能探索训练分布之外的状态。
• 语言接地：研究如何将语言中的物体、动作、方向等概念与视觉观察对齐。
• 数据增强：Speaker-Follower 框架、反事实样本生成、随机环境混合等方法有效缓解了数据稀缺问题。
• 预训练模型：BERT、VL-BERT、VLN-BERT、VLN⟳BERT、PREVALENT 等预训练模型显著提升了 VLN 在未知环境中的表现。

实验结果

作为一篇综述，论文主要通过对比分析和 leaderboard 总结展示了研究进展。R2R 任务 leaderboard 显示，从早期的 Seq2Seq 到结合预训练与数据增强的 REM 模型，未见环境下的 SPL（Success weighted by Path Length）从约 0.18 提升到了 0.59 左右。这一进步得益于：

1. 更强的视觉-语言表征：预训练模型能够捕捉更丰富的跨模态语义对齐。
2. 更好的探索与回退机制：智能体不再只是局部贪婪决策，而是能够全局规划并在必要时修正路线。
3. 更充分的训练数据：数据增强和预训练技术有效缓解了 VLN 数据标注成本高昂的问题。

同时，论文也指出，尽管仿真环境中性能不断提升，但将这些方法迁移到真实机器人平台仍面临巨大挑战。

启示与思考

这篇综述的价值不仅在于对已有工作的分类整理，更在于它揭示了 VLN 领域几个根本性的问题：

泛化能力差

当前模型在训练过的场景中表现良好，但迁移到未见过场景时性能显著下降。更严重的是，从室内任务到室外任务、从离散动作空间到连续动作空间的迁移同样困难。作者认为，这可能源于不同环境数据分布差异巨大，以及监督学习方法存在一定程度的过拟合。

高质量数据稀缺

与真实数据相比，自动生成的增强数据仍然有限。而收集真实 3D 场景数据需要昂贵的摄影测量设备，成本高昂。如何低成本、大规模地获取高质量真实世界数据，是 VLN 面临的核心挑战之一。

环境交互受限

现有仿真器中智能体与环境的交互通常被简化为移动、转向、打开微波炉等基础操作。真实世界中的物理约束（如布料形变、流体、软体接触）在仿真中往往被忽略。未来的仿真器需要集成更真实的物理引擎，以缩小仿真与现实的差距。

引入知识

作者认为，引入知识是提升 VLN 智能体能力的重要途径。这包括：

• 算法知识：通过元学习、迁移学习、课程学习让智能体更快适应新环境。
• 外部知识库：利用常识知识（如"马桶通常在洗手间"）指导导航决策。
• 认知架构：借鉴人类海马体在空间记忆和推理中的作用，设计更有效的记忆和推理机制。

从仿真到现实

将 VLN 模型部署到真实机器人是最终目标。论文提到 Anderson 等人已将 TurtleBot2 机器人用于 VLN 任务，但视觉域差异和动作空间差异仍是主要障碍。未来需要更 lightweight 的模型、更真实的仿真器，以及触觉、听觉等多模态感知能力。

总的来说，这篇综述提醒我们：视觉语言导航的难点不仅在于让智能体"听懂指令"和"看到环境"，更在于如何让它们像人类一样，在开放、动态、部分可观察的物理世界中持续学习、推理和行动。作者提出的分类法为这一领域提供了清晰的认知框架，而他们指出的知识融合与仿真到现实迁移方向，仍然是今天具身智能研究的重要课题。