具身AI：从大型语言模型到世界模型

管理员 7 个月前

教育

924

《具身AI：从大型语言模型到世界模型》论文中文编译总结

论文基本信息

标题：Embodied AI: From LLMs to World Models（具身AI：从大型语言模型到世界模型）
作者：Tongtong Feng（清华大学计算机科学与技术系博士后，北京邮电大学博士）、Xin Wang（清华大学计算机科学与技术系副教授，IEEE会员）、Yu-Gang Jiang（复旦大学计算机科学杰出教授，IEEE Fellow）、Wenwu Zhu（清华大学计算机科学与技术系教授，IEEE Fellow，北京国家信息科学与技术研究中心副院长）
发布日期：2025年9月24日
arXiv ID：2509.20021
论文类型：综述性论文（IEEE Circuits and Systems Magazine），全面回顾具身AI从基础到前沿的发展，强调大型语言模型（LLMs）和世界模型（WMs）在具身智能中的作用。
核心主题：具身AI作为通往通用人工智能（AGI）的关键范式，通过LLMs的语义推理与WMs的物理预测融合，实现代理在物理世界中的感知、认知和交互闭环。

摘要（中文翻译与提炼）

具身AI是AGI的核心系统范式，将智能从网络空间扩展到物理实体，是认知科学与神经科学的产物。LLMs和WMs的突破为具身AI注入活力：LLMs通过语义推理和任务分解，提供高层自然语言指令与低层动作序列，支持具身认知；WMs通过构建外部世界的内部表示和未来预测，确保交互符合物理定律。论文系统综述具身AI的历史、技术组件、硬件系统，从单模态到多模态视角剖析发展。重点探讨LLMs/多模态LLMs（MLLMs）和WMs在端到端具身认知及物理驱动交互中的应用，提出联合MLLM-WM架构以应对复杂物理任务。同时，考察服务机器人、救援无人机（UAV）和工业机器人等应用领域，并展望未来方向。该文为具身AI研究提供全面文献指南，推动从专化代理向通用物理智能演进。

引言

引言追溯具身AI起源至1950年图灵的“具身图灵测试”，强调智能源于感知-认知-交互的动态耦合，而非抽象计算。具身AI区别于无身AI（网络空间问题求解），聚焦物理世界交互，受认知科学启发，认为智能嵌入身体与环境。核心组件包括：

主动感知：传感器驱动的环境观察（如视觉SLAM）。
具身认知：基于历史经验的认知更新（如任务规划）。
动态交互：执行器中介的动作控制（如机器人臂）。

硬件具身不可或缺，受实时延迟和功耗约束。发展从单模态（视觉/语言主导）向多模态演进，后者融合多源信息，提升适应性。LLMs赋能高层语义（e.g., SayCan任务分解），MLLMs桥接多模态输入与动作（e.g., RT-2），WMs提供物理预测（e.g., Dreamer-v3）。然而，MLLMs忽略物理约束，WMs缺乏语义推理。论文提出联合架构（如EvoAgent），桥接二者，实现自主长时序任务。结构概述：基础（II）、LLMs驱动（III）、WMs驱动（IV）、联合架构（V）、应用（VI）和未来（VII）。

关键章节结构与核心内容

论文结构清晰（如图2所示），分为七大节，逻辑从基础到前沿、从语义到物理融合。

Section II: 具身AI基础
- 历史：从哲学（笛卡尔身心二元论）到学习范式（强化学习RL、模仿学习）。
- 关键技术：计算机视觉（CV，如ResNet）、自然语言处理（NLP，如BERT）、RL（如DQN）、LLMs（如ChatGPT）和WMs（如Dreamer-v3）。
- 组件：主动感知（SLAM、3D理解）、具身认知（规划、记忆）、动态交互（控制、协作）。
Section III: LLMs/MLLMs驱动具身AI
- LLMs通过语义推理（上下文分析）和任务分解（链式提示）赋能认知（e.g., SayCan将语言映射动作库）。
- MLLMs扩展多模态：视觉-语言模型（VLMs，如PaLM-E）和视觉-语言-动作模型（VLAs，如RT-2、OpenVLA）。
- 分类：感知（场景理解）、认知（规划）、交互（端到端控制）。优势：泛化强；局限：忽略物理定律。
Section IV: WMs驱动具身AI
- WMs核心：内部表示（潜在空间捕获动态、物理定律、因果）和未来预测（多步模拟奖励、风险评估）。
- 分类：
  - RSSM-based（Dreamer系列，循环状态空间模型）。
  - JEPA-based（联合嵌入预测架构，抽象潜在空间）。
  - Transformer-based（注意力机制，提升长序列）。
- 优势：样本高效、物理真实；局限：语义弱、任务泛化差。
Section V: 联合MLLM-WM架构
- 分析局限：MLLMs实时适应差，WMs开放语义弱。
- 互补：MLLMs提升WMs推理（语义融合、任务分解）；WMs提升MLLMs交互（物理约束、时空稳定）。
- 提出架构：自状态输入、任务规划、记忆更新、感知-交互闭环（如图5）。表格IV比较：联合架构在复杂任务中成功率提升20-30%。
Section VI: 应用
- 服务机器人：家务/医疗任务（e.g., Mobile ALOHA）。
- 救援UAV：实时响应、危险模拟（e.g., 多UAV协作）。
- 工业机器人：智能决策、零件对齐（e.g., 预测维护）。
- 其他：教育（虚拟训练）、空间探索（火星漫游者）。
Section VII: 未来方向
- 自主具身AI：适应感知、环境意识。
- 硬件：模型压缩、编译优化、加速器协同设计。
- 群体具身AI：协作WMs、多代理学习。
- 可解释性与可信性：基准评估、伦理安全。
- 其他：终身学习、人机循环、道德决策。

从LLMs到World Models的演进（核心概念）

论文核心是具身AI的“语义-物理”融合演进路径：

LLMs阶段：高层认知主导，语义推理将自然语言转化为子任务序列（e.g., LLM-Planner），但动作库固定、环境依赖强。
MLLMs扩展：多模态桥接，端到端从视觉/语言输入生成动作（e.g., RT-2在模拟环境中泛化率达80%），支持开放词汇交互。
WMs注入物理：低层交互主导，内部表示编码物理定律（e.g., 能量守恒、因果推理），未来预测模拟多步后果（e.g., Dreamer-v3样本效率提升10x）。
联合演进：MLLM规划 + WM预测，形成闭环自主进化（e.g., EvoAgent实现无监督长时序任务）。从单模态（视觉SLAM）到多模态（融合触觉/音频），强调具身闭环：感知（主动探索）→认知（反思记忆）→交互（行为控制）。

方法论

感知：视觉SLAM（ORB-SLAM几何、DS-SLAM语义）、3D生成（Gaudi priors）、主动探索（MAX模型基）。
认知：任务规划（LLM驱动PDDL）、记忆反思（Reflexion）、多模态基础模型（EmbodiedGPT）。
交互：VLA控制（RT-2）、模仿学习（GAIL）、多代理RL（QMIX）。
硬件优化：量化剪枝、TVM编译、TPU/FPGA加速。
联合框架：MLLMs生成计划，WMs验证物理可行性，记忆模块更新内部表示。

实验结果与基准

论文为综述，无原创实验，但引用基准评估：

Habitat（3D导航）：成功率、路径长度。
ManiSkill（操纵）：物理交互精度。
MuJoCo（连续控制）：能量效率。
EmbodiedBench（多模态）：泛化分数。
结果显示：RT-2等MLLMs在操纵任务泛化提升；Dreamer-v3在模拟中奖励预测误差<5%；联合架构（如EvoAgent）长时序任务成功率92%。表格I-III比较传感器/模态/场景，突出多模态优势。