VLA模型分析 ( 46 页)

目录

1. 自动驾驶模型范式由数据驱动向知识驱动升维.....7

1.1. 自动驾驶两大趋势：模型数据驱动转向知识驱动、模型功能至上迈向驾乘体验优先7

1.2. 传统基于规则的模块化算法核心缺陷在于无法Scaling .... 7

1.3. 端到端模型：自动驾驶从数据驱动向知识驱动演进......9

1.3.1. 数据驱动的端到端模型面临数据瓶颈.... 9

1.3.2. 多模态大语言模型引入是端到端模型实现知识驱动的关键..... 10

2. VLA 模型是自动驾驶端到端架构的演进方向......12

2.1. VLA 推动自动驾驶从功能迈向体验.....12

2.2. 自动驾驶VLA 模型构建与工程部署面临的主要问题及解决方法.... 13

2.2.1. 3D GS 或是车端实时获取良好3D 中间特征的途径.... 14

2.2.2. 强化长时序记忆能力将提升VLA 模型长程任务规划与解决能力.... 15

2.2.3. 优化模型架构与推理机制可以提高端侧计算效率....16

2.2.4. 利用世界模型构建云端仿真环境是模型闭环测试、强化学习的关键...... 18

2.3. 自动驾驶典型VLA 架构...... 25

2.3.1. Waymo EMMA：开创性的端到端多模态自动驾驶模型...... 25

2.3.2. Open Drive VLA 框架的贡献在于模型3D 环境感知和交互.... 26

2.3.3. 小米ORION 框架引入QT-Former 模块实现了长时序记忆....... 28

2.3.4. 理想Mind VLA：深度融合空间、语言及行为智能......29

3. 具身智能本质是自动驾驶的升维问题，构建数据闭环是关键.....31

3.1. 机器人VLA 架构的发展历程.......31

3.2. 应用场景与任务的差异决定了车端VLA 与机器人VLA 的核心差异....... 32

3.2.1. 机器人VLA 训练所需的数据规模或远超车端......33

3.2.2. 硬件方案未收敛与本体高自由度限制了真实数据收集.... 34

3.2.3. 算力解放是技术进步的前提.... 35

3.2.4. 构建可供机器人使用的仿真环境需要注重可交互性建设.....35

3.2.5. 关于机器人VLA 落地可能面临问题的总结..... 36

3.3. 人形机器人典型VLA 架构...... 37

3.3.1. Open VLA：首个开源且具备商业潜力的机器人VLA 模型..... 37

3.3.2. Helix：首个人形机器人上半身高速连续控制的开源模型.... 39

3.3.3. 智元ViLLA：实现大规模互联网异构视频数据高效利用..... 41

4. 受益公司梳理......43

4.1. 理想汽车：从汽车到AI，VLA 范式引领汽车智能化升级....... 43

4.2. 小鹏汽车：底层自研、全链自主打造“智驾端到端四部曲” ..... 44

5. 风险提示..... 45

图表目录

图表1： 百度Apollo 算法架构具备典型感知、预测、规划、控制模块化特征.....8

图表2： 不同阶段的自动驾驶算法演进.... 8

图表3： 端到端方案与传统模块化方案的对比..... 9

图表4： 模仿学习导致因果混淆..... 10

图表5： 模型学习的鲁棒性挑战（长尾问题、数据分布偏移、数据迁移问题） .... 10

图表6： LLM 模型在自动驾驶流程中的应用...... 11

图表7： 典型的MLLM 模型架构，包含编码器、连接器（对齐模块）、LLM、生成器.. 12

图表8： VLA 模型的总体架构，包含编码器、解码器和输出动作..... 13

图表9： 3D GS 与其余三维重建技术的区别...... 14

图表10： 3D GS 场景重建效果更优.......15

图表11： 小米QT-Former 模型架构..... 16

图表12： 模型量化使模型计算效率翻倍.... 17

图表13： 理想MindGPT 模型中MOE 网络有E1-E8 8 个专家.... 17

图表14： 自动驾驶模型开环评估与闭环评估的结构对比.......19

图表15： 自动驾驶中的世界模型综述.... 20

图表16： 理想世界模型相关论文方案总结.....21

图表17： 理想OLiDM 模型LiDAR 数据生成流程......22

图表18： 理想DriveDreamer4D 模型生成效果与传统方式的比较.... 23

图表19： 理想Recon Dreamer 模型长距离街景生成效果与传统方法的比较....24

图表20： 理想相关生成模型场景刻画与场景实时编辑...... 25

图表21： EMMA 模型架构..... 26

图表22： Open Drive VLA 模型架构...... 27

图表23： 引入条件车辆运动预测任务后，预测通过时延更低....... 28

图表24： 小米ORION 模型架构.... 29

图表25： 理想Mind VLA 模型架构.... 30

图表26： 理想Mind VLA 后训练环节世界模型框架.......31

图表27： 具身智能VLA 模型发展历程.......32

图表28： 机器人智能化模型数据金字塔.... 32

图表29： 人形机器人与汽车所面临的场景、任务丰富度不同....... 33

图表30： 不同人形机器人本体构型尚未确定..... 34

图表31： PartRM 模型框架，通过观察预测形变与真实形变的差值进行隐式学习.... 36

图表32： 不同机器人传感器的优缺点比较.....36

图表33： Open VLA 模型架构....... 38

图表34： Open VLA 模型在多项任务测评中相较于前代模型取得了更好的效果.......39

图表35： Helix 模型架构.... 40

图表36： 搭载Helix 模型的机器人实现上半身连续控制与双机器人任务协作....... 41

图表37： Helix 模型的泛化性能与抽象概念理解能力.... 41

图表38： 智元GO-1 机器人ViLLA 模型架构....42

图表39： GO-1 模型中的MOE 层，包含VLM、Latent Planner、Action Expert 三个核心组件...... 42

图表40： 理想汽车、小鹏汽车盈利预测.... 45

×