概述
VLWM（Vision Language World Model） 是一种视觉语言世界模型（Vision Language World Model），旨在实现视觉观察的自然语言世界建模。该模型在自然视频上进行训练，能够理解和预测视觉环境中的动态变化。
VLWM的核心目标是构建一个能够理解视觉世界并预测其演化的统一框架，为世界模型与规划推理融合提供视觉基础。
核心能力
VLWM具备以下核心能力：
1. 目标达成推断
模型能够推断总体目标的达成情况，即给定当前观察和目标描述，判断目标是否已经实现。这是世界模型的基本能力之一。
2. 轨迹预测
模型能够预测由交错动作和世界状态变化组成的轨迹。具体而言：
- 输入：当前视觉观察 + 一系列动作序列
- 输出：预测的世界状态序列
这种能力使得模型能够模拟不同动作序列的潜在后果。
3. 迭代自我优化
VLWM支持迭代LLM自我优化条件于压缩未来观察。这意味着模型可以根据预测结果不断调整和优化其内部表示，实现持续改进。
系统设计
Tree of Captions
Tree of Captions（字幕树） 是VLWM的核心组件，用于压缩未来观察。其工作原理：
- 对未来观察序列生成多层次的描述（captions）
- 建立描述之间的层次结构
- 利用压缩的语义表示进行高效推理
这种方法将高维视觉信息压缩为可处理的语言表示，大大降低了计算复杂度。
动作策略
动作策略模块的主要作用是促进反应式System-1计划解码。该模块：
- 提供快速的动作建议
- 支持实时决策
- 与环境进行快速交互
动态模型
动态模型模块的核心功能是促进反思式System-2规划。其特点包括：
- 深度推理和规划
- 多步未来预测
- 代价最小化搜索
System-1与System-2双系统架构
VLWM采用类似人类认知的双系统架构：
| 系统 | 类型 | 特点 | 应用场景 |
|---|---|---|---|
| System-1 | 快思考 | 单次rollout生成计划 | 反应式决策、实时控制 |
| System-2 | 慢思考 | 搜索多个动作，成本最小化推理新世界状态 | 复杂规划、深度推理 |
System-1：反应式计划解码
System-1采用单次rollout方式生成计划，具有以下特点：
- 速度优先：追求快速响应
- 直接映射：从观察到动作的直接转换
- 计算高效：无需复杂的搜索过程
System-2：反思式规划
System-2采用多动作搜索 + 成本最小化推理的方式：
- 探索多个动作：生成多个可能的动作候选
- 推理新世界状态：预测每个动作对应的未来状态
- 成本最小化：选择总代价最小的动作序列
- 反思优化：根据预测结果调整策略
这种设计使得VLWM能够在需要深度思考的场景中做出更优决策。
评估结果
VLWM在多个基准上取得了优异表现：
| 基准 | 任务类型 | 性能 |
|---|---|---|
| VPA | Visual Planning Achievement | SOTA（最优） |
| RoboVQA | Robotic Visual Question Answering | 领先水平 |
| WorldPrediction | World Prediction | 显著提升 |
VPA任务
VPA（Visual Planning Achievement）任务评估模型将视觉目标转化为可执行计划的能力。VLWM在该任务上达到SOTA水平，超越先前方法。
RoboVQA基准
RoboVQA评估机器人视觉问答能力，VLWM展现出强大的视觉理解和推理能力。
WorldPrediction基准
WorldPrediction测试模型预测未来世界状态的能力，VLWM通过Tree of Captions等技术实现了显著性能提升。
技术总结
VLWM通过以下创新设计实现了强大的视觉语言世界建模能力：
- 统一表示：将视觉观察映射到语言空间，实现跨模态理解
- Tree of Captions：高效压缩和表示未来观察
- 双系统架构：兼顾反应速度和规划深度
- 迭代优化：支持模型的持续自我改进
该模型为具身智能、机器人规划、自动驾驶等领域提供了重要的基础能力支撑。