Reference

World Model × Embodied AI 全景图

把“会预测”和“会行动”拆开，再组合成系统。

五个不可混用的层次

1. 观测与动作

世界给你的输入是 observation，你给世界的是 action。先看张量形状、单位、频率和物理含义。

2. 世界模型

学习 (o, a) → o'、r、done 或未来视频。它回答“如果我这么做，世界会怎样”。

3. 策略

学习 o → a。它回答“我现在应该怎么做”。策略可以没有显式世界模型。

4. VLA

把图像、语言、机器人状态映射为动作块。它通常是策略，不一定显式输出未来世界状态。

5. 数据与仿真

数据提供经验分布，仿真器提供闭环真值。二者都不能单独证明泛化。

一张决策表

你想解决的问题	应该优先看	常见坑
预测下一帧/未来画面	Video world model、Cosmos、Genie	漂亮视频 ≠ 可控制环境
在低维状态上做控制	RSSM、Dreamer、model-based RL	只做 next-state 回归不等于 Dreamer
让机器人听指令做事	VLA、SmolVLA、OpenVLA、π0	输出形状对了不等于 embodiment 匹配
评估策略真实效果	closed-loop benchmark	offline loss 不能外推成功率
构造训练数据	LeRobot / Open X-Embodiment	episode 内相邻帧会造成泄漏

证据等级

Level 1 — Interface smoke test

证明张量形状、预处理、模型加载和推理路径能跑通，不证明语义性能。

Level 2 — Offline metric

在静态验证集上测 MSE、loss、生成质量，不证明闭环策略有效。

Level 3 — Closed-loop evaluation

策略自己的动作会改变未来观测，才有资格谈 return、success rate 和泛化。

最小系统图

观测 o ─┬─> World model ─> 未来 o' / r / done
        │        ↑
        │        action a
        └─> Policy / VLA ─> action a
                 ↓
             Environment / Robot
                 ↓
             下一帧 o'

关键不是把所有模块塞进一个模型，而是明确：谁负责预测，谁负责决策，谁负责评估。

五个不可混用的层次

1. 观测与动作

2. 世界模型

3. 策略

4. VLA

5. 数据与仿真

一张决策表

证据等级

最小系统图

推荐一手资料