1. Video world model
生成未来视频或交互式视觉未来，关注物理合理性、时序一致性和可控性。
本地实验：Cosmos3-Nano text-to-video 生成。
适合评估：视觉质量、rollout 稳定性、动作可控性。
基本介绍：世界模型与具身智能
一句话定义
| 概念 | 一句话定义 | 关键判断 |
|---|---|---|
| World model | 给定当前观测和动作，预测未来观测、状态、奖励或结束条件。 | 回答“如果我这么做，世界会怎样？” |
| Embodied AI | 让智能体通过感知、决策和动作与物理或仿真环境交互。 | 必须有环境闭环，不只是离线数据拟合。 |
| Policy | 把观测映射为动作，可能还输入语言、目标或内部状态。 | 回答“我现在应该怎么做？” |
| VLA | Vision-Language-Action model，输入图像/语言/状态，输出机器人动作块。 | 通常是 policy，不必然显式预测未来。 |
| Benchmark | 固定任务、数据、指标和比较规则的可复现实验协议。 | 决定一个结果能否被公平比较。 |
| Competition / Challenge | 在时间内提交结果并按官方指标排名的比赛形式。 | 常有截止日期、算力限制和数据划分规则。 |
具身智能闭环
observation / language / proprioception
↓
perception → representation / world model
↓
planning 或 policy
↓
action
↓
environment simulator / real robot
↓
next observation, reward, done
最容易混淆的地方
world model 负责想象后果；policy 负责选择动作。一个 agent 可以只有 policy，也可以用 world model 辅助 planning，但不能因为模型能生成视频就直接说它能控制机器人。
三条技术路线
2. Latent control world model
把高维观测压缩成 latent state，在 latent 中预测动态并支持想象训练或规划。
本地实验：Tiny RSSM 与 64-step open-loop rollout。
适合评估：observation MSE、rollout 误差随时间变化、闭环控制收益。
3. VLA policy
直接从视觉、语言和状态输出动作块，把大模型知识迁移到机器人控制。
本地实验：SmolVLA 接口与 GPU 推理测试。
适合评估：成功率、延迟、泛化、embodiment 匹配。
把概念映射到本地实验
| 对象 | 输入 | 输出 | 本地证据等级 |
|---|---|---|---|
| Cosmos3-Nano | text prompt / image / action condition（视 pipeline 而定） | future video | 生成流程和输出视频可用 |
| Tiny RSSM | observation/action sequence | latent state、future prediction | offline 训练指标 + rollout 曲线 |
| Tiny imitation policy | agent state | 2-D action | offline MSE + gym-pusht 闭环评估 |
| SmolVLA | image、state、task text | action chunk (1, 50, 6) | interface smoke test；不能证明学会 PushT |
下一步看什么
- 评价体系：分清 interface、offline、closed-loop 三种证据。
- 比赛与 Benchmark 地图：知道下一步去哪里比较和练习。
- 课程总目录：按 12 课顺序实践。
推荐一手资料
- DreamerV3：latent world model + actor-critic 的代表工作。
- NVIDIA Cosmos：视频世界模型与物理 AI。
- SmolVLA：小型 VLA 的输入、输出和训练方式。
- LeRobot：机器人学习代码库、数据集和 policy 生态。