研究前沿地图
两条主轴
轴 1:预测目标在像素空间还是 latent 空间。
轴 2:系统输出的是未来世界、直接输出动作,还是同时建模两者。
轴 3:证据来自 interface、offline、closed-loop,还是 scaling / coverage。
| 系统 | 定位 | 看什么 |
|---|---|---|
| Cosmos | 生成式视频世界模型 | 物理合理性、未来视频、action conditioning |
| Genie 3 | 交互式环境生成 | 可玩性、实时性、一致性 |
| V-JEPA 2 | 自监督视频表征 + world model | latent prediction、规划 |
| DreamerV3 | latent world model + RL | posterior/prior、actor-critic、泛化 |
| World-Action Models survey | WAM 综述 | future prediction 与 executable action 的耦合、action alignment、long-horizon memory |
| DreamZero | video diffusion WAM | 联合预测未来 video 与 action、7Hz closed-loop、cross-embodiment |
| SuperMimic / arXiv | differentiable learned dynamics + humanoid policy | 短 imagined rollout、BPTT、motion coverage 与训练效率 |
| Do Robotic World Models Really Follow Actions? | action-conditioned world model 诊断 | expert 动作 vs off-expert 动作、WorldEcho / WorldSync |
| SmolVLA | 小型 VLA | 动作块、flow matching、低成本部署 |
| π0 | 通用 VLA flow model | 多 embodiment、语义先验 |
VLA → WAM → SuperMimic 的边界
| 系统 | 接口 | 不能推出的结论 |
|---|---|---|
| VLA | image/language/state → action chunk | 输出动作不等于显式理解未来世界动态。 |
| WAM / DreamZero | joint future world + action | DreamZero 的结果不能推广为“所有 video model 都是 policy”。 |
| SuperMimic | learned differentiable dynamics + policy gradients | 129,514 benchmark motions 是 training motions;主结果应解读为 coverage / scaling / 训练效率,不是 unseen-task generalization。 |
读最新论文的纪律
先看输入输出和评估协议,再看 headline 数字。区分 unseen generalization、motion coverage、training efficiency、sim-to-real demo 和 closed-loop benchmark。
你要形成的判断
不要问“哪个最强”
要问:它的输入是什么,输出是什么,在哪个环境评估,失败边界在哪里。
持续更新:优先一手论文和官方项目。