从 Cosmos 迁移
关注 future observation prediction 是否能帮助选择动作,而不是只生成好看的视频。
RoboWorld 2026 Evaluation system Benchmark map
只学习概念容易停在“我看过论文、跑过 demo”。一个明确的外部产出会迫使你回答更实际的问题:任务是什么、指标是什么、baseline 在哪里、我的改进是否真的有效、别人能否复现。
主目标采用 RoboWorld Challenge 2026 · WorldNav:单张初始 RGB 图像和自然语言指令输入,输出完整未来导航轨迹。它同时覆盖 language grounding、world model、policy 和 trajectory evaluation,和课程主线最一致。
| Track | 定位 | 为什么选 / 不选 |
|---|---|---|
| WorldNav | 主目标 | 任务形式与课程最贴近:vision + language → future trajectory;允许 world model、VLA 和 policy-only 方法。 |
| HA-VLN 2.0 | 进阶目标 | 闭环 RGB-D 导航、动态行人和 social compliance 很有价值,但系统复杂度更高。 |
| SafeDrive-VLA | 观察目标 | world-model dreaming 与安全冲突很有启发,但训练数据约 1.2TB,不适合作为第一参赛目标。 |
完整对比见 RoboWorld 2026 参考页。
关注 future observation prediction 是否能帮助选择动作,而不是只生成好看的视频。
用 rollout error vs horizon 检验想象稳定性,避免只看 teacher-forced loss。
审计 action chunk、单位、坐标系、Stop 语义和 embodiment,不把接口跑通当作任务掌握。
把 episode-safe split、baseline、offline/closed-loop 证据阶梯带到官方数据审计。
P0 Decision 阅读规则、注册、确认算力/存储、选择 WorldNav
P1 Reproduce 审计 schema、下载最小子集、复现 baseline
P2 Improve 只加入一个明确组件:语言编码 / 轨迹解码 / latent rollout / VLA adapter
P3 Validate 在 seen + unseen validation 上报告 SR、ATE、RPE、route fidelity
P4 Submit 生成官方格式预测、记录分数变化、写技术报告
P5 Archive 固化配置、seed、命令、失败案例和下一版计划
项目目录模板和详细检查表见 ROBOWORLD_2026_PLAN.md。
roboworld_2026/README.md。队友只读你的 README 和 run.sh,就能复现数据审计、baseline、validation 和提交文件生成流程。
官方信息见 RoboWorld Challenge 2026、WorldNav、HA-VLN 2.0、SafeDrive-VLA。
把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。