课程进度 0%

Course

World Models & Embodied AI

16 lessons · knowledge + practice · Cosmos / RSSM / PushT / SmolVLA / WAM / SuperMimic / simulation · research portfolio

我已经读过 MISSION.md
我已经准备好远端实验环境
我知道课程进度会保存在本浏览器

课程主线：不是平行专题列表

这门课采用总—分—总—延伸。第一课先给总框架；中间分别学数据、想象、行动和语言条件接口；随后用 capstone / challenge / portfolio 收束；最后两课补上 2026 前沿和无真机实验扩展。

0 · 先定义问题0001

world model、policy、VLA、benchmark 的边界。

1 · 数据与证据0002–0003

schema、episode、baseline、防泄漏。

2 · 学会想象0004–0007

从视频预测到 latent rollout。

3 · 学会行动0008–0011

从 policy 到 VLA，再到闭环评估。

4 · 收束产出0012–0014

capstone、RoboWorld、research portfolio。

5 · 补强扩展0015–0016

WAM/SuperMimic 前沿与无真机仿真流程。

怎么判断顺序是否合理

每一课都应该回答上一课留下的问题：有概念后看数据；有数据后看预测；能预测后再行动；能行动后再接语言与前沿；最后把所有证据变成比赛、论文或复现报告。

目录总览

阶段 / 模块	课程	上一阶段给它什么	本阶段新增能力	推荐入口
Stage 0 A · Orientation	0001	无	分清 world model、policy、VLA、benchmark、challenge。	基本介绍全景图
Stage 1 B · Data	0002 · 0003	0001 的对象分类	读 schema，设计 episode-safe split 和不泄漏 baseline。	PushT 手册
Stage 2 C–D · Imagination	0004 · 0005 · 0006 · 0007	数据的 observation/action 结构	从 Cosmos 视频生成走到 RSSM latent rollout，并诊断误差累积。	前沿地图 RSSM 速查本
Stage 3 E–F · Action	0008 · 0009 · 0010 · 0011	可预测的 state/action 分布与 rollout 证据	训练 policy，解释闭环指标，检查 VLA 与 embodiment mismatch。	评价体系 VLA 速查本
Stage 4 G–I · Output	0012 · 0013 · 0014	前 11 课的证据链	整合成 capstone、RoboWorld 项目包和 research portfolio。	Benchmark 地图 RoboWorld 2026 Portfolio 地图
Stage 5 J–K · Extension	0015 · 0016	VLA 边界、R2 研究问题、闭环评估	理解 WAM / SuperMimic / action controllability；无真机时用仿真平台完成 P0–P10 流程。	前沿地图仿真地图

学习路线

Stage 0 · 建立总框架

0001 · 建立世界模型与具身智能的心智地图

Module A · Orientation · 15–20 分钟

承接：无；先建立术语边界

能用一句话说清 world model、policy、VLA、dataset、benchmark、challenge 的边界。

Basic intro Benchmark map

已完成

Stage 1 · 数据与证据

0002 · 读懂一个机器人数据集：LeRobot PushT

Module B · Data · 20 分钟

承接：0001 的 world model / policy / dataset 分类

能解释 PushT 的字段、规模、单位和 episode 结构。

Dataset lab

已完成

Stage 1 · 数据与证据

0003 · 设计不泄漏的 baseline 和验证集

Module B · Data · 20 分钟

承接：0002 的 episode 结构与字段

能用 baseline 判断模型是否真的学到结构，而不是被指标骗了。

PushT lab

已完成

Stage 2 · 学会想象

0004 · 视频世界模型：让模型想象未来

Module C · Video world models · 20–25 分钟

承接：0001 的预测目标分类

理解 Cosmos T2V 的输入、输出和物理一致性评估。

已完成

Stage 2 · 学会想象

0005 · 从像素到 latent：视频生成组件拆解

Module C · Video world models · 20 分钟

承接：0004 的视频生成输入输出

能把 VAE、diffusion/flow、Transformer attention 对应到视频生成流程。

Frontier map

已完成

Stage 2 · 学会想象

0006 · 训练一个 RSSM 式 latent world model

Module D · Latent world models · 25 分钟

承接：0005 的 latent 表示

能说清 posterior、prior、GRU、decoder、KL 各自的作用。

RSSM notebook

已完成

Stage 2 · 学会想象

0007 · 诊断 open-loop rollout 的误差累积

Module D · Latent world models · 20 分钟

承接：0006 的 dynamics 与 decoder

能区分 teacher-forced loss 和想象 rollout 的可靠性。

RSSM notebook

已完成

Stage 3 · 学会行动

0008 · 训练一个小型 imitation policy

Module E · Policies · 25 分钟

承接：0002–0003 的数据与泄漏控制

能解释 state→action MLP 的训练、归一化和验证指标。

PushT lab

已完成

Stage 3 · 学会行动

0009 · 闭环评估：offline 好不等于任务成功

Module E · Policies · 25 分钟

承接：0007 的 rollout 与 0008 的 policy

能解释 return、coverage、success rate 和 offline metric 的差别。

Evaluation system

已完成

Stage 3 · 学会行动

0010 · SmolVLA：检查一个 VLA 接口

Module F · VLA · 25 分钟

承接：0008–0009 的 policy / 闭环证据

能解释 action chunk、flow matching 和 VLA 的输入输出。

VLA notebook

已完成

Stage 3 · 学会行动

0011 · 发现 embodiment mismatch

Module F · VLA · 20 分钟

承接：0010 的 action 空间与 embodiment

能判断一个 VLA 结果能否跨机器人/任务外推。

VLA notebook

已完成

Stage 4 · 整合与产出

0012 · 设计你的 world model + embodied AI capstone

Module G · Integration · 30–40 分钟

承接：001–011 的完整证据链

能写出一页可执行、可证伪的实验设计。

Field map Frontier map Evaluation system Benchmark map

已完成

Stage 4 · 整合与产出

0013 · RoboWorld 2026：把课程学习变成参赛产出

Module H · Target Output · 30–45 分钟

承接：0012 的 capstone 设计

能把前 12 课的方法训练转化为一个明确的 RoboWorld 项目包和提交计划。

RoboWorld 2026 Evaluation system Benchmark map

已完成

Stage 4 · 整合与产出

0014 · 从课程到研究组合：比赛、论文与 Benchmark 三条产出线

Module I · Research Portfolio · 35–50 分钟

承接：0013 的目标产出

能把同一套实验能力规划成 challenge、workshop paper/technical report 或 benchmark reproduction 三条可并行退出的产出线。

Research portfolio Benchmark map Evaluation system RoboWorld 2026

已完成

Stage 5 · 前沿补强

0015 · VLA、WAM 与 SuperMimic：最新研究前沿与行动可控性

Module J · VLA / WAM Frontier · 30–40 分钟

承接：0010–0011 的 VLA 边界；0014 的研究问题

能区分 VLA、world model、WAM 与 SuperMimic，并设计一个 action controllability 审计实验。

Frontier map VLA notebook Research portfolio Evaluation system

已完成

Stage 5 · 实验扩展

0016 · 没有真机怎么做具身智能实验：仿真平台、仓库与操作流程

Module K · Simulation Without Hardware · 35–45 分钟

承接：0002–0003 的数据审计；0009 的闭环评估

能在没有真机时选择合适仿真平台，并按 P0–P10 流程产出可复现证据。

Benchmark map PushT lab Evaluation system Research portfolio

已完成

参考手册

基本介绍

概念边界、闭环流程、三条路线

评价体系

interface / offline / closed-loop 与指标陷阱

比赛与 Benchmark 地图

导航、操作、世界模型、无真机仿真与真机平台

RoboWorld 2026 产出

WorldNav 主目标、里程碑、提交包

Research & Competition Portfolio

比赛、论文、benchmark 三条产出线

World Model 全景图

五个层次和证据等级

PushT 数据手册

schema、统计和实践命令

RSSM 速查本

posterior/prior/GRU/decoder

VLA / WAM 速查本

action chunk、flow matching、embodiment、VLA 与 WAM 边界

研究前沿地图

Cosmos、Dreamer、Genie、V-JEPA、DreamZero、SuperMimic

怎么学最有效

1. 先回忆

每课先看标题，尝试凭记忆写下三个关键词。

2. 再实践

跑命令或看本地 artifact，不要只读文字。

3. 后检索

完成 quiz，错题要回参考手册。

4. 做判断

每课最后问：这个结果能证明什么，不能证明什么？

课程文件位于 /Users/peppa/code/worldmodel；实验素材来自本地与 h200_1727。