课程总目录Lesson 0012 · Module G · Integration
学习进度 0%
Module G · Integration

设计你的 world model + embodied AI capstone

30–40 分钟 · 目标:能写出一页可执行、可证伪的实验设计。

Field map Frontier map Evaluation system Benchmark map

把课程串起来

一个好的具身智能实验必须同时说明:世界模型、策略、数据、评估和失败判据。

Capstone 模板

1. Hypothesis: 加入 block pose + goal pose 会降低 PushT 闭环误差
2. Model: state(s, block, goal) → action; 或 RSSM + policy
3. Baselines: random / previous action / tiny MLP
4. Data split: episode-safe 80/20
5. Offline metric: action MSE / rollout MSE
6. Closed-loop metric: return, coverage, success rate
7. Failure criterion: 若 success 不提升或 coverage 下降,则假设失败
8. Compute: 1×H200, 预算 1 小时
9. Evidence: JSON + PNG + MP4 + command

三个可选方向

A. richer-state policy

把 block pose 和 goal pose 加入 tiny MLP。

B. image policy

用 PushT 图像替代 2 维 state。

C. world-model planning

用 RSSM rollout 候选动作,选择高价值动作。

实践:写一页实验设计

  1. 选择一个方向。
  2. 写出 hypothesis 和 null result。
  3. 列出输入/输出张量。
  4. 列出至少两个 baseline。
  5. 说明如何避免泄漏。
  6. 定义成功和失败阈值。
完成标准

别人只看你的设计,就能复现实验并判断结果是否支持假设。

实践:选择外部 Benchmark

打开 比赛与 Benchmark 地图,根据你的方向选择一个下一步平台,并说明任务族、指标、算力和提交要求。

检索练习

一个 capstone 设计最不可缺少的是什么?

没有失败判据,结果无法被科学评估;模型规模和训练时长只是手段。

本课一手来源

综合参考:DreamerV3、SmolVLA、Cosmos。

有疑问就问

把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。

Course file: lessons/0012-capstone.html