Module E · Policies

训练一个小型 imitation policy

25 分钟 · 目标：能解释 state→action MLP 的训练、归一化和验证指标。

PushT lab

我能复述本课核心概念
我完成了实践任务
我通过了检索练习

任务定义

给当前 agent 位置 s∈R²，预测动作 a∈R²。模型是 2→256→256→2 的 MLP。

Normalization

state 和 action 都用训练集均值/方差归一化。

Episode split

165 train / 41 validation。

训练

300 epochs，AdamW + cosine schedule。

验证

normalized MSE 0.03817。

实践：跑 policy

ssh h200_1727
docker exec -it zmz_dev_v2 bash
cd /mnt/models_2296/zmz/workspace/worldmodel_embodied_ai/04_lerobot_dataset
source .venv/bin/activate
python scripts/train_tiny_policy.py

读预测图

Tiny policy predictions — 观察预测是否只学会平滑轨迹，还是能跟住转折。

边界

这个模型没有看到 goal pose 和 block pose，因此不可能完整解决 PushT。它是 baseline，不是最终方案。

检索练习

这个 tiny policy 最重要的信息缺失是什么？

选择一个答案

仅用 agent 位置无法推断 T 块目标；policy 缺少关键任务状态。

本课一手来源

数据来自 PushT；训练框架见 LeRobot。

有疑问就问

把不理解的地方直接发给老师/agent，最好附上你观察到的现象和报错。

Course file: lessons/0008-imitation-policy.html