课程总目录Lesson 0007 · Module D · Latent world models
学习进度 0%
Module D · Latent world models

诊断 open-loop rollout 的误差累积

20 分钟 · 目标:能区分 teacher-forced loss 和想象 rollout 的可靠性。

RSSM notebook

两种预测方式

Teacher forcing

每一步都给真实观测,训练稳定,但可能掩盖误差累积。

Open-loop / imagination

用模型自己的预测继续往前走,更接近真实使用场景。

本地结果

tiny RSSM 的验证 obs MSE 是 0.04346,但 64 步 open-loop rollout MSE 达到 212.97 px/coordinate。这个差距正是误差累积。

实践:读 rollout 图

RSSM rollout
观察预测曲线何时开始偏离,以及哪个坐标更不稳定。
  1. 找出第一个明显偏离的步数。
  2. 判断是 x 还是 y 更难预测。
  3. 提出一个改进:更长序列、动作归一化、更大 latent,还是加入图像观测?

关键结论

不要只报 val loss

world model 必须报告 open-loop horizon 和误差曲线,否则无法判断能否用于想象训练。

检索练习

Open-loop rollout 的主要风险是什么?

模型把自己的预测当作下一步输入,小误差会随时间放大。

本课一手来源

参考 DreamerV3 中的 imagination 训练。

有疑问就问

把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。

Course file: lessons/0007-open-loop-rollout.html