Reference

RSSM / Dreamer 速查本

用最小公式看懂 latent world model。

核心循环

posterior q(z_t | o_t, h_t)   # 看到真实观测时编码
prior     p(z_t | h_t)       # 想象时预测
h_t       = GRU(z_t, a_t, h_t)
decoder   z_t → o_t / r_t / done_t
KL        q ‖ p

五个组件

Posterior

训练时有观测，用它把 o_t 压进 latent。

Prior

想象时没有未来观测，只能靠 recurrent state 预测 latent。

GRU

携带历史信息，形成 h_t。

Decoder

把 latent 还原成状态/奖励/结束，保证 latent 不塌缩成无信息向量。

KL / free nats

约束 prior 靠近 posterior，同时防止早期过度匹配。

本地教学模型指标

项值
hidden128
latent16-D Gaussian
sequence length32
train/val windows15,483 / 3,781
val loss0.25721
val obs MSE0.04346
64-step rollout MSE212.97 px/coordinate

读图要点

Tiny RSSM rollout
Open-loop rollout：真实轨迹 vs 模型预测。误差会随步数累积。

一手资料

本页只覆盖教学要点，完整推导请回论文。