从像素到 latent：视频生成组件拆解

为什么要压缩到 latent

直接在像素上做长视频注意力太贵。常见做法是先用 VAE 把视频压成 latent，再在 latent 空间去噪，最后解码回像素。

prompt → text tokenizer
video → VAE encoder → latent
noise + latent + condition → DiT / diffusion / flow
denoised latent → VAE decoder → MP4

三个组件

实践：组件排序

打开本地 cosmos3_nano_worldmodel_tutorial/model/model_index.json（如有远端权限则在 H200 上查看），列出 pipeline 组件。然后把下面流程排序：

1. VAE decoder
2. text tokenizer
3. latent 去噪
4. MP4 封装

正确顺序应为：2 → 3 → 1 → 4。

和 RSSM 的联系

Cosmos 在像素/latent 视频空间预测；RSSM 在更低维状态 latent 中预测。前者适合想象，后者更适合控制和 RL。

检索练习

本课一手来源

阅读 Cosmos 论文 的模型结构部分；后续可对比 V-JEPA 2。