课程总目录Lesson 0004 · Module C · Video world models
学习进度 0%
Module C · Video world models

视频世界模型:让模型想象未来

20–25 分钟 · 目标:理解 Cosmos T2V 的输入、输出和物理一致性评估。

视频世界模型在做什么

给定 prompt,模型生成一段未来可能的视频。它不是在求唯一正确答案,而是在学习一个合理的未来分布。

T2V

从文本想象场景。

I2V

给定当前帧预测未来。

Action conditioning

当前画面 + 动作序列 → 未来画面。

Reasoner / policy

同一基础模型可以扩展到规划与动作。

实践:看本地生成结果

448×256、25 帧、12fps。观察相机运动、遮挡、阴影和物体稳定性。

打开 outputs/worldmodel_t2v_20261024_192234_request.json,找到 prompt、num_frames、guidance_scale、seed。

评估三件事

  1. 时间一致性:物体是否突然消失或变形?
  2. 物理合理性:阴影、遮挡、碰撞是否符合直觉?
  3. 可控性:改 prompt 或 action 后,画面是否按预期变化?
边界

视频漂亮说明生成能力强,不等于它能稳定用于控制。

检索练习

视频世界模型最核心的输出是什么?

它的核心是预测未来观测;动作输出属于 policy 或 action-conditioning 扩展,不是 T2V 本身。

本课一手来源

一手资料:NVIDIA Cosmos 论文;可对比 Genie 3。

有疑问就问

把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。

Course file: lessons/0004-cosmos-video.html