课程总目录Lesson 0010 · Module F · VLA
学习进度 0%
Module F · VLA

SmolVLA:检查一个 VLA 接口

25 分钟 · 目标:能解释 action chunk、flow matching 和 VLA 的输入输出。

VLA notebook

SmolVLA 在做什么

SmolVLA 把图像、机器人状态和任务语言映射为动作块。它不是先生成完整未来视频再规划,而是直接输出动作。

observation.images.camera1
observation.state
task text
        ↓
   SmolVLA
        ↓
action chunk: (1, 50, 6)

本地 GPU 结果

项值
参数450M
首次推理491ms
warmed-up约 145ms
显存1.25GB

实践:读 JSON

打开 source/worldmodel_embodied_ai/03_vla_smolvla/outputs/smolvla_gpu_metrics.json,找出:

  1. input state shape
  2. output shape
  3. first run vs repeat timings
  4. GPU memory

Flow matching 直觉

不是输出唯一动作均值,而是学习从噪声分布移动到动作分布的路径,因此能表示多模态行为。

检索练习

Action chunk 的直接优点是什么?

一次输出多步动作可以降低推理频率,并保留短时序结构;但它不保证成功。

本课一手来源

一手资料:SmolVLA 论文;对比 π0。

有疑问就问

把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。

Course file: lessons/0010-smolvla-interface.html