SmolVLA:检查一个 VLA 接口
SmolVLA 在做什么
SmolVLA 把图像、机器人状态和任务语言映射为动作块。它不是先生成完整未来视频再规划,而是直接输出动作。
observation.images.camera1
observation.state
task text
↓
SmolVLA
↓
action chunk: (1, 50, 6)本地 GPU 结果
| 项 | 值 |
|---|---|
| 参数 | 450M |
| 首次推理 | 491ms |
| warmed-up | 约 145ms |
| 显存 | 1.25GB |
实践:读 JSON
打开 source/worldmodel_embodied_ai/03_vla_smolvla/outputs/smolvla_gpu_metrics.json,找出:
- input state shape
- output shape
- first run vs repeat timings
- GPU memory
Flow matching 直觉
不是输出唯一动作均值,而是学习从噪声分布移动到动作分布的路径,因此能表示多模态行为。
检索练习
Action chunk 的直接优点是什么?
选择一个答案
一次输出多步动作可以降低推理频率,并保留短时序结构;但它不保证成功。
本课一手来源
一手资料:SmolVLA 论文;对比 π0。
有疑问就问
把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。
Course file: lessons/0010-smolvla-interface.html