Reference

VLA / SmolVLA 速查本

从语言、图像、状态到动作块。

接口定义

input:
  observation.images.camera1
  observation.state
  task text
output:
  action chunk: (batch, 50, 6)

核心概念

Action chunk

一次输出未来多步动作,减少推理频率并保留短时序结构。

Flow matching

从噪声到动作分布学习速度场,而不是只回归单个均值动作。

VLM backbone

把视觉和语言语义带进动作预测。

Pre/post processor

图像、状态、动作归一化必须和训练分布一致。

VLA 与 WAM 的分界

模型族核心接口关键词常见误读
VLAimage/language/state → action chunksemantic generalization、reactive policy不必然显式预测未来世界。
World modelstate/action → future state/observation/rewardrollout、action conditioning视频质量不等价于控制可靠。
WAMfuture world prediction + executable actionaction alignment、world/action factorization不是 VLA 换名。
DreamZerovideo diffusion backbone jointly models video + actionzero-shot policy、cross-embodiment、7Hz不能推广为所有 video model 都是 policy。
一句话

VLA 问“现在怎么动”;world model 问“动了之后世界会怎样”;WAM 把两个问题放进同一个学习目标。

本地 SmolVLA 结果

项值
参数量450,046,176
输出(1, 50, 6)
首次推理491.41 ms
warmed-up约 144.6–145.2 ms
GPU allocated1.25 GB
不能外推

PushT 是 2-D action,SmolVLA 是 6-D embodiment。输出形状能跑通,不代表能控制 PushT。

阅读线

WAM / action controllability 阅读线

VLA 是策略接口,不自动等价于显式 world model。