课程总目录Lesson 0011 · Module F · VLA
学习进度 0%
Module F · VLA

发现 embodiment mismatch

20 分钟 · 目标:能判断一个 VLA 结果能否跨机器人/任务外推。

VLA notebook

问题

本地 SmolVLA 实验把 PushT 的 2 维 state pad 到 6 维,并把 PushT 图像作为 camera1。这能让张量形状跑通,但不能说明模型理解了 PushT。

维度不同

PushT action 是 2 维,SmolVLA 输出 6 维。

物理含义不同

像素平面位置 ≠ 关节/夹爪动作。

数据分布不同

SmolVLA 的训练 embodiment 与 PushT 不一致。

三种处理方式

  1. 不处理:只作为 interface smoke test。
  2. Adapter:显式映射状态/动作,但必须说明假设。
  3. Finetune + closed-loop eval:在匹配数据上微调,再用仿真/真机验证。

实践:判断结论能否外推

阅读以下句子,标出能否成立:

一手资料

比较 RT-2、OpenVLA 和 SmolVLA 如何定义 embodiment 与数据分布。

检索练习

本实验为什么不能声称 SmolVLA 学会了 PushT?

PushT 是 2 维平面动作,而 SmolVLA 输出 6 维动作;接口通过 padding 跑通,不等于语义匹配。

本课一手来源

VLA 跨 embodiment 的核心约束来自各自论文的训练数据与动作空间定义。

有疑问就问

把不理解的地方直接发给老师/agent,最好附上你观察到的现象和报错。

Course file: lessons/0011-embodiment-mismatch.html