Reference

评价体系：从接口测试到闭环证据

同一个数字，在不同协议下证据强度完全不同。

三级证据阶梯

1. Interface smoke test

验证依赖、张量形状、设备、推理流程能跑通。

能证明：接口正确。
不能证明：任务性能。

2. Offline metric

在留出数据上计算 MSE、PSNR、SSIM、LPIPS、rollout error 等。

能证明：拟合和预测能力。
不能证明：交互中的任务成功。

3. Closed-loop evaluation

把模型动作送回仿真器或真机，观察未来观测变化。

能证明：控制能力和误差累积下的稳定性。
仍依赖：环境分布、种子数量和 baseline。

World model 常用指标

指标	衡量什么	注意点
PSNR	像素级重建误差	高 PSNR 不等于语义或物理正确。
SSIM	结构相似性	对亮度、对比度、结构更敏感，但仍是图像级指标。
LPIPS	深度特征感知差异	更接近视觉感知，但依赖特征提取器。
FVD	视频分布质量	需要足够样本；不同实现可能不可直接比较。
Rollout error vs horizon	误差随预测步数累积的情况	比单点 validation loss 更关键。
Temporal consistency	帧间物体和相机是否稳定	可结合物体跟踪或人工评价。
Action controllability	动作改变是否按预期改变未来	区分“好看视频”和“可控世界模型”。
Physical plausibility	碰撞、重力、接触是否符合规律	常见于人工协议或专门 benchmark。
Latency / throughput	生成或一步预测耗时	实时规划和真机控制必须报告。
Sample efficiency	达到目标所需交互或数据量	对真实机器人尤其重要。
Generalization	unseen scene / task / embodiment 表现	必须在官方 split 或明确划分上测试。

Policy / VLA 常用指标

指标	含义	陷阱
Success rate	成功 episode 数 / 总 episode 数	必须说明 episode 终止条件和随机种子。
Return	奖励累计	奖励 shaping 可能与人类理解的任务完成不一致。
Completion / progress	任务完成度	长时序任务中比二值成功更细。
Coverage	目标覆盖率，PushT 常用	覆盖率提升不等于达到成功阈值。
SPL	导航成功率和路径效率的联合指标	只适用于有最短路径定义的导航任务。
Action MSE	预测动作与数据动作差异	低 offline MSE 可能只是学会平滑轨迹。
Chunk error	action chunk 内逐步误差	要区分首步误差和远步误差。
Latency	首次推理和 warmed-up 推理时间	真机控制要报告控制频率。
Model size / memory	参数量、显存、能耗	部署限制下与成功率同样重要。
Robustness	扰动、遮挡、光照、语言变化	不能只用训练分布测试。
Safety	碰撞、力限、干预率	真机实验必须有安全协议。

实验设计检查表

数据划分：按 episode split，不能把同一轨迹的相邻帧分别放进训练/验证。
Baseline：至少包含 random、previous action、简单监督模型或官方 baseline。
种子与方差：报告 mean ± std 或多次 run；不要用单次最好结果。
指标分层：同时报告 offline 和 closed-loop，不能混用结论。
泛化：标明 seen / unseen scene、task、object、embodiment。
算力：GPU 型号、训练时间、推理延迟、显存。
失败判据：提前写清什么结果会推翻假设。
证据文件：保存命令、配置、JSON、图像、视频和随机种子。

本地结果怎么解释

本地结果	能支持	不能支持
SmolVLA 输出 `(1, 50, 6)`	接口和推理流程正常	SmolVLA 学会 PushT；动作空间并不匹配
Tiny policy validation MSE 约 `0.0382`	在离线验证集上动作预测较好	闭环一定成功
Random return `1.624`，tiny return `12.729`	tiny policy 行为优于随机	解决任务；二者 success 都是 0/10
RSSM 64-step rollout MSE 约 `212.97`	open-loop 预测误差明显	官方 DreamerV3 性能

核心警示

Offline 指标低但闭环失败，通常来自 distribution shift 和 error accumulation：闭环中模型自己的动作会改变后续观测，不再永远停留在数据分布内。

相关页面