← 课程总目录Reference · Benchmarks & Challenges
Reference

比赛与 Benchmark 地图

先选对任务族和指标，再决定是否参加 challenge 或提交 leaderboard。

Benchmark、leaderboard、challenge 的区别

Benchmark

固定任务集、数据划分和指标，用来做可复现比较。

Leaderboard

按指标排序的结果列表；要看是否固定 test split、是否允许外部数据和多次提交。

Competition / Challenge

有时间窗口、提交格式和排名规则；每年任务和数据可能变化，报名前看官方页面。

当前课程主目标

RoboWorld Challenge 2026

课程的默认产出目标。推荐先做 WorldNav，再用 HA-VLN 2.0 进阶闭环导航；SafeDrive-VLA 作为安全驾驶方向的观察项。

官网 · 课程产出路线

没有真机：先选仿真路线

仿真提供可重复环境、明确 action space 和自动指标；但结果只能写成 simulation closed-loop evidence，不能直接写成 real-robot success。

平台 / 仓库定位硬件课程建议入口
gym-pusht2D manipulation、coverage / successCPU 友好第一环境GitHub
LeRobotdataset、policy、SmolVLA、PushT 生态低门槛主生态GitHub / 安装文档
MuJoCo PlaygroundGPU 加速 locomotion / manipulation / sim-to-realGPU进阶物理GitHub
ManiSkillGPU-parallel manipulationLinux + NVIDIA 最完整进阶 benchmarkGitHub
Isaac LabNVIDIA Isaac Sim 上的 robot learning 框架NVIDIA 生态高级平台官方文档
Habitat / CALVIN / LIBERO / BEHAVIORnavigation、language、long-horizon、household视任务而定扩展路线Habitat / CALVIN / LIBERO / BEHAVIOR
推荐顺序

gym-pusht → LeRobot → MuJoCo Playground / ManiSkill → Isaac Lab / Habitat / BEHAVIOR。先完成 CPU 最小闭环，再进入 GPU 并行与复杂机器人。

详细安装命令、P0–P10 流程和证据表见 Lesson 0016。

导航与通用具身智能

平台任务类型适合练什么入口
Embodied AI Workshop导航、rearrangement、vision-language navigation 等 challenge跟踪主流具身智能比赛任务和提交格式embodied-ai.org
RoboWorld Challenge 2026WorldNav、HA-VLN 2.0、SafeDrive-VLA本课程主目标；连接 world model、VLA 与 embodied policy官网 / 课程路线
AI Habitat3D 室内导航与交互仿真photo-realistic navigation、SPL、路径效率aihabitat.org
BEHAVIOR长时序家庭活动和 human-centered 任务多步骤活动分解、日常物体交互官网 / Challenge

机械臂操作

Benchmark重点适合练什么入口
CALVINlanguage-conditioned long-horizon manipulation语言到操作序列、长时序成功率官网 / GitHub
LIBEROlifelong robot learning 与知识迁移任务序列学习、遗忘和迁移官网
Meta-Worldmulti-task / meta-RL manipulation多任务采样效率与策略泛化官网 / GitHub
PushT + LeRobot二维推动任务，课程本地基础数据 schema、offline 训练、闭环评估LeRobot / PushT

世界模型评估

平台评估重点适合练什么入口
WorldModelBenchworld model 生成与预测质量视觉预测、物理一致性、时序稳定性worldmodelbench.github.io
WorldArenaembodied world model 的感知与功能维度从“看起来像”走向“可交互、可用于决策”官网 / GitHub
DeepMind Control Suite连续控制任务族latent world model + RL 的闭环控制论文

真机与平台

平台重点适合练什么入口
RoboChallengereal-robot benchmark 与 policy evaluation真机协议、安全、可靠性robochallenge.ai
RoboVerse统一机器人学习平台与 benchmark跨任务/跨仿真器的比较roboverseorg.github.io
LeRobot机器人数据、policy、工具链数据集格式、训练、复现实验Hugging Face / GitHub

如何选择下一步

你当前的问题是什么？
├─ 只想验证视频预测质量
│   └─ WorldModelBench / WorldArena + PSNR、SSIM、LPIPS、FVD、rollout
├─ 想做语言条件长时序操作
│   └─ CALVIN / LIBERO
├─ 想做多任务操作和 meta-learning
│   └─ Meta-World
├─ 想做导航或家庭任务
│   └─ AI Habitat / BEHAVIOR / Embodied AI Workshop
├─ 想测试真机部署
│   └─ RoboChallenge + 延迟、安全、鲁棒性
└─ 想从课程最小实验扩展
    └─ PushT 图像输入 / richer state / RSSM planning

参加比赛前的检查表

  1. 确认任务定义、观测空间、动作空间和 embodiment。
  2. 确认训练/验证/测试划分以及是否允许外部数据。
  3. 确认主指标、次要指标、成功判定和 tie-breaker。
  4. 确认提交格式、推理时间、硬件、网络和上传限制。
  5. 先复现官方 baseline，再改模型。
  6. 保留配置、seed、日志和可复现命令。
  7. 不要把验证集调优结果说成测试集泛化能力。
时效提示

Challenge 的任务、榜单和截止日期每年会变化。此页不写具体 deadline；报名时请以官方网站当届规则为准。

相关页面