R1 · Offline / closed-loop mismatch
为什么 action MSE 或 rollout MSE 变好，闭环 success 仍可能不变？本地 tiny policy 已经给出一个可扩展现象。
从课程到研究组合：比赛、论文与 Benchmark 三条产出线
Research portfolio Benchmark map Evaluation system RoboWorld 2026
为什么不要只押一个比赛
RoboWorld WorldNav 仍然是本课程的默认 challenge 路线，但它不是唯一出口。比赛有报名窗口、资格规则、数据体量和提交格式的不确定性；如果把学习目标完全绑定在一个外部时间表上，规则变化或截稿错过会让成果没有落点。
研究组合思维
把已有实验拆成三个互相复用的出口：Challenge 面向官方指标和排名，Workshop paper / technical report 面向问题和证据链，Benchmark / reproduction report 面向协议、baseline 和复现性。它们共享数据审计、实验代码和失败分析。
三条产出线怎么选
| 产出线 | 核心问题 | 最低证据 | 适合时机 |
|---|---|---|---|
| Challenge submission | 官方指标是否提高？提交格式是否合法？ | 官方 baseline、validation 提交、规则记录、分数日志 | 官方窗口仍在，且数据/算力可承受 |
| Workshop paper / technical report | 研究问题是否清晰？结果能否解释？ | 多 baseline、多 seed、消融、seen/unseen、失败分析 | 有一个可检验假设，即使结果为负也有价值 |
| Benchmark / reproduction report | 别人能否复现？边界在哪里？ | 协议、环境、配置、命令、表格、误差来源 | 算力有限，或官方活动已过窗口 |
优先级建议
第一层先把 PushT/RSSM/VLA 实验整理成可复现记录；第二层选择一个 challenge 作为外部压力测试；第三层把最稳定的问题沉淀成 workshop-level 报告或 benchmark 报告。不要一开始同时写论文、冲榜和重构全部代码。
从本地实验到研究问题
R2 · Action controllability
同一初始状态、不同动作序列，world model 预测的未来是否真的分叉？可比较 latent/image/state divergence。
R3 · VLA embodiment mismatch
SmolVLA 的 6-D action chunk 与 PushT 的 2-D 平面动作不匹配；接口跑通不是 embodiment 迁移。
R4 · World-model-assisted planning
用 RSSM 想象候选动作的未来，再选择动作，最后在 gym-pusht 闭环验证。这是最贴近世界模型主线的方向。
实践：建立机会雷达
- 打开 Research & Competition Portfolio。
- 建立三列表：入口、它测什么、我需要补什么证据。
- 把 RoboWorld、AGIBOT World、RoboChallenge、GigaBrain、Embodied AI Workshop、WorldModelBench、WorldArena 各归入 challenge、benchmark 或观察项。
- 再查 CoRL / CVPR / ICRA / IROS / NeurIPS / ICLR workshop 页面，只记录仍在征稿或可等待下一届的入口。
- 为每个入口写一个停止条件：如果数据不可得、baseline 复现失败或算力超预算，就切到另一条产出线。
日期纪律
2026 年 10 月末时，许多 2026 会议 workshop 或 ICRA/CVPR 周期已经过了截稿。课程页面不猜日期；任何报名或提交前必须打开官方页面核对当届 deadline、资格和提交格式。
实践：写一页 portfolio decision
portfolio/
├── decision.md # 4 周内主线、6 周备选线、停止条件
├── challenge_track/ # 官方规则、baseline、提交日志
├── paper_track/ # 问题、实验表、图表、limitations
└── benchmark_track/ # 协议、复现命令、结果表
decision.md 必须回答：
1. 我的 claim 是什么？
2. 哪个官方/公开协议能检验它？
3. 至少 3 个 baseline 是什么？
4. 3 个 seed 是否可跑？
5. seen/unseen 如何划分？
6. offline 和 closed-loop 指标分别是什么？
7. latency / memory 是否报告？
8. 失败案例如何归档？完成标准
你能在 10 分钟内向队友说明：为什么选这个入口、第一周复现什么、第三周验证什么、哪个结果出现时立即切换路线。
最低实验标准
- Baseline：random / previous action / tiny policy / stronger published baseline，至少三者可比。
- Seeds：核心表格至少 3 个 seed，报告 mean ± std 或完整分布。
- Split：episode-safe，明确 seen 与 unseen。
- Metrics：offline 与 closed-loop 分开，不混写一个“性能”。
- Ablation：移除核心组件，证明改进不是随机波动。
- Cost：记录 GPU、训练时长、推理 latency 和显存。
- Failure：保留最差案例和失败分类，不只展示成功案例。
- Reproduction：固定配置、seed、命令、环境版本和数据校验。
论文线不是“必须惊天结果”
Workshop paper / technical report 可以承载更小的贡献：一个证据层级分析、一个 action controllability 度量、一个跨 embodiment 接口审计、或一个负结果复现报告。关键不是把名词堆高，而是把问题、协议、对照和边界写清楚。
Paper skeleton:
1. One-sentence claim
2. Evidence gap in current evaluation
3. Protocol and baselines
4. Main result with uncertainty
5. Ablation
6. Failure taxonomy
7. Compute / latency cost
8. Limitations and next experiment证据边界
- RoboWorld 是默认 challenge 路线，不代表其他活动价值更低。
- 外部活动入口会变化；本课列的是发现渠道和检查方法，不是报名状态的实时数据库。
- PushT、tiny RSSM、SmolVLA 的本地结果只能证明当前实验，不可外推为 SOTA 或跨任务成功。
- 没有 baseline、seed、split、失败分析的表格，不足以支撑论文 claim。
- 错过某个 2026 deadline 时，可以把成果转为 reproduction report、开源项目或下一届投稿。
检索练习
哪种结果最能支撑一个研究或参赛产出？
选择一个答案
研究产出依赖证据链：协议、对照、重复性、指标边界和失败分析比单次高分更重要。
本课一手来源
入口与检查方法见 RoboWorld、Embodied AI Workshop、CoRL workshops、OpenReview、CodaBench；课程内汇总见 Research & Competition Portfolio。
有疑问就问
把不理解的地方直接发给老师/agent，最好附上你观察到的现象和报错。
Course file: lessons/0014-research-portfolio.html