跳转至

论文阅读 Causal World Modeling for Robot Control (Lingbot-VA)

Quote

论文链接

啥是 Lingbot-VA

在 LingBot-VA 之前,机器人如何学习?
  1. 传统的 VLA policy

视觉观察 + 语言指令 -> 动作

  1. WM 作为模拟器

  2. video prediction / future prediction 辅助 policy

LingBot-VA 到底创新了什么

Ctrl World 是:action -> video

传统 VLA 是:video -> action

LingBot-VA 是:video <-> action,在同一个时间序列里互相条件化

它在每个自回归 step 里既预测 future visual states,又解码 corresponding actions,让两个 stream 互相影响

公式解释

符号说明

\(o_t\)

评论