Streaming-WAM:让机器人边执行,边预测未来
Streaming World-Action Model for Real-Time Robot Manipulation
Streaming-WAM 将世界模型推理与机器人动作执行改造成流式并行系统:机器人执行当前动作块时,模型同步准备下一段视觉与动作预测,显著减少等待推理造成的停顿。
核心设计
- ▸ 流式生成:在动作执行过程中并行生成下一段 world-action chunk
- ▸ 动作条件未来预测:让预测显式感知已经确定执行的动作,保持想象未来与真实运动对齐
- ▸ 一致性蒸馏:压缩生成延迟,并通过动作条件机制保持任务表现
实测结果
在 LIBERO、RoboTwin 2.0 与真实机器人上,Streaming-WAM 同时验证了低延迟、连续控制与任务成功率;代码、运行时、配置和模型权重现已开源。
实测指标
- LIBERO Chunk Time
- 41.0 ms
- LIBERO Success
- 98.20%
- Real Robot
- 38 s
- RoboTwin 2.0
- 91.74%
12.0× speedup
Average
2.4× faster
Total success
该成果由 Triverse AI 联合科研团队发布。