arXiv cs.RO· Zihao Lu, Trong Gia Hung Nguyen, Fuquan Wang, Yifan Zhu·· 1 天前AI 评分41
Objectives as Policies(OaP):用视觉语言模型生成代价程序实现接触丰富操作
Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation
AI 导读
研究者提出 Objectives as Policies(OaP)框架,通过可编辑的目标程序把预训练 VLM 与共享的采样型 MPC 连接起来,用于接触丰富的机器人操作。VLM 依据自然语言指令和场景观测,经 real-to-sim 构建数字孪生并生成目标程序,在仿真中由 MPC 执行、依 rollout 迭代更新后再部署到真实世界。该框架在仿真与真实世界的四项桌面操作任务上均优于强基线。
来源:arXiv cs.RO · arxiv.org