TransGHOST:眼科显微手术中器械遮挡区域的实时无合成重建
TransGHOST 提出一种因果参考引导的重建流程,其非生成式安全模式可实时运行,通过仅拟合可见区域的几何变换对已记录帧重采样来恢复被器械遮挡的像素,并给出逐像素置信度与来源标记。
TransGHOST 提出一种因果参考引导的重建流程,其非生成式安全模式可实时运行,通过仅拟合可见区域的几何变换对已记录帧重采样来恢复被器械遮挡的像素,并给出逐像素置信度与来源标记。
在UrbanTwin Sim2Real LiDAR挑战赛V2X-Real赛道中,参赛方案以0.7457综合得分获第一,检测mAP为0.4382、真实感得分0.9251。三项诊断性修正贡献主要提升:恢复预测与评测真值间的坐标系错配使得分从0.3520升至0.5147;将单一全局NMS改为逐类NMS使整体mAP从0.0751升至0.4295;对真实点云中约31%以(0,0,0)编码的空回波建模。
该方案在 ECCV 2026 DriveX Grand Challenge 的 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道获得第一名,综合得分 0.4793,其中检测 mAP 为 0.1333、真实感得分 0.9126。
论文提出 Self-Building Labs(SBL),给定高层科学目标后,系统可自行设计、配置并运行实验室装置,从空房间或已有自驱动实验室出发补齐实验室布局、数字孪生、机器人技能与实验流程。作者称系统已在不同机器人和装置上验证,可从单工位扩展到多机器人协同的实验室,并通过真实量子点合成实验验证端到端能力。研究者的角色从手动配置和编程设备自动化,转为指定科学目标。
研究者提出 D-VLA,一个面向大规模具身基础模型的高并发、低延迟分布式强化学习框架,通过“Plane Decoupling”物理隔离高频训练数据与低频权重控制,并以四线程异步“Swimlane”流水线让采样、推理、梯度计算与参数分发完全并行重叠。在 LIBERO 等基准上,D-VLA 在十亿参数级 VLA 模型的吞吐与采样效率上显著优于主流 RL 框架,万亿参数扩展测试中仍保持稳定与线性加速。
Yifei Huang 等人提出 OneSteer,一种单步扩散全身控制器,将通用运动跟踪与测试时选择性转向结合,通过可微任务代价在冻结权重下优化生成器输入噪声,并用身体分组参考掩码放宽部分跟踪要求。
推荐理由:论文给出单步扩散全身控制器在 Unitree G1 上的实测结果,可看选择性转向如何放宽跟踪约束。
作者提出 PingpongDuo,一个面向人形机器人乒乓双打的分层框架,让两名队友严格交替击球并在共享空间内安全协同。团队层规划器联合选择站位目标,并用学习到的风险评估过滤危险方案,优先保留当前击球者的目标;个体层将步法与击球技能分开训练,借助人类双打步法参考和仿真校准的球拍臂残差优化击球。
研究团队为商用轮足机器人 Go2-W 构建了基于深度强化学习的运动控制器与自主导航系统,并在 Tsukuba Challenge 2025 上完成约 2.8 公里路线测试,途经人行道、公园和楼梯,全程未因过热停机。团队将此前用于四足机器人的纯本体感知策略扩展到这台 16 自由度轮足机器人,并发现轮式行走会把负载集中在髋关节、造成热量聚集,为此设计了周期性抬脚动作来分散关节负载、缓解热量集中。
作者提出 E0,一个 Tweedie 离散扩散框架,把 VLA 的动作生成建模为对量化动作 token 的迭代去噪,以对齐预训练 VLM/VLA 的 token 式推理并支持细粒度可执行控制。在 LIBERO、VLABench、ManiSkill 和真实 Franka 机械臂上的实验显示,E0 平均超过强基线 8.1%。该工作已被 NeurIPS 26 接收。
STITCHER 是一个无需优化的轨迹规划框架,通过图搜索把短轨迹段拼接成实时、长距离且近最优的轨迹。仿真中它可在几毫秒内为跨越两个 50 m x 50 m 环境的路径生成安全轨迹,并在自制四旋翼上以最高 63 km/h 飞行验证了倾角与电机力等非凸约束下的实时可跟踪路径。
研究提出一种面向连续体机器人的连续时间随机状态估计框架,基于受白噪声高斯过程扰动的连续时间运动学因子,结合简单机器人模型与高频传感,可适应未建模外力和数据丢失。方法输出机器人位姿、速度与应变的均值及协方差,并可在空间和时间上连续插值,估计过程中还能纳入异步测量。该方法已用搭载陀螺仪与位姿传感器的连续体机器人验证,并被 IEEE Transactions on Robotics 接收。
论文提出收缩认证采样型模型预测控制 CS-MPC,在每次采样 rollout 内使用收缩认证的跟踪反馈,并通过分位数收紧的离散时间控制屏障函数条件校验实际输入。在 rover、四旋翼和小行星着陆仿真中,CS-MPC 相比标准 MPPI 在 rover 上以少 7 至 20 倍的 rollout 达到相同跟踪误差,四旋翼跟踪误差降低 2 至 4 倍,200 次蒙特卡洛任务无安全违规。
Jiaming Tang、Song Han 等提出 PEAR 后训练引擎与 robot-use 强化学习(RURL),让开源 27B 推理模型完全在仿真中、无需示教即可学会原生使用真机。
推荐理由:论文给出纯仿真强化学习训练开源 27B 模型原生操作真机的完整方法与迁移数据,可对照 VLA 微调路线。
研究提出基于互补约束的摩擦模型,在库仑摩擦假设下预测连续体机器人与环境交互产生的静摩擦、滑动摩擦与迟滞行为及相应形变,并可实时实现。在287.9 mm长的绳驱连续体机器人上验证,末端最大位置误差从无摩擦模型的45.4 mm降至5.85 mm。该工作已被IJRR接收。
研究团队发现,Unitree G1 与学习型给予者在交替 PPO 自博弈训练后,与自家伙伴交接成功率达 95% 和 90%,但与未见过的脚本伙伴仅 31%。原因是共享奖励下给予者总是立即开始递送,接收方只学会单一会合时机,将伙伴延迟一秒即把成功率从 95% 降至 6%。团队提出隐藏起始延迟随机化(HSD),再训练 300 次更新后,陌生伙伴成功率升至 80%,高力接触减少三到五倍。
研究团队在仿真中训练强化学习策略并迁移到现实,让一台 John Deere 332G 5 吨滑移装载机自主完成双轮抬升、双轮平衡行驶、按轨迹运动、原地旋转和铲斗摆动后安全落回四轮等动作。作者称这些动作此前只有少数顶尖人类操作手在世界纪录表演中完成,该工作已发表于 Science Robotics。
论文提出 PROOF 感知运动框架,让腿足机器人在严重视觉干扰下仍能稳定行走。方法采用两阶段师生学习,教师同时学习感知驱动与本体感知回退行为,学生预测外感知特征的不确定性并在分布外输入时抑制这些特征。
研究者提出 Objectives as Policies(OaP)框架,通过可编辑的目标程序把预训练 VLM 与共享的采样型 MPC 连接起来,用于接触丰富的机器人操作。VLM 依据自然语言指令和场景观测,经 real-to-sim 构建数字孪生并生成目标程序,在仿真中由 MPC 执行、依 rollout 迭代更新后再部署到真实世界。该框架在仿真与真实世界的四项桌面操作任务上均优于强基线。
一项 arXiv 论文评估 Qwen3.5-27B 和 Gemma-4-31B-it 能否为物体目标导航提供房间内目标位置分布的空间先验。基于 CubiCasa5K 与 ScanNet 真实户型,模型生成布局的物体频率和房间尺寸随房型变化,但物体贴墙距离未体现真实房型差异。作为搜索先验,生成布局的搜索区域缩减不足真实布局先验的三分之一,平滑后不足三分之二。
PoliMop 提出一种运动动力学 RRT 规划器,用物理仿真展开控制策略来评估机器人可达路径,并以简单质点模型的预规划路径引导采样,将规划时间最多缩短 63%。在四足、人形与轮式机器人仿真中,该方法可即插即用地接入不同机器人与控制策略,无需修改底层规划算法;预先设置的环境改造(如架板搭桥)会在机器人可达空间扩大后被规划器自动纳入。
论文提出在策略输出与底层传动映射之间加入身体对齐的虚拟关节空间,使策略动作与观测遵循统一解剖约定,再由确定性运动学层映射到各机型原生关节,原有传动与低层控制栈保持不变。在三种腿部轴布局不同的人形机器人上,该接口是唯一能在同一套未修改训练配方下准确跟踪、保持足部与行进方向对齐并稳定训练的接口。在 Unitree G1 硬件上,它将航向漂移降低近六倍。
研究者提出 Latent Action Support Ratio(LASR),用于在离线评估中判断世界模型学到的潜变量是否在状态之外真正为动作相关目标提供预测支持。LASR 包含 GeoLASR 与 WorstLASR 两个汇总指标,并在记录的机器人操作数据与匹配的多任务面板上验证其能识别已知动作信息、拒绝非动作捷径。团队还用 LASR 训练并审计了一个轻量残差适配器。
研究者提出免训练的物体导航系统 ERA,用 RGB 图像与位姿预测深度替代深度传感器,通过可修正占据地图和可达视点探索,在停止前跨视角验证目标。在三个 benchmark 上,ERA 在无深度传感器的免训练方法中达到 SOTA,并将 VLFM 在相同预测深度下的成功率从 10.8% 提升至 61.7%。ERA 已在真实机器人上部署。
机器人操作模仿策略在训练中会按 α = V/(V + s²) 折扣带噪物体位置读数,其中 V 是策略自身本体感知锚点的误差方差,实测远小于演示数据的线性模型估计,因此经典 EIV 回归会高估 α。
论文提出 TouchTwin,用头戴与腕部 RGB-D 相机和 880-taxel 手套采集 TouchScale 记录,在 MuJoCo 中重建交互,并由逐受试者的触觉手按记录设置各手指的接触与闭合力。基于触觉重放的策略在仿真中夹持力为记录值的 0.99x,在留出记录上 20/20 次成功、在 35/36 次未见扰动下成功;触觉训练的接触预测器漏检 13% 的真实接触帧,视觉重放为 32%。
X-Nav 技术报告提出一套从数据到部署的人形机器人长程导航系统,在灵犀 X2 上完成从办公楼大堂到邻栋商店约一百米的语言指令任务。其导航模型 MELIOR 仅使用机器人自带相机的 RGB 图像,分预测动作的 MELIOR-A 和预测导航目标的 MELIOR-N 两个版本,配合 X-Navarch 智能体工作流把简短指令拆成子任务并执行目标导航与避障。
推荐理由:论文给出从数据采集到真机部署的完整链路,并说明数字孪生数据微调如何提升闭环成功率。
研究在冻结的 I-JEPA 视觉世界模型上拟合小型残差适配器,以改进基于嵌入 MSE 的潜在目标代价,无需重训编码器或世界模型。在 DotWall 与 PointMaze 各 50 例配对评测中,成功率分别从 54% 提升至 98%、从 82% 提升至 96%;16 个未见 DotWall 布局-目标案例上,潜在代价排序与最短合法路径排序的一致率从 71.9% 升至 85.8%。
研究提出“预算条件目标搜索”任务:给定目标类别与显式动作预算,智能体需在预算耗尽前找到尽可能多的不同目标实例。对比特权TSP专家与房间级Bellman专家监督VLN,在HM3D场景上Bellman监督的VLN持续优于TSP监督版本,2000步(500m)时找到71.4%可达目标实例,TSP监督为65.5%,预训练VLN为44.8%。
论文提出 Agentic-Teacher,一个面向 VLA 后训练的自主数据引擎,可分析失败 rollout、选择干预状态并迭代生成闭环代码策略,把验证通过的策略变成可复用的演示生成器。
推荐理由:论文给出失败驱动数据引擎的完整流程,并列出 π0 在三个仿真基准上的成功率变化,便于比较数据生成与筛选环节。
UC Berkeley 与 NVIDIA 在 2026 年 CoRL 上联合提出 agentic robotics 方法,把机器人编程从数据问题转为编码问题:用大语言模型驱动的编码智能体分解任务、生成代码,并在仿真中迭代。
逐际动力开源 FluxVLA Engine,一个面向具身智能的标准化 VLA 工程底座,用统一配置和标准接口打通数据处理、模型训练、仿真评测到真机部署全流程。该框架支持 Qwen、GR00T、Pi 全系列及 DreamZero 等模型,接入 Isaac Sim、LIBERO 仿真器,并兼容 UR 机械单臂、ALOHA 双臂和逐际动力 TRON 2 等硬件。
推荐理由:逐际动力把数据、训练、仿真到真机部署的流程收进一套统一配置,读者可据此判断 VLA 工程门槛的实际变化。
NVIDIA 发布 Project Rheo 蓝图,让开发者在 Isaac Sim / Isaac Lab 中搭建医院数字孪生,用仿真和合成数据训练医院自动化机器人。
推荐理由:原文给出 Project Rheo 从场景搭建、遥操作采集到合成数据与 RL 后训练的完整流程和代码入口,可迁移到其他机器人任务。
NVIDIA 在开发者博客中介绍 Isaac GR00T N1.6,面向人形机器人的通用能力构建。文章指出人形机器人需要覆盖感知、规划与全身控制的认知和移动操作能力,并需要一套统一仿真、控制与学习的工作流,让机器人在迁移到现实世界前先习得复杂技能。
NVIDIA 推出 Isaac Lab-Arena,用于在仿真中简化通用机器人策略的规模化、可重复评估。通用机器人策略需跨多样任务、本体与环境运行,而大规模策略评估搭建过程繁琐且依赖人工。该工具针对开发者需自建高开销定制基础设施、任务库复杂度与多样性有限的问题。
南方科技大学 CLEAR Lab、逐际动力与香港大学的论文《Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-top Manipulation》入选 CoRL 2025,提出 GVF-TAPE 算法,让机器人通过视频预测任务执行过程再推理动作。