TransGHOST:眼科显微手术中器械遮挡区域的实时无合成重建
TransGHOST 提出一种因果参考引导的重建流程,其非生成式安全模式可实时运行,通过仅拟合可见区域的几何变换对已记录帧重采样来恢复被器械遮挡的像素,并给出逐像素置信度与来源标记。
TransGHOST 提出一种因果参考引导的重建流程,其非生成式安全模式可实时运行,通过仅拟合可见区域的几何变换对已记录帧重采样来恢复被器械遮挡的像素,并给出逐像素置信度与来源标记。
在UrbanTwin Sim2Real LiDAR挑战赛V2X-Real赛道中,参赛方案以0.7457综合得分获第一,检测mAP为0.4382、真实感得分0.9251。三项诊断性修正贡献主要提升:恢复预测与评测真值间的坐标系错配使得分从0.3520升至0.5147;将单一全局NMS改为逐类NMS使整体mAP从0.0751升至0.4295;对真实点云中约31%以(0,0,0)编码的空回波建模。
该方案在 ECCV 2026 DriveX Grand Challenge 的 UrbanTwin Sim2Real LiDAR 挑战赛 LUMPI 赛道获得第一名,综合得分 0.4793,其中检测 mAP 为 0.1333、真实感得分 0.9126。
论文提出 Self-Building Labs(SBL),给定高层科学目标后,系统可自行设计、配置并运行实验室装置,从空房间或已有自驱动实验室出发补齐实验室布局、数字孪生、机器人技能与实验流程。作者称系统已在不同机器人和装置上验证,可从单工位扩展到多机器人协同的实验室,并通过真实量子点合成实验验证端到端能力。研究者的角色从手动配置和编程设备自动化,转为指定科学目标。
研究者提出 D-VLA,一个面向大规模具身基础模型的高并发、低延迟分布式强化学习框架,通过“Plane Decoupling”物理隔离高频训练数据与低频权重控制,并以四线程异步“Swimlane”流水线让采样、推理、梯度计算与参数分发完全并行重叠。在 LIBERO 等基准上,D-VLA 在十亿参数级 VLA 模型的吞吐与采样效率上显著优于主流 RL 框架,万亿参数扩展测试中仍保持稳定与线性加速。
研究提出以专家定义的协议规则为基础评估手术规划,直接衡量协议依从性,而非与单条参考轨迹的相似度。在该框架下,基于相似度的指标会惩罚偏离参考轨迹但符合协议的规划,却奖励表面相似但违反协议的规划。对 Video-LLM 的评估还揭示出视频到状态 grounding 不可靠与规划约束不足两种可分离的失败模式,仅靠模型扩展无法解决,注入结构化知识则能带来稳定提升。
Yichi Zhang 等作者发布 HEIR,一个研究如何利用自我视角意图进行人机交互的数据资源。该数据集将人类语音、实测注视点和自我视角视频与机器人观测及遥操作导航-操作轨迹配对,每个会话保留连续多轮任务,每项请求由多个执行子任务完成。作者通过离线实验评估模型从额外人类中心上下文中的获益,并用真机实验检验执行任务完成情况,演示与数据集已在线公开。
研究团队提出 VOKE 运动学感知框架,可增强现有物体与手-物位姿估计器,输出包含位姿、线速度/角速度及线加速度/角加速度的完整物体运动学状态。在 DexYCB 和 OakInk 上,VOKE 在三种不同骨干网络上均提升物体位姿估计,并显著降低速度与加速度估计误差。
Yifei Huang 等人提出 OneSteer,一种单步扩散全身控制器,将通用运动跟踪与测试时选择性转向结合,通过可微任务代价在冻结权重下优化生成器输入噪声,并用身体分组参考掩码放宽部分跟踪要求。
推荐理由:论文给出单步扩散全身控制器在 Unitree G1 上的实测结果,可看选择性转向如何放宽跟踪约束。
研究者提出 EmbodiExp 框架,将过往任务经验构建为以结果为锚的子目标经验并在新任务中在线组合。在 EmbodiedBench 上,EB-Habitat 与 EB-ALFRED 成功率分别为 68.0% 和 68.3%,无经验存储的智能体为 50.0% 和 54.7%。该框架保留成功子目标经验,并利用显式动作失败识别特定条件下应避免的动作。
作者提出 PingpongDuo,一个面向人形机器人乒乓双打的分层框架,让两名队友严格交替击球并在共享空间内安全协同。团队层规划器联合选择站位目标,并用学习到的风险评估过滤危险方案,优先保留当前击球者的目标;个体层将步法与击球技能分开训练,借助人类双打步法参考和仿真校准的球拍臂残差优化击球。
研究团队为二自由度双边力反馈遥操作设备加装视觉触觉传感器与32像素触觉显示器,在操作者指尖还原机器人手指的空间接触图案。在按钮辨别与滚柱任务中,这种空间分布触觉反馈减少了多余动作和完成步骤,显著缩短任务完成时间,并使不同操作者的演示更一致。用触觉增强演示训练的自主策略也出现任务时间与偏离自然人类行为程度的下降。
研究团队为商用轮足机器人 Go2-W 构建了基于深度强化学习的运动控制器与自主导航系统,并在 Tsukuba Challenge 2025 上完成约 2.8 公里路线测试,途经人行道、公园和楼梯,全程未因过热停机。团队将此前用于四足机器人的纯本体感知策略扩展到这台 16 自由度轮足机器人,并发现轮式行走会把负载集中在髋关节、造成热量聚集,为此设计了周期性抬脚动作来分散关节负载、缓解热量集中。
研究提出 Sequential Asymmetric Imitation(SAI),用单遥操作者课程让两台双臂移动操作机器人通过刚性与可变形物体耦合协作,无需双操作者同步演示或机器人间显式通信。
作者提出 E0,一个 Tweedie 离散扩散框架,把 VLA 的动作生成建模为对量化动作 token 的迭代去噪,以对齐预训练 VLM/VLA 的 token 式推理并支持细粒度可执行控制。在 LIBERO、VLABench、ManiSkill 和真实 Franka 机械臂上的实验显示,E0 平均超过强基线 8.1%。该工作已被 NeurIPS 26 接收。
STITCHER 是一个无需优化的轨迹规划框架,通过图搜索把短轨迹段拼接成实时、长距离且近最优的轨迹。仿真中它可在几毫秒内为跨越两个 50 m x 50 m 环境的路径生成安全轨迹,并在自制四旋翼上以最高 63 km/h 飞行验证了倾角与电机力等非凸约束下的实时可跟踪路径。
研究提出一种面向连续体机器人的连续时间随机状态估计框架,基于受白噪声高斯过程扰动的连续时间运动学因子,结合简单机器人模型与高频传感,可适应未建模外力和数据丢失。方法输出机器人位姿、速度与应变的均值及协方差,并可在空间和时间上连续插值,估计过程中还能纳入异步测量。该方法已用搭载陀螺仪与位姿传感器的连续体机器人验证,并被 IEEE Transactions on Robotics 接收。
论文提出收缩认证采样型模型预测控制 CS-MPC,在每次采样 rollout 内使用收缩认证的跟踪反馈,并通过分位数收紧的离散时间控制屏障函数条件校验实际输入。在 rover、四旋翼和小行星着陆仿真中,CS-MPC 相比标准 MPPI 在 rover 上以少 7 至 20 倍的 rollout 达到相同跟踪误差,四旋翼跟踪误差降低 2 至 4 倍,200 次蒙特卡洛任务无安全违规。
Jiaming Tang、Song Han 等提出 PEAR 后训练引擎与 robot-use 强化学习(RURL),让开源 27B 推理模型完全在仿真中、无需示教即可学会原生使用真机。
推荐理由:论文给出纯仿真强化学习训练开源 27B 模型原生操作真机的完整方法与迁移数据,可对照 VLA 微调路线。
研究提出基于互补约束的摩擦模型,在库仑摩擦假设下预测连续体机器人与环境交互产生的静摩擦、滑动摩擦与迟滞行为及相应形变,并可实时实现。在287.9 mm长的绳驱连续体机器人上验证,末端最大位置误差从无摩擦模型的45.4 mm降至5.85 mm。该工作已被IJRR接收。
研究团队发现,Unitree G1 与学习型给予者在交替 PPO 自博弈训练后,与自家伙伴交接成功率达 95% 和 90%,但与未见过的脚本伙伴仅 31%。原因是共享奖励下给予者总是立即开始递送,接收方只学会单一会合时机,将伙伴延迟一秒即把成功率从 95% 降至 6%。团队提出隐藏起始延迟随机化(HSD),再训练 300 次更新后,陌生伙伴成功率升至 80%,高力接触减少三到五倍。
研究团队在仿真中训练强化学习策略并迁移到现实,让一台 John Deere 332G 5 吨滑移装载机自主完成双轮抬升、双轮平衡行驶、按轨迹运动、原地旋转和铲斗摆动后安全落回四轮等动作。作者称这些动作此前只有少数顶尖人类操作手在世界纪录表演中完成,该工作已发表于 Science Robotics。
论文提出 PROOF 感知运动框架,让腿足机器人在严重视觉干扰下仍能稳定行走。方法采用两阶段师生学习,教师同时学习感知驱动与本体感知回退行为,学生预测外感知特征的不确定性并在分布外输入时抑制这些特征。
研究者提出 Objectives as Policies(OaP)框架,通过可编辑的目标程序把预训练 VLM 与共享的采样型 MPC 连接起来,用于接触丰富的机器人操作。VLM 依据自然语言指令和场景观测,经 real-to-sim 构建数字孪生并生成目标程序,在仿真中由 MPC 执行、依 rollout 迭代更新后再部署到真实世界。该框架在仿真与真实世界的四项桌面操作任务上均优于强基线。
研究提出把单板计算机的 NPU 当作 GNSS 信号捕获中并行码搜索的加速器,而非用于机器学习,并将 DFT、非相干积分与峰值检测按 NPU 配置在 CPU 与 NPU 间划分。
作者提出 ESI(Embodied Self-Improvement),一个利用环境交互对齐 LLM 推理与 VLA 动作的自动化闭环,把模块化智能体整体作为后训练单元,反复优化引导 LLM 的提示词、表达意图的共享技能接口和实现意图的 VLA 参数。
推荐理由:论文提出让 LLM 与 VLA 在交互中互相提供监督的自改进闭环,并在 RoboDojo 十项任务上给出与混合智能体基线的对比。
一项 arXiv 论文评估 Qwen3.5-27B 和 Gemma-4-31B-it 能否为物体目标导航提供房间内目标位置分布的空间先验。基于 CubiCasa5K 与 ScanNet 真实户型,模型生成布局的物体频率和房间尺寸随房型变化,但物体贴墙距离未体现真实房型差异。作为搜索先验,生成布局的搜索区域缩减不足真实布局先验的三分之一,平滑后不足三分之二。
PoliMop 提出一种运动动力学 RRT 规划器,用物理仿真展开控制策略来评估机器人可达路径,并以简单质点模型的预规划路径引导采样,将规划时间最多缩短 63%。在四足、人形与轮式机器人仿真中,该方法可即插即用地接入不同机器人与控制策略,无需修改底层规划算法;预先设置的环境改造(如架板搭桥)会在机器人可达空间扩大后被规划器自动纳入。
论文提出在策略输出与底层传动映射之间加入身体对齐的虚拟关节空间,使策略动作与观测遵循统一解剖约定,再由确定性运动学层映射到各机型原生关节,原有传动与低层控制栈保持不变。在三种腿部轴布局不同的人形机器人上,该接口是唯一能在同一套未修改训练配方下准确跟踪、保持足部与行进方向对齐并稳定训练的接口。在 Unitree G1 硬件上,它将航向漂移降低近六倍。
研究提出一种广播控制方案,用单一空间仿射场同时控制机器人集群的运动与形变,标量分量调节集群规模,空间梯度通过非互易相互作用驱动集群平移。该方法将每个机器人的墙壁、驱动与内聚约束通过控制屏障函数纳入整个集群的单一二次规划,无需预先规划即可安全通过比无约束集群更窄的走廊。研究还推导出驱动预算决定可达速度与最小可通行走廊宽度,并演示两个独立驱动的集群可用不同固定相位标签同时通过共享路口而无需集群间协调。
研究者提出 Latent Action Support Ratio(LASR),用于在离线评估中判断世界模型学到的潜变量是否在状态之外真正为动作相关目标提供预测支持。LASR 包含 GeoLASR 与 WorstLASR 两个汇总指标,并在记录的机器人操作数据与匹配的多任务面板上验证其能识别已知动作信息、拒绝非动作捷径。团队还用 LASR 训练并审计了一个轻量残差适配器。
研究者提出免训练的物体导航系统 ERA,用 RGB 图像与位姿预测深度替代深度传感器,通过可修正占据地图和可达视点探索,在停止前跨视角验证目标。在三个 benchmark 上,ERA 在无深度传感器的免训练方法中达到 SOTA,并将 VLFM 在相同预测深度下的成功率从 10.8% 提升至 61.7%。ERA 已在真实机器人上部署。
机器人操作模仿策略在训练中会按 α = V/(V + s²) 折扣带噪物体位置读数,其中 V 是策略自身本体感知锚点的误差方差,实测远小于演示数据的线性模型估计,因此经典 EIV 回归会高估 α。
研究团队提出 AI 引导的机器人原位打印平台,可直接在透明伤口敷料上制造无线伤口电疗器件。系统整合 3D 视觉相机、六自由度机械臂、直写打印与几何感知 RF 设计优化,将伤口分割得到的尺寸与局部曲率及组织介电负载纳入接收线圈和叉指电极设计。在拟人组织等效前臂模型上完成原位制造演示,实测介电特性被纳入 RF 优化,使器件在 25 MHz 目标频率附近谐振。
论文提出 TouchTwin,用头戴与腕部 RGB-D 相机和 880-taxel 手套采集 TouchScale 记录,在 MuJoCo 中重建交互,并由逐受试者的触觉手按记录设置各手指的接触与闭合力。基于触觉重放的策略在仿真中夹持力为记录值的 0.99x,在留出记录上 20/20 次成功、在 35/36 次未见扰动下成功;触觉训练的接触预测器漏检 13% 的真实接触帧,视觉重放为 32%。
X-Nav 技术报告提出一套从数据到部署的人形机器人长程导航系统,在灵犀 X2 上完成从办公楼大堂到邻栋商店约一百米的语言指令任务。其导航模型 MELIOR 仅使用机器人自带相机的 RGB 图像,分预测动作的 MELIOR-A 和预测导航目标的 MELIOR-N 两个版本,配合 X-Navarch 智能体工作流把简短指令拆成子任务并执行目标导航与避障。
推荐理由:论文给出从数据采集到真机部署的完整链路,并说明数字孪生数据微调如何提升闭环成功率。
研究在冻结的 I-JEPA 视觉世界模型上拟合小型残差适配器,以改进基于嵌入 MSE 的潜在目标代价,无需重训编码器或世界模型。在 DotWall 与 PointMaze 各 50 例配对评测中,成功率分别从 54% 提升至 98%、从 82% 提升至 96%;16 个未见 DotWall 布局-目标案例上,潜在代价排序与最短合法路径排序的一致率从 71.9% 升至 85.8%。
研究提出“预算条件目标搜索”任务:给定目标类别与显式动作预算,智能体需在预算耗尽前找到尽可能多的不同目标实例。对比特权TSP专家与房间级Bellman专家监督VLN,在HM3D场景上Bellman监督的VLN持续优于TSP监督版本,2000步(500m)时找到71.4%可达目标实例,TSP监督为65.5%,预训练VLN为44.8%。
论文提出 Agentic-Teacher,一个面向 VLA 后训练的自主数据引擎,可分析失败 rollout、选择干预状态并迭代生成闭环代码策略,把验证通过的策略变成可复用的演示生成器。
推荐理由:论文给出失败驱动数据引擎的完整流程,并列出 π0 在三个仿真基准上的成功率变化,便于比较数据生成与筛选环节。
UC Berkeley 与 NVIDIA 在 2026 年 CoRL 上联合提出 agentic robotics 方法,把机器人编程从数据问题转为编码问题:用大语言模型驱动的编码智能体分解任务、生成代码,并在仿真中迭代。