【《Science Robotics》, 2024年11月13日】11月13日，Science Robotics最新封面刊登了一项突破性研究成果，来自卡内基梅隆大学、UC伯克利大学、Meta的FAIR团队、德累斯顿工业大学的学者，通过结合视觉和触觉感知，在机械手操作过程中利用神经场模型准确估计物体的姿态和形状，并在视觉遮挡情况下取得了显著的改进。

为了实现人类级别的灵巧度，机器人需要从多模态感知中推断出空间意识，以便推理接触交互。目前，机械手操作感知主要使用视觉，并限制在跟踪预先已知的物体上，并且在操作过程中，物体的视觉遮挡不可避免。研究提出了一种名为NeuralFeels的方法，通过学习神经场在线编码物体几何形状，并通过优化姿态图问题来联合跟踪物体姿态。该方法将视觉和触觉感知结合在机械手上，通过视觉、触觉和本体感知的流来估计物体的姿态和形状。在严重遮挡的情况下，结合触觉可以使跟踪性能相比仅用视觉的方法提高高达94%，触觉有助于消除嘈杂的视觉估计，可以为灵巧手上任务提供鲁棒的空间理解。（南阳理工学院电子信息学科研究院马聪聪编译）