麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员表示，在不久的将来，机器人将能够通过触摸感知物体。最近的相关论文将在下周于加利福尼亚州长滩举行的计算机视觉和模式识别会议上发表。本文介绍了一种人工智能系统，该系统可以通过触觉信号生成触摸对象的视觉图像，并根据视觉数据预测对象的触觉。 “通过观察物体的表面，我们的模型可以预测特定平面或角的触感。通过触摸物体，我们的人工智能模型可以基于触摸感来构建感测环境。结合这两种感知数据，将优化机器人的性能，并且在移动或抓取物体时将需要更少的数据。 ，朱俊彦一起写了这篇论文。本文的核心是什么？跨域建模任务的主要挑战在于两者之间的显着比率差异：当我们的眼睛同时感知整个视觉场景时，只能感觉到物体的一小部分。为了将视觉和触觉联系起来，研究人员引入了两种交叉模式任务：1）从视觉输入中合成可信的触觉信号； 2）通过视觉输入直接预测要触摸的对象和部分；为了实现这一目标，研究人员构建了一个机器人系统，以自动化收集大型视觉和触觉对的过程。如图1a所示，机械臂配有一个名为GelSight的触觉传感器，该触觉传感器由CSAIL的Ted Adelson团队创建。然后，将GelSight收集的信息输入AI，以了解视觉和触觉信息之间的关系。为了教AI如何通过触摸识别物体，研究人员总共记录了195个不同物体的12,000次触摸。每个触摸动作都包含一个250帧的视频序列，例如被触摸的织物，工具和家居用品。最终，生成了300万个视觉和触觉对图像。 AI使用此数据集来连接触觉和视觉数据，以总结和改善实验结果。 CSAIL博士研究生和主要作者李云竹在有关该系统的新论文中说。 “通过盲目触摸，我们的模型可以完全通过触摸来预测与环境的交互。将这两种感觉结合起来可以增强机器人的功能，并减少我们在涉及操纵和抓握物体的任务中可能需要的东西。数据。”目前，机器人只能在受控环境中识别物体。这些研究人员指出，当前的数据集仍然非常有限。对于现有系统，很难预测对象的颜色和柔软度。但是显然，他们的研究将为更多的人机集成奠定基础，尤其是在昏暗甚至黑暗密闭空间中的任务。下一步将是如何构建更大的数据集，以便机器人可以在更多样化的环境中工作。