基于自监督学习神经网络的机械臂视觉抓取系统及方法技术方案

本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。本公开不仅可以识别出所需抓取物体的大致轮廓位置，而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算。

Robot Visual Grabbing System and Method Based on Self-supervised Learning Neural Network

The present disclosure provides a visual grasping system of a manipulator based on self-supervised learning neural network, including a depth-of-field camera, an instance segmentation module, a pose estimation neural network module, a stereo pose acquisition module and a manipulator control module. The depth-of-field camera outputs a color image to an instance segmentation module, and a depth-of-field image to a stereo pose acquisition module. At least one input pose estimation neural network module of classification, frame or segmented information is used in the instance segmentation module; the pose estimation neural network module outputs the plane pose to the stereo pose acquisition module, and fuses the scene depth image to obtain the stereo pose; the manipulator control module obtains the stereo pose, and realizes the manipulator grasping operation according to the stereo pose. The present disclosure not only identifies the approximate contour position of the object to be grabbed, but also further calculates the precise grabbing position and angle by using the neural network with full connection layer.

【技术实现步骤摘要】
基于自监督学习神经网络的机械臂视觉抓取系统及方法
本公开涉及机械臂
，尤其涉及一种基于自监督学习神经网络的机械臂视觉抓取系统及方法。
技术介绍
机械臂是能模仿人手和臂的某些动作功能，用以按固定程序抓取，搬运物件或者操作工具的自动操作装置。机械臂可以代替人的繁重劳动以实现生产的机械化和自动化，能在有害环境下操作以保护人身安全，因而广泛应用与机械制造，冶金，轻工和原子能等领域。工业上，机械臂抓取操作大多采用传统示教的方式。然而对于一个全新的操作物体或者一个全新的操作环境，就需要对机械臂重新进行人工示教。随着机器视觉的发展与应用，越来越多基于视觉的智能化机械臂抓取位姿计算方法被提出。这些方法大体上可以分为两类，第一类方法基于机器学习，第二类方法则基于模板匹配。基于机器学习的计算方法通过学习的方式处理视觉图像中的特征，对抓取的位姿做出估计。该类方法依赖于被抓取物体的表面纹理信息，对于纹理信息丰富的物体具有较好的抓取位姿计算结果。然而，该方法在遇到表面缺少纹理信息的抓取物体时效果显然不理想。而基于模板匹配的方法则是将被抓取物体的轮廓信息与模板库中的模板轮廓进行匹配，从而根据最佳匹配模板的抓取位姿来估计被抓取物体的位姿。此类方法不再基于物体表面的纹理信息，只需物体的轮廓即可。因此，该类方法能够改善纹理缺失的物体抓取，却对于轮廓部分受遮挡的物体易出现错误估计的情况。此外，现有的方法仅基于机器视觉，却没有考虑到被抓取物体的实际质量分布这一实际抓取中的重要影响因素。
技术实现思路
(一)要解决的技术问题本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取系统及方法，以至少部分解决以上所提出的技术问题。(二)技术方案根据本公开的一个方面，提供了一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。在一些实施例中，所述实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图，并将建议框生成网络生成的建议框映射到特征图中对应的区域特征，对该区域特征进行回归，得到该区域特征中物体的位置信息；该区域特征的另一分支则通过特征金字塔网络后实现图像在一预定分辨率上的分割，代表被抓取物体在图像中的具体轮廓信息。在一些实施例中，所述位姿估计神经网络模块包括由五层卷积层和两层全连接层组成的位姿估计神经网络，其输入为实例分割模块得到的具体轮廓信息，所述位姿估计神经网络模块将所述具体轮廓内的像素点作为抓取位置进行采样。在一些实施例中，所述位姿估计神经网络对以抓取位置为中心的固定尺寸的图像进行特征提取。在一些实施例中，所述位姿估计通过得分函数来获得最佳抓取位姿。根据本公开的另一个方面，提供了一种基于自监督学习神经网络的机械臂视觉抓取方法，包括：S1，景深摄像头获取视觉图像，将其中的色彩图像输入实例分割模块进行实例分割，获取被抓取物体的分类、框体或分割信息的至少一种；S2，将被抓取物体的分类、框体或分割信息的至少一种输入位姿估计神经网络模块，得到被抓取物体的平面位姿；S3，景深摄像头获取视觉图像中的景深图像输入立体位姿获取模块，与所述平面位姿融合，获取立体位姿；S4，将立体位姿输入所述机械臂控制模块，并根据所述立体位姿实现机械臂的抓取操作。在一些实施例中，所述步骤S1中，景深摄像头获取视觉图像后，实例分割模块对其中的色彩图像进行实例分割，通过卷积神经网络识别并筛选出所需抓取的物体，对图像进行分割得到物体的被抓取物体的轮廓信息。在一些实施例中，所述步骤S2中，将物体的轮廓作为位姿估计神经网络模块的输入，把轮廓内的像素点作为抓取位置进行采样；对以抓取位置为中心的固定尺寸的图像进行特征提取，并在每个抓取位置对抓取角度从0°到170°，以10°为步长进行采样，并通过softmax损失函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具体位姿。在一些实施例中，所述位姿估计神经网络模块中的神经网络由机械臂自监督学习训练，训练所用数据由机械臂实际抓取标注，所训练的网络考虑被抓取物体的实际质量分布。在一些实施例中，所述步骤S3中，得到平面位姿后，融合景深图像得到被抓取物体的立体位姿，在不同坐标系下的位姿转化后，输出立体位姿，提供给机械臂控制模块。(三)有益效果从上述技术方案可以看出，本公开基于自监督学习神经网络的机械臂视觉抓取系统及方法至少具有以下有益效果其中之一：(1)本公开的方法不仅可以识别出所需抓取物体的大致轮廓位置，而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算；(2)本公开的神经网络由机械臂自监督学习训练，所训练的神经网络考虑了被抓取物体的实际质量分布这一抓取的重要特征，以提高抓取的成功率；(3)本公开将第一个神经网络的输出，即所需抓取物体的大致轮廓位置作为第二个网络的输入，在物体轮廓内进行抓取位置的采样，通过函数进行打分，选取得分最高的采样结果，能够提供精确的抓取位姿。附图说明图1为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的拓扑结构示意图。图2为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的实例分割模块结构示意图。图3为本公开实施例基于自监督学习神经网络的机械臂视觉抓取方法的流程图。具体实施方式本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取系统及方法，包括获取需要抓取物体的视觉图像，神经网络回归抓取物体的大致位置以及抓取姿态的精确估计。卷积神经网络首先识别物体并回归得到抓取物体在视觉图像中的大致轮廓位置。然后，在物体轮廓内采样不同的抓取位置以及抓取角度，通过神经网络的全连接层后对各个位置角度进行打分，将得分最高所对应的位置与角度作为机械臂抓取物体所选取的精确姿态。其中，神经网络的权重由机械臂自监督训练得到，考虑了被抓取物体的实际密度分布。利用该机械臂抓取方法，可以有效减小抓取采样的范围，克服被抓取物体部分遮挡和纹理缺失的问题，提高实际抓取精度。为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以由许多不同形式实现，而不应被解释为限于此处所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。在本公开的一个示例性实施例中，提供了一种基于自监督学习神经网络的机械臂视觉抓取系统，以机械臂、景深摄像头为工具，实现机械臂对摄像头视野范围内的物体进行识别，定位以及抓取。图1为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的拓扑结构示意图。如图1所示，本公开基于自监督学习神经网络的机械臂视觉抓取系统包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块。本文档来自技高网...

【技术保护点】
1.一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。

【技术特征摘要】
1.一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。2.根据权利要求1所述的机械臂视觉抓取系统，其中，所述实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图，并将建议框生成网络生成的建议框映射到特征图中对应的区域，并对区域特征进行回归，得到该区域特征中物体的位置信息；该区域特征的另一分支则通过特征金字塔网络后实现图像在一预定分辨率上的分割，代表被抓取物体在图像中的具体轮廓信息。3.根据权利要求2所述的机械臂视觉抓取系统，其中，所述位姿估计神经网络模块包括由五层卷积层和两层全连接层组成的位姿估计神经网络，其输入为实例分割模块得到的具体轮廓信息，所述位姿估计神经网络模块将所述具体轮廓内的像素点作为抓取位置进行采样。4.根据权利要求3所述的机械臂视觉抓取系统，其中，所述位姿估计神经网络对以抓取位置为中心的固定尺寸的图像进行特征提取。5.根据权利要求4所述的机械臂视觉抓取系统，其中，所述位姿估计通过得分函数来获得最佳抓取位姿。6.一种基于自监督学习神经网络的机械臂视觉抓取方法，包括...

【专利技术属性】
技术研发人员：舒心，刘昶，李彤，
申请(专利权)人：中国科学院电子学研究所，
类型：发明
国别省市：北京,11