一种抓取区域的识别方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种抓取区域的识别方法、装置、电子设备及存储介质，抓取区域的识别方法包括：获取物品区域对应的色彩图和深度图；分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。本公开在确定待抓取对象的抓取区域的情况下，可以通过结合待抓取对象的位姿特征信息和深度特征信息，提高针对待抓取对象确定的抓取区域的准确度。

【技术实现步骤摘要】
一种抓取区域的识别方法、装置、电子设备及存储介质
本公开属于机器人领域，涉及机器人视觉智能识别技术，具体为一种抓取区域的识别方法、装置、电子设备及存储介质。
技术介绍
机器人自动识别并抓取物体对实现工业自动化起着重要的作用，机器人需要对物体进行识别并判断物体上的抓取区域，才能实现物体的抓取。目前，机器人对于物体的抓取区域的判断过程中，对物体特征的降维程度过高，造成部分特征丢失，从而不能准确识别并判断物体的抓取区域；或者只能对系统中注册的物体进行识别，无法实现没有注册的物体的的抓取区域的识别。
技术实现思路
本公开的目的在于提供一种抓取区域的识别方法、装置、电子设备及存储介质，该识别方法能够应用于快递行业、零售业、工业中，可以对抓取区域内的各个待抓取对象，如：对方形、圆形、不规则形、细长杆、铁丝、铁丝圈、铁丝框等任意形状物体，准确识别并提供可抓取区域，帮助装配有真空吸盘的工业机器人，将物品逐个从混乱堆叠的物品区域中抓取出来。本公开第一方面提供了一种抓取区域的识别方法，包括：获取物品区域对应的色彩图和深度图；分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；其中，第一特征图用于表征待抓取对象的位姿特征信息，第二特征图用于表征待抓取对象表面各位置点的深度特征信息；基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。本公开的抓取区域的识别方法的原理是：物品区域的色彩图和深度图获取；提取色彩图获得含有位姿特征信息的第一特征图，提取深度图获得含有深度特征信息的第二特征图；通过位姿特征信息和深度特征信息确定抓取概率图，通过抓取概率图确定物品区域内待抓取对象的抓取区域。抓取区域的识别方法结合位姿特征信息和深度特征信息确定抓取区域，可以对抓取区域中任意形状、颜色、大小的待抓取对象进行识别，例如：当有多个具有相同高度的盒子并排摆放时，输入深度图和色彩图时，可以根据盒子边界纹理、颜色等位姿特征信息区分多个盒子，再例如：对于物品区域中某一颜色均匀但表面曲面复杂的待抓取对象，输入色彩图和色彩图时，可以通过深度特征信息，找到待抓取对象表面平整的适合做抓取的区域，可见，在确定待抓取对象的抓取区域时，通过结合待抓取对象的位姿特征信息和深度特征信息，在确定待抓取对象的抓取区域的情况下，能够提高确定的准确度。在本公开的一个实施例中，在确定针对待抓取对象进行抓取时的抓取区域之后，识别方法还包括：控制机械臂抓手基于抓取区域对待抓取对象进行抓取。在本公开的一个实施例中，抓取概率图由预先训练的神经网络确定，神经网络包括第一特征提取单元和第二特征提取单元，分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图，包括：将色彩图输入第一特征提取单元进行特征提取，得到第一特征图；将深度图输入第二特征提取单元进行特征提取，得到第二特征图。进一步的，上述第一特征提取单元包含多层第一卷积层，将色彩图输入第一特征提取单元内提取特征，得到第一特征图，包括：将色彩图依次输入每层第一卷积层进行特征提取，得到该层第一卷积层输出的第一特征信息；对每层第一卷积层输出的第一特征信息依次进行拼接，得到第一特征图。进一步的，上述第二特征提取单元包含多层第二卷积层，将深度图输入第二特征提取单元内提取特征，得到第二特征图，包括：将深度图依次输入每层第二卷积层，得到每层卷积层输出的第二特征信息；对每层第二卷积层输出的第二特征信息依次进行拼接，得到第二特征图。预先训练的神经网络包含用于提取位姿特征信息的第一特征提取单元和用于提取深度特征信息的第二特征提取单元，便于获取物品区域的位姿特征信息和深度特征信息，从而后续可以通过融合距离特征和位姿特征信息，确定物品区域内的各个待抓取对象的抓取区域。进一步的，上述神经网络还包括概率图预测单元，基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，包括：对第一特征图和第二特征图中对应位置的像素点的特征信息进行拼接，得到用于表征待抓取对象的全局特征信息的拼接特征图；通过概率图预测单元对拼接特征图进行特征提取，得到抓取概率图。在本公开的一个优选实施例中，按照以下方式训练上述神经网络：获取物品区域对应的样本色彩图、样本深度图以及物品区域内包含的待抓取样本对象的标注抓取区域；分别对样本色彩图和样本深度图进行特征提取，得到物体区域内的待抓取样本对象的样本第一特征图和样本第二特征图；基于样本第一特征图和样本第二特征图，确定针对待抓取样本对象进行抓取的样本抓取概率图；基于样本抓取概率图，确定针对待抓取样本对象进行抓取时的抓取区域；根据待抓取样本对象的样本抓取区域和标注抓取区域确定待训练神经网络的损失函数值；基于损失函数值对待训练的神经网络中的网络参数进行调整后，返回执行获取样本第一特征图和样本第二特征图的步骤，直至最新得到损失函数值和上一次调整网络参数后得到的损失函数值之间的变化量小于预设变化量阈值后，得到训练完成的神经网络。在本公开的一个实施例中，基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域，包括：基于抓取概率图，筛选概率值大于预设概率阈值的像素点所对应的至少一个候选区域；基于每个候选区域对应的几何特征，确定该候选区域对应的候选抓取位置点，以及确定候选抓取位置点在预先构建的世界坐标系中的位置坐标；基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，并将目标位置点所对应的候选区域作为针对待抓取对象进行抓取时的抓取区域。在本公开的一个实施例中，基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，包括：基于每个候选抓取位置点的所述位置坐标，以及机器臂抓手的当前位置坐标，确定机器臂抓手到达每个候选抓取位置点的抓取路线；选择对应抓取路线最短的候选抓取位置点，作为针对待抓取对象进行抓取时的目标位置点。本公开第二方面提供了一种抓取区域的识别装置，包括：获取模块，用于获取物品区域对应的色彩图和深度图；提取模块，用于分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；其中，第一特征图用于表征待抓取对象的位姿特征信息，第二特征图用于表征待抓取对象表面各位置点的深度特征信息；第一确定模块，用于基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；第二确定模块，用于基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。本公开第三方面提供了一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，本文档来自技高网...

【技术保护点】
1.一种抓取区域的识别方法，其特征在于，包括：/n获取物品区域对应的色彩图和深度图；/n分别对所述色彩图和所述深度图进行特征提取，得到所述物体区域内的待抓取对象的第一特征图和第二特征图；其中，所述第一特征图用于表征所述待抓取对象的位姿特征信息，所述第二特征图用于表征所述待抓取对象表面各位置点的深度特征信息；/n基于所述第一特征图和所述第二特征图，确定针对所述待抓取对象进行抓取的抓取概率图，所述抓取概率图中包含每个像素点作为抓取区域时所述待抓取对象被成功抓取的概率值；/n基于所述抓取概率图，确定针对所述待抓取对象进行抓取时的抓取区域。/n

【技术特征摘要】
1.一种抓取区域的识别方法，其特征在于，包括：
获取物品区域对应的色彩图和深度图；
分别对所述色彩图和所述深度图进行特征提取，得到所述物体区域内的待抓取对象的第一特征图和第二特征图；其中，所述第一特征图用于表征所述待抓取对象的位姿特征信息，所述第二特征图用于表征所述待抓取对象表面各位置点的深度特征信息；
基于所述第一特征图和所述第二特征图，确定针对所述待抓取对象进行抓取的抓取概率图，所述抓取概率图中包含每个像素点作为抓取区域时所述待抓取对象被成功抓取的概率值；
基于所述抓取概率图，确定针对所述待抓取对象进行抓取时的抓取区域。


2.根据权利要求1所述的识别方法，其特征在于，在确定针对所述待抓取对象进行抓取时的抓取区域之后，所述识别方法还包括：
控制机械臂抓手基于所述抓取区域对所述待抓取对象进行抓取。


3.根据权利要求1所述的识别方法，其特征在于，所述抓取概率图由预先训练的神经网络确定，所述神经网络包括第一特征提取单元和第二特征提取单元，分别对所述色彩图和所述深度图进行特征提取，得到所述物体区域内的待抓取对象的所述第一特征图和所述第二特征图，包括：
将所述色彩图输入所述第一特征提取单元进行特征提取，得到所述第一特征图；
将所述深度图输入所述第二特征提取单元进行特征提取，得到所述第二特征图。


4.根据权利要求3所述的识别方法，其特征在于，所述第一特征提取单元包含多层第一卷积层，将所述色彩图输入所述第一特征提取单元内提取特征，得到所述第一特征图，包括：
将所述色彩图依次输入每层第一卷积层进行特征提取，得到该层第一卷积层输出的第一特征信息；
对每层第一卷积层输出的第一特征信息依次进行拼接，得到所述第一特征图。


5.根据权利要求3所述的识别方法，其特征在于，所述第二特征提取单元包含多层第二卷积层，将所述深度图输入所述第二特征提取单元内提取特征，得到所述第二特征图，包括：
将所述深度图依次输入每层第二卷积层，得到每层卷积层输出的第二特征信息；
对每层第二卷积层输出的第二特征信息依次进行拼接，得到所述第二特征图。


6.根据权利要求3所述的识别方法，其特征在于，所述神经网络还包括概率图预测单元，基于所述第一特征图和所述第二特征图，确定针对所述待抓取对象进行抓取的抓取概率图，包括：
对所述第一特征图和所述第二特征图中对应位置的像素点的特征信息进行拼接，得到用于表征所述待抓取对象的全局特征信息的拼接特征图；
通过所述概率图预测单元对所述拼接特征图进行特征提取，得到所述抓取概率图。


7.根据权利要求3至6任一所述的识别方法，其特征在于，按照以下方式训练所述神经网络：
获取物品区域对应的样本色彩图、样本深度图以及所述物品区域内包含的待抓取样本对象的标注抓取区域；
分别对所述样本色彩图和所述样本深度图进行特征提取，得到所述物体区域内的待抓取样本对象的...

【专利技术属性】
技术研发人员：段文杰，夏冬青，耿嘉，陈亚南，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：北京;11