目标物体抓取位姿获取方法及机器人抓取系统技术方案

本发明专利技术提供了目标物体抓取位姿获取方法及机器人抓取系统。本发明专利技术的目标物体抓取位姿获取方法包括：对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；将三维检测区域转换为二维检测区域；基于二维检测区域及获取自场景的彩色图像进行目标检测及分析获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；将三维检测区域的点云坐标系下三维点云转换至机器人坐标系以获得机器人坐标系下三维点云；基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；基于目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。获得目标物体的抓取位姿。获得目标物体的抓取位姿。

【技术实现步骤摘要】
目标物体抓取位姿获取方法及机器人抓取系统


[0001]本专利技术属于基于二维图像和三维点云的目标位姿识别
，本专利技术涉及一种目标物体抓取位姿获取方法、装置、电子设备、可读存储介质及机器人抓取系统。

技术介绍

[0002]深度学习在视觉方向发展十分迅速，相关的2D深度学习方法包括目标检测、语义分割、实例分割等方法。
[0003]2D深度学习模型可以学习到数据中的高级特征，具有更强的适应性，一个2D深度学习模型可以检测识别多种目标。但是直接用2D深度学习模型检测识别出来的结果很难直接用于对目标物体的抓取，可能出现抓错的情况，而且2D深度学习模型的检测识别结果的抓取点准确率低，因此，利用点云对2D检测识别结果进行一系列的处理就十分重要。
[0004]例如中国专利文献CN114140418A公开了一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，其公开了以下
技术实现思路
：步骤1、将深度图像转换为点云数据并投影得到三通道图像X
‑
Y
‑
Z图像；步骤2、使用ResNet
‑
50对RGB图像和X
‑
Y
‑
Z图像的信息进行编码，得到目标分割结果和可行抓取语义分割结果；步骤3、对深度图像进行补全，得到密集点云；步骤4、利用可行抓取点和密集点云构成抓取坐标系；步骤5、对可行抓取点的抓取深度和抓取宽度进行采样，生成若干抓取候选，每个抓取候选对应一个抓取闭合区域；步骤6、将抓取闭合区域内的点输入PointNet中，过滤抓取候选，得到最终的抓取姿势集合；步骤7、将抓取候选投影到目标上，生成最终的抓取姿势。
[0005]例如中国专利文献CN112070818A公开了基于机器视觉的机器人无序抓取方法，其公开了以下
技术实现思路
：通过搭建kinect相机及机器人的抓取系统，利用kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；对采集到的三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；根据手眼系统的标定结果向机器人发出控制指令实现目标物体的抓取。
[0006]再例如中国专利文献CN108171748A公开了一种面向机器人智能抓取应用的视觉识别与定位方法，其公开了以下
技术实现思路
：图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB
‑
D场景图像，RGB
‑
D场景图像由彩色(RGB)图像和深度(Depth)图像组成；多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含的目标对象类别及其相应位置区域；点云分割步骤：借助视觉传感器内部参数，将深度图像转换成场景三维点云，分割出点云中检测出的各对象对应位置区域；利用聚类算法进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；位姿求解步骤：采用PCA主成分分析法，提取已分割出的点集特征向量，得出目标物体在视觉传感器坐标系下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数。
[0007]现有技术中，检测识别结果后处理主要是针对点云高度、2D得分、目标点云数量进
行过滤，对点云信息的利用率不够，仍然无法实现高准确率的检测识别，无法做到完全准确抓取，而且，现有的后处理方法主要针对不同的具体场景分别做处理，无法适配多种场景。现有的后处理方法也难以解决堆叠目标形变导致的错层抓取，往往需要人工干预，且 无法做到倾斜目标垂直表面抓取，无法支持多种排序需求。

技术实现思路

[0008]本专利技术提供了目标物体抓取位姿获取方法、装置、电子设备、可读存储介质及机器人抓取系统。
[0009]根据本专利技术的一个方面，提供一种目标物体抓取位姿获取方法，包括：对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；基于相机内参将所述三维检测区域转换为二维检测区域；基于所述二维检测区域及获取自所述场景的彩色图像进行目标检测及分析以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；将所述三维检测区域的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云；基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；以及基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。
[0010]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，还包括：基于所述三维检测区域对所述点云坐标系下三维点云进行过滤以滤除所述三维检测区域之外的点云；其中，对所述点云坐标系下三维点云进行过滤时保持所述三维点云的轮廓特征以保持点云坐标系下三维点云与所述彩色图像的空间对应关系。
[0011]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息，包括：基于所述三维检测区域的点云坐标系下三维点云与所述彩色图像的空间对应关系将所述目标物体的图像坐标系下特征信息转换至点云坐标系，获得所述目标物体的点云坐标系下特征信息；以及将所述目标物体的点云坐标系下特征信息转换至机器人坐标系下特征信息。
[0012]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，所述空间几何特征包括最小外接矩形框和/或空间角度。
[0013]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，所述目标物体的图像坐标系下特征信息还包括目标物体得分信息、目标物体掩膜信息及目标物体类别信息。
[0014]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：基于目标物体的所述机器人坐标系下特征信息中的空间几何特征判断所述目标物体的抓取点是否超出所述机器人坐标系下三维点云；如果超出，则将超出所述机器人坐标系下三维点云的抓取点舍弃并更新所述目标物体的抓取点；以及基于更新后的抓取点获得所述目标物体的抓取位姿。
[0015]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以
获得目标物体的抓取位姿，包括：对每个目标物体的机器人坐标系下特征信息中的目标物体类别信息进行类别判断以判断所述目标物体是否能够被抓取，以获得能够被抓取的目标物体；以及基于能够被抓取的目标物体的机器人坐标系下特征信息及所述机器人坐标系下三维点云获得所述目标物体的抓取点以获得所述目标物体的抓取位姿。
[0016]根据本专利技术的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标物体抓取位姿获取方法，其特征在于，包括：对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；基于相机内参将所述三维检测区域转换为二维检测区域；基于所述二维检测区域及获取自所述场景的彩色图像进行目标检测及分析以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；将所述三维检测区域的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云；基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；以及基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。2. 根据权利要求1所述的目标物体抓取位姿获取方法，其特征在于，基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息，包括：基于所述三维检测区域的点云坐标系下三维点云与所述彩色图像的空间对应关系将所述目标物体的图像坐标系下特征信息转换至点云坐标系，获得所述目标物体的点云坐标系下特征信息；以及将所述目标物体的点云坐标系下特征信息转换至机器人坐标系下特征信息。3.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：基于每个目标物体的机器人坐标系下特征信息中的高度信息对所有的目标物体进行排序，获得最上层目标物体；将最上层目标物体的高度与其他目标物体的高度进行比较，获得各个其他目标物体的高度与最上层目标物体的高度之间的第一差值；将所述第一差值与目标物体在高度方向上的厚度进行比较，判断各个第一差值是否大于或大于等于所述厚度的1/2，如果是，则将相应的目标物体舍弃，以获得上层目标物体；以及基于每个上层目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得上层目标物体的抓取点以获得上层目标物体的抓取位姿。4.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：获取每两个目标物体的最小外接矩形框之间的交并比；判断两个目标物体的最小外接矩形框的交并比是否大于或大于等于交并比阈值；如果是，则判定两个所述目标物体存在重叠关系；对于存在重叠关系的两个所述目标物体，计算其中的第一目标物体的掩膜与第二目标物体的最小外接矩形框的相交区域与第一目标物体的掩膜的第一面积比值，计算第二目标物体的掩膜与第一目标物体的最小外接矩形框的相交区域与第二目标物体的掩膜的第二面积比值；
判断第一面积比值与...

【专利技术属性】
技术研发人员：王红雁，王梓儒，栾奥栋，李宏坤，樊钰，
申请(专利权)人：北京迁移科技有限公司，
类型：发明
国别省市：