一种抓取机器人的物体识别与位姿估计方法技术

本发明专利技术公开一种抓取机器人的物体识别与位姿估计方法，包括如下步骤：采集待识别区域的2D彩色图和3D深度图，根据2D彩色图和3D深度图得到点云图；构建YOLOv7

【技术实现步骤摘要】
一种抓取机器人的物体识别与位姿估计方法


[0001]本专利技术属于目标检测位姿估计领域，特别涉及一种抓取机器人的物体识别与位姿估计方法。

技术介绍

[0002]近年来抓取机器人技术得到了快速的发展，在实际应用中，结构化场景中的实际抓取物体往往有多种位姿，如果多目标物体零散摆放，其中存在着遮挡、堆叠等情况会导致抓取机器人无法进行抓取任务。因此，研究人员开始将视觉技术与抓取机器人技术相结合。抓取机器人可以通过视觉传感器获得环境信息，再使用相应的计算机视觉算法，抓取机器人便可以对目标物体进行定位，从而实现抓取机器人进行自主分拣、搬运等操作。位姿估计数据的准确度会影响抓取机器人的抓物操作，机器视觉可以实现不与待抓取物体发生接触的情况下，完成对待抓取物体的图像采集与处理并判断出目标物体类别。在视觉检测与定位中，二维视觉检测技术已经发展的比较成熟了，二维视觉检测技术是通过相机拍摄物体图像信息，根据图像特征筛选出匹配程度最高的物体位置。
[0003]然而在实际机器人抓取系统中，二维视觉检测不能获得目标物体的深度信息，无法给抓取机器人抓取提供准确的位姿信息，在面对多物体零散摆放、遮挡摆放、堆叠摆放等情况时，由于对场景中存在多目标物体之间的空间关系理解不足，会导致抓取机器人不能发挥稳定的分拣效果，甚至抓取过程中损坏了目标物体。

技术实现思路

[0004]本专利技术的目的，在于提供一种抓取机器人的物体识别与位姿估计方法，解决二维视觉检测不能获得目标物体的深度信息，无法给抓取机器人抓取提供准确的位姿信息的技术问题。
[0005]为了达成上述目的，本专利技术的解决方案是：
[0006]一种抓取机器人的物体识别与位姿估计方法，包括如下步骤：
[0007]步骤1，采集待识别区域的2D彩色图和3D深度图，根据2D彩色图和3D深度图得到点云图；所述点云图由场景点云组成，所述场景点云包括背景点云和刚性物体点云，所述背景点云包括工作台平面和除刚性物体点云外的所有点云，所述刚性物体点云位于工作台平面上；
[0008]步骤2，构建YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型并进行训练，通过训练完毕的YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型对2D彩色图进行目标检测识别，得到目标物体定位框；
[0009]步骤3，对点云图进行处理并结合步骤2得到的目标物体定位框，得到待识别区域中各个目标物体；
[0010]步骤4，通过改进后的主成分分析PCA算法对各个目标物体进行计算，得到各个目标物体的位姿信息；
[0011]步骤5，构建抓取优先级函数，根据各个目标物体的位姿信息进行抓取优先级计算，得到优先抓取结果。
[0012]上述步骤1中，2D彩色图提供点云图的(X',Y')坐标，3D深度图提供点云图的Z'坐标，各个物体的(X',Y',Z')坐标构成点云图。
[0013]上述步骤2中，YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型是将CBAM卷积注意力模块加入YOLOv7
‑
tiny的主干网络中构建得到，具体是在YOLOv7
‑
tiny的主干网络部分输出的三个有效特征层上增加了CBAM卷积注意力模块，CBAM卷积注意力模块将注意力实现到独立的通道维度和空间维度上，通过CAM通道注意力获得加权结果之后通过SAM空间注意力进行二次加权，再对注意力图乘积输入的特征图，从而实现了自适应特征细化处理。
[0014]上述步骤2中，通过图像数据增强的方法对YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型进行训练，使用imgaug、albumentations等数据增强库进行数据增广操作，采用高斯噪声、旋转变换、高斯滤波、透视变换的数据增强方式扩充数据集，使用LabelImg、roLabelImg等图像标注工具对获得的数据集进行手动标注；
[0015]目标检测对象包括四个类：球体网球、长方体快递盒、圆柱体瓶子和不规则的鼠标，需要进一步进行说明的是，四个类共2400张样本图片。
[0016]在目标检测完成后，需要对目标位姿进行估计以供机械臂抓取，目标物体的位姿估计是利用深度相机所拍摄出的点云图进行计算的。由于深度相机会受到自身测量精度及各种环境因素的影响，原始点云数据具有信息量巨大、包含很多噪声信息、复杂性高的特点，存在的冗余数据会降低点云处理的精度与算法的运行效率，导致后续的点云分割与位姿估计受到影响，因此需要先对原始点云进行滤波处理，在处理冗余点云数据时还要保证目标点云数据的完整性，需要将多种点云滤波算法结合使用才能达到理想的效果。
[0017]上述步骤3中，通过直通滤波算法缩小场景点云的范围，得到缩小范围后的场景点云；通过体素栅格降采样滤波算法对缩小范围后的场景点云进行降采样处理并抑制噪声点；通过随机采样一致算法提取工作台平面；通过平面分割的方法将刚性物体点云与工作台平面进行分割；通过聚类算法将每一个物体单独分割出来，结合目标物体定位框得到待识别区域中各个目标物体。
[0018]上述直通滤波算法的具体内容是：直通滤波算法通过坐标范围进行数据裁剪，对点云数据在单一维度上进行滤波，直通滤波算法是基于距离的，可以快速滤除背景点云。在X、Y、Z三个坐标轴上定义阈值范围，对点云图生成的阈值范围进行点云去除，限定区域范围的公式如下所示：
[0019]X
min
≤x≤X
max
[0020]Y
min
≤y≤Y
max
[0021]Z
min
≤z≤Z
max
[0022]在三个坐标轴上找到阈值外与阈值内的点云数据，可以将X、Y、Z方向上的不必要点云数据进行删减，更加突出感兴趣区域，大大提高了点云处理速度。通过距离阈值选择去除地面点云，本专利技术仅去除X与Y方向上的不必要点云数据得到工作台和工作台上的待抓取物体点云，将大量冗余点云裁剪。
[0023]深度相机采集的点云数据往往信息巨大，大量的信息数据会导致对点云处理的时间较慢，所以需要在不破坏点云数据本身几何结构的前提下进行降采样处理。体素栅格降
采样滤波算法具有效率高、易实现的优点，上述体素栅格降采样滤波算法的具体内容是：在X、Y、Z方向上建立包围盒坐标系，获取包围盒的最大长宽高(x
max
,y
max
,z
max
)与最小长宽高(x
min
,y
min
,z
min
)，包围盒的X、Y、Z边长的公式如下所示：
[0024][0025]其中，L
x
、L
y
、L
z
分别表示包围盒X、Y、Z方向上的边长；
[0026]创建体素栅格子空间，将该包围盒分割成若本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抓取机器人的物体识别与位姿估计方法，其特征在于，包括如下步骤：步骤1，采集待识别区域的2D彩色图和3D深度图，根据2D彩色图和3D深度图得到点云图，所述点云图由场景点云组成，所述场景点云包括背景点云和刚性物体点云，所述背景点云包括工作台平面和除刚性物体点云外的所有点云，所述刚性物体点云位于工作台平面上；步骤2，构建YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型并进行训练，通过训练完毕的YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型对2D彩色图进行目标检测识别，得到目标物体定位框；步骤3，对点云图进行处理并结合步骤2得到的目标物体定位框，得到待识别区域中各个目标物体；步骤4，通过改进后的主成分分析PCA算法对各个目标物体进行计算，得到各个目标物体的位姿信息；步骤5，构建抓取优先级函数，根据各个目标物体的位姿信息进行抓取优先级计算，得到优先抓取结果。2.如权利要求1所述的物体识别与位姿估计方法，其特征在于：所述步骤1中，2D彩色图提供点云图的(X',Y')坐标，3D深度图提供点云图的Z'坐标，各个物体的(X',Y',Z')坐标构成点云图。3.如权利要求1所述的物体识别与位姿估计方法，其特征在于：所述步骤2中，YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型是将CBAM卷积注意力模块加入YOLOv7
‑
tiny的主干网络中构建得到，具体是在YOLOv7
‑
tiny的主干网络输出的三个有效特征层上增加CBAM卷积注意力模块。4.如权利要求1所述的物体识别与位姿估计方法，其特征在于：所述步骤2中，通过图像数据增强的方法对YOLOv7
‑
tiny
‑
CBAM深度学习神经网络模型进行训练，使用数据增强库进行数据增广操作，采用高斯噪声、旋转变换、高斯滤波、透视变换的数据增强方式扩充数据集，使用图像标注工具对获得的数据集进行手动标注；目标检测对象包括四个类：球体网球、长方体快递盒、圆柱体瓶子和不规则的鼠标。5.如权利要求1所述的物体识别与位姿估计方法，其特征在于：所述步骤3中，通过直通滤波算法缩小场景点云的范围，得到缩小范围后的场景点云；通过体素栅格降采样滤波算法对缩小范围后的场景点云进行降采样处理并抑制噪声点；通过随机采样一致算法提取工作台平面；通过平面分割的方法将刚性物体点云与工作台平面进行分割；通过聚类算法将每一个物体单独分割出来，结合目标物体定位框得到待识别区域中各个目标物体。6.如权利要求5所述的物体识别与位姿估计方法，其特征在于：所述直通滤波算法的具体内容是：在X轴和Y轴上定义阈值范围，对场景点云生成的阈值范围进行点云去除，限定区域范围的公式如下所示：x
min
≤x≤x
max
Y
min
≤y≤Y
max
在X轴和Y轴上找到阈值外和阈值内的点云数据，将X、Y方向上阈值外的点云数据进行删减，缩小场景点云的范围。7.如权利要求5所述的物体识别与位姿估计方法，其特征在于：所述体素栅格降采样滤
波算法的具体内容是：在X、Y、Z方向上建立包围盒坐标系，获取包围盒的最大...

【专利技术属性】
技术研发人员：李材祥，刘奇，巩大康，彭子文，张自嘉，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：