一种基于深度学习目标检测与图像分割的机械手抓取方法技术

本发明专利技术公开了一种基于深度学习目标检测与图像分割的机械手抓取方法，属于智能机器人领域。该方法包括YOLOv4模型训练检测、GrabCut算法图像分割和机械臂抓取位姿计算三部分；通过机械手上深度相机拍摄图像，利用YOLOv4训练模型框选识别出抓取目标。GrabCut算法图像分割部分将YOLOv4检测框中的抓取目标从背景中分割出来，生成最小外接矩，确定机械手抓取点坐标及抓取角度。机械臂抓取位姿计算部分将图像中抓取点的二维平面像素坐标转换为机器人本体坐标系下的三维坐标，通过此坐标和抓取角度实现对物体的抓取。本申请方法可以使得机械臂智能自主的进行抓取目标的识别与抓取，提高智能性与抓取准确率。智能性与抓取准确率。智能性与抓取准确率。

【技术实现步骤摘要】
一种基于深度学习目标检测与图像分割的机械手抓取方法


[0001]本专利技术涉及一种基于深度学习目标检测与图像分割的机械手抓取方法，属于智能机器人领域。

技术介绍

[0002]机械手是机械化、自动化生产过程中发展起来的一种重要装置，被广泛应用于自动化生产线中，通过编程来完成各种预期的作业任务。为了完成各种作业任务，抓取放置功能是机械手必备功能之一，而随着智能机器人的应用发展，为机械手增加感知环境的能力，使其能够进行智能化自主抓取成为该领域内的重要研究内容。
[0003]早期的机械手自主抓取方法，主要是将抓取对象放在一个简单的场景下，根据其物体几何形状，通过力学分析来制定抓取的方案。这样的抓取方法在确定抓取时需要满足一些静力学和运动学的公式，计算比较复杂。随着研究的深入，抓取的方法也逐渐通过模仿人类的抓取策略进行抓取检测，这样可以避免复杂的物理和数学模型的计算。通过模仿人类的抓取策略通常有基于人工示教的方式，即通过人工操控机械臂到达示教点，记录下各关节活动的角度，根据此数据编写程序使机械臂自动执行。但这种方式只能应对单一情况，可拓展性差。随着视觉传感器性能提高，相关的算法的研究也不断深入，基于视觉的机械手抓取技术已成为多应用场景(比如抓取未知物体的场景)的首选方案。
[0004]现有对于机械手抓取未知物体的检测方法可分为基于感知的抓取检测方法和基于深度学习的抓取检测方法。基于感知的方法通过视觉识别被抓物体的结构或特征，生成和排序候选抓取位姿，而基于深度学习的抓取检测方法是将数据输入到卷积神经网络中，使用分类器确定图像哪部分的抓取成功率最高，输出最佳抓取检测框。
[0005]传统基于感知的方法可以识别被抓物体的特征结构，但难以快速清晰的对抓取目标的种类进行筛选甄别，智能自主的识别抓取物的能力欠缺。现有基于深度学习的抓取检测方法可以通过训练模型的方式有效识别抓取目标的种类，但即时抓取时对时间要求较高，需要选用实时性较强的深度学习检测方法，并且复杂环境对检测的结果也有一定影响。

技术实现思路

[0006]为了解决上述问题，本专利技术提供了一种基于深度学习目标检测与图像分割的机械手抓取方法，包括：
[0007]步骤S1：利用机械手自带拍摄设备采集包含有待抓取目标的图像，并利用基于深度学习YOLOv4的目标检测网络输出待抓取目标的检测框；所述机械手自带拍摄设备包括深度相机；
[0008]步骤S2：以YOLOv4的目标检测网络输出待抓取目标的检测框作为GrabCut算法的先验框，将待抓取目标从背景中分割出来；
[0009]步骤S3：对分割出来的待抓取目标进行边缘提取，以绘制其边缘轮廓的最小外接矩形；
[0010]步骤S4：以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，结合机械手自带拍摄设备与机械手末端的位置关系计算机械手抓取点坐标，进而实现对应的抓取任务。
[0011]可选的，所述步骤S1中的基于深度学习YOLOv4的目标检测网络包括四部分，输入端、主干部分、颈部、和头部；其中输入端利用马赛克数据增强和自对抗训练策略SAT以丰富检测数据集；主干部分采用CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部采用空间金字塔池化模块SPP融合不同尺度大小的特征图、增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；头部的损失函数在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比。
[0012]可选的，所述方法还包括对所述基于深度学习YOLOv4的目标检测网络进行训练，包括：
[0013]Step1构建检测数据集：对各类抓取样本进行照片拍摄采集，以构建所述基于深度学习YOLOv4的目标检测网络的检测数据集；
[0014]Step2对所述检测数据集中的图像进行标注：使用图像标注软件LabelImg标注工具对所采集到的图像进行标注，用矩形框将需要检测的抓取样本种类框选出来，所述矩形框即为真实框B，并标记出每个种类的标签，保存并输出标注文件；
[0015]Step3扩充所述检测数据集：对Step1采集到的图像进行图像亮度调整、图像色调调整、增加噪声、随机缩放、旋转、仿射以扩充所述检测数据集，得到扩充后的检测数据集，并将其划分为训练集和测试集；
[0016]Step4利用所述训练集对所述基于深度学习YOLOv4的目标检测网络进行训练，所述基于深度学习YOLOv4的目标检测网络的损失函数L
CIOU
为：
[0017][0018]其中，Distance_2为预测框A和真实框B中心点的欧式距离，Distance_C为预测框A和真实框B最小外接矩形的对角线距离，IOU计算公式为：
[0019][0020]其中，∩表示两者的并集，∩表示两者的交集；
[0021]v计算公式为：
[0022][0023]其中，w
gt
、h
gt
分别为真实框B的宽和高，w
p
、h
p
分别为预测框A的宽和高，arctan为反正切函数。
[0024]可选的，所述步骤S2包括：
[0025]分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型GMM进行建模，将图像中的每个像素归属于目标或背景的GMM的某个高斯分量；通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，将一个像素的RGB颜色值带入求解像素分别属于目标和背景的概率；其主要算法步骤如下：
[0026]1)以YOLOv4检测框作为先验框，先验框外即为背景；
[0027]2)通过先验框外的背景数据，区分先验框中的前景和背景区域；
[0028]3)利用GMM对背景和前景建模，并将未定义的像素进行标记，表示可能为前景或者背景；
[0029]4)虚构出虚拟边，将图像中的每个像素与周边的像素进行连接，每个像素节点都与一个背景后前景节点相连接；基于虚拟边与周边像素颜色的相似性，确定每条边属于前景或背景的概率；
[0030]5)在节点完成连接后，若节点之间的边属于不同的终端，即一个节点是前景，一个节点是背景，则切断两个像素节点之间的联系，从而将图像中的前景部分分割出来。
[0031]可选的，所述步骤S3包括：
[0032]将步骤S2分割出的图像进行预处理以消除待抓取目标表面花纹信息的噪声影响；
[0033]对预处理后的图像进行二值化处理，利用Canny算子进行边缘提取，对提取的边缘轮廓绘制最小外接矩形。
[0034]可选的，所述步骤S4包括：
[0035]以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，获取所述抓取点位置在图像中的像素坐标点(u,n)；
[0036]将像素坐标点(u,n)转换至机械手自带拍摄设备深度相机坐标系{C}下，得到其三维坐标
C
P＝(x
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习目标检测与图像分割的机械手抓取方法，其特征在于，所述方法包括：步骤S1：利用机械手自带拍摄设备采集包含有待抓取目标的图像，并利用基于深度学习YOLOv4的目标检测网络输出待抓取目标的检测框；所述机械手自带拍摄设备包括深度相机；步骤S2：以YOLOv4的目标检测网络输出待抓取目标的检测框作为GrabCut算法的先验框，将待抓取目标从背景中分割出来；步骤S3：对分割出来的待抓取目标进行边缘提取，以绘制其边缘轮廓的最小外接矩形；步骤S4：以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置，结合机械手自带拍摄设备与机械手末端的位置关系计算机械手抓取点坐标，进而实现对应的抓取任务。2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的基于深度学习YOLOv4的目标检测网络包括四部分，输入端、主干部分、颈部、和头部；其中输入端利用马赛克数据增强和自对抗训练策略SAT以丰富检测数据集；主干部分采用CSPDarknet53网络框架作为网络提取骨干用于特征提取；颈部采用空间金字塔池化模块SPP融合不同尺度大小的特征图、增加主干特征的接收范围，利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力；头部的损失函数在计算边界框回归时，同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比。3.根据权利要求2所述的方法，其特征在于，所述方法还包括对所述基于深度学习YOLOv4的目标检测网络进行训练，包括：Step1构建检测数据集：对各类抓取样本进行照片拍摄采集，以构建所述基于深度学习YOLOv4的目标检测网络的检测数据集；Step2对所述检测数据集中的图像进行标注：使用图像标注软件LabelImg标注工具对所采集到的图像进行标注，用矩形框将需要检测的抓取样本种类框选出来，所述矩形框即为真实框B，并标记出每个种类的标签，保存并输出标注文件；Step3扩充所述检测数据集：对Step1采集到的图像进行图像亮度调整、图像色调调整、增加噪声、随机缩放、旋转、仿射以扩充所述检测数据集，得到扩充后的检测数据集，并将其划分为训练集和测试集；Step4利用所述训练集对所述基于深度学习YOLOv4的目标检测网络进行训练，所述基于深度学习YOLOv4的目标检测网络的损失函数L
CIOU
为：其中，Distance_2为预测框A和真实框B中心点的欧式距离，Distance_C为预测框A和真实框B最小外接矩形的对角线距离，IOU计算公式为：其中，∩表示两者的并集，∩表示两者的交集；v计算公式为：
其中，w
gt
、h
gt
分别为真实框B的宽和高，w
p
、h
p
分别为预测框A的宽和高，arctan为反正切函数。4.根据权利要求3所述的方法，其特征在于，所述步骤S2包括：分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型GMM进行建模，将图像中的每个像素归属于目标或背景的GMM的某个高斯分量；通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵，将一个像素的RGB颜色值带入求解像素分别属于目标和背景的概率；其主要算法步骤如下：1)以YOLOv4检测框作为先验框，先验框外即为背景；2)通过先验框外的背景数据，区分先验框中的前景和背景区域；3)利用GMM对背景和前景建模，并将未定义的像素进行标记，表示...

【专利技术属性】
技术研发人员：徐本连，赵康，李震，鲁明丽，从金亮，吴迪，周理想，
申请(专利权)人：苏州科技大学，
类型：发明
国别省市：