基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品技术

基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品，属于目标感知技术领域，解决不能为机械臂抓取控制策略提供物体的尺寸信息问题。本发明专利技术方法包括：使用基于YOLOv5的目标检测算法的主干检测网络，设计全新的神经网络检测回归模块，使关键点模型神经网络的收敛对象为目标物体的最小外接多边形，即为目标物体对应图像中的若干个关键点；加入WingLoss回归损失函数来进行图像关键点回归，使得网络可以收敛得到若干个关键点的图像坐标；通过关键点模型神经网络中对深度相机的RGB图像进行检测，得到目标物体在RGB图像中的若干个关键点位置；得到物体的若干个点的三维坐标位置后，得到物体尺寸信息。本发明专利技术适用于机械臂目标抓取的视觉感知系统。机械臂目标抓取的视觉感知系统。机械臂目标抓取的视觉感知系统。

【技术实现步骤摘要】
基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品


[0001]本申请涉及目标感知
，尤其涉及机械臂目标检测感知定位。

技术介绍

[0002]机械臂是一种广泛应用的自动控制设备，其以其高灵活性和可靠性在工业场景中被大量利用。随着计算机技术的发展，机械臂的控制规划技术也逐渐成熟。机械臂视觉定位系统可以使得其对外界环境的变化进行行为上的改变与反应。机械臂视觉定位系统涉及到目标识别以及三维定位等模块。目标识别即为使用普通光学相机计算目标物体在图像坐标系中的位置。三维定位通过物体的像素坐标点以及深度传感器进行图像配准从而计算得到物体的三维位置。而机械臂抓取目标物体时需要其视觉定位系统识别目标物体的尺寸，位置等决定机械臂的规划轨迹与可行的抓取位置，因此其需要一种可以快速高效识别物体位置与三维尺寸的算法。
[0003]目标检测是图像分割的一种，通过目标的二维几何特征和统计特征来进行分割。其任务是找到图像中系统感兴趣的物体，同时包含目标的类别，位置，尺寸等方面。早期的的目标检测多是基于阈值分割等传统图像处理进行分割识别。近年来，随着深度学习技术的不断成熟与发展，深度学习技术在包括目标检测等计算机视觉领域中逐渐成为一项非常重要的技术。深度学习目标检测技术通过对数据的大量特征提取与学习后可以在其他的数据中获得很好的泛化性能从而完成在实际场景中对特定目标进行图像检测定位。
[0004]目前深度学习目标检测技术共分为两种，分别为一步目标检测算法(one
‑
shot object detectors)与二步目标检测算法(two
‑
shot object detectors)。二者的区别在于训练的阶段数：二阶段的目标检测算法需要先针对目标物体的位置信息进行特征提取与训练，再根据定位训练结果进行分类训练，而一阶段目标检测算法则是直接通过同一个主干提取网络和同一个检测头进行分类与定位。
[0005]一阶段目标检测算法因为相比二阶段目标检测算法拥有更快的检测速度而得到广泛的应用，其中最具有代表性的目标检测算法即为YOLOv5。但是YOLOv5目标检测算法只能检测物体的位置，其只能获得物体的最小包围正矩形，无法对物体的三维尺寸进行估计，不能为实际的机械臂抓取控制策略提供物体的尺寸信息。

技术实现思路

[0006]本专利技术目的是为了解决现有不能为实际的机械臂抓取控制策略提供物体的尺寸信息的问题，提供了基于深度学习的机械臂目标检测感知定位方法、设备、存储介质和产品。
[0007]本专利技术是通过以下技术方案实现的，本专利技术一方面，提供一种基于深度学习的机械臂目标检测感知定位方法，所述方法包括：
[0008]步骤1、建立关键点模型神经网络，具体包括：
[0009]步骤1.1、使用基于YOLOv5的目标检测算法的主干检测网络，设计全新的神经网络检测回归模块，使所述关键点模型神经网络的收敛对象为目标物体的最小外接多边形，即为目标物体对应图像中的若干个关键点，所述若干个为四个以上；
[0010]步骤1.2、加入Wing Loss回归损失函数来进行图像关键点回归，使得网络可以收敛得到所述若干个关键点的图像坐标；
[0011]步骤2、通过所述关键点模型神经网络中对深度相机的RGB图像进行检测，得到目标物体在RGB图像中的若干个关键点位置；
[0012]将RGB图像与深度相机的深度模块输出的深度图像进行图像配准，经过图像配准后可以得到其在深度图像中的位置，从而得到目标物体相对于相机的三维坐标位置；
[0013]得到物体的若干个点的三维坐标位置后，得到物体的尺寸信息；
[0014]步骤3、得到物体相对于相机的世界坐标位置后，经过坐标转换后即可得到物体相对于机械臂本体的坐标。
[0015]进一步地，所述全新的神经网络检测回归模块的回归公式为：
[0016][0017][0018]其中，b
x
,b
y
表示神经网络后处理检测头得到的检测框的中心点像素位置；tx,ty,为预测目标中点位置坐标；P
w
,P
h
,P
x
,P
y
为每个像素点的先验锚框的宽，高与中心点坐标；c
x
,c
y
为每个像素点在特征图中的坐标。
[0019]进一步地，所述Wing Loss回归损失函数为：
[0020][0021]其中，x代表标签与预测点之间的距离误差；w为损失函数非线性范围限制参数；∈为约束非线性区域的曲率；C是常数，用于平滑连接损失函数的线性区域与非线性区域。
[0022]进一步地，在步骤1之后，还包括：
[0023]将所述关键点模型神经网络训练得到的权重文件导出为ONNX和OpenVino格式的权重文件，使用OpenVino加速包进行所述关键点模型神经网络的部署。
[0024]进一步地，步骤2，具体包括：
[0025]使用深度相机的RGB图像作为神经网络的输入，将RGB图像与深度相机输出的深度图像进行图像配准即可得到目标点的三维坐标位置：
[0026]步骤2.1、使用深度相机进行定位，通过目标检测算法找到物体的四个关键点和中心点，然后使用图像配准进行测距，配准过程的公式为：
[0027][0028]其中，LR表示左相机内参矩阵，RR表示右相机内参矩阵，M表示左相机到右相机的外参变换矩阵，W为RGB图像坐标系到深度图像坐标系转化矩阵；
[0029]步骤2.2、算得深度图像中的若干个关键点位置即为：
[0030][0031][0032]u
L
，v
L
为关键点在左边相机中的位置，u
R
，v
R
为关键点在右边相机中的位置，z
L
该目标距离相机中心的距离；
[0033]步骤2.3、通过配准后即可得到目标点在深度图像中的坐标，由深度图像即可得到目标点对应到世界坐标系下的三维坐标，即可得到物体的尺寸与位置，所述目标点为根据四个关键点计算的目标位置的中心点。
[0034]进一步地，步骤3，还包括：
[0035]步骤3.2、当针对多个目标的情况，利用轨迹匹配算法进行处理时，通过对当前帧目标的信息与目标的历史信息的对比来判断目标的轨迹与优先级。
[0036]进一步地，步骤3.2，具体包括：
[0037]步骤3.2.1、根据每一个目标与轨迹，利用轨迹匹配算法进行匹配，通过对当前帧目标的的三维位置、图像像素位置、类别以及速度与前一帧的目标进行匹配；
[0038]步骤3.2.2、将相同类别、速度及位置最相近的目标匹配到一起成为一个轨迹并进行轨迹更新；
[0039]步骤3.2.3、根据目标距离机械臂的距离，偏航角角度大小以及物体的尺寸信息来确定多个目标的优先级。
[0040]第二方面，本专利技术提供一种计算机设备，包括存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，所述方法包括：步骤1、建立关键点模型神经网络，具体包括：步骤1.1、使用基于YOLOv5的目标检测算法的主干检测网络，设计全新的神经网络检测回归模块，使所述关键点模型神经网络的收敛对象为目标物体的最小外接多边形，即为目标物体对应图像中的若干个关键点，所述若干个为四个以上；步骤1.2、加入Wing Loss回归损失函数来进行图像关键点回归，使得网络可以收敛得到所述若干个关键点的图像坐标；步骤2、通过所述关键点模型神经网络中对深度相机的RGB图像进行检测，得到目标物体在RGB图像中的若干个关键点位置；将RGB图像与深度相机的深度模块输出的深度图像进行图像配准，经过图像配准后可以得到其在深度图像中的位置，从而得到目标物体相对于相机的三维坐标位置；得到物体的若干个点的三维坐标位置后，得到物体的尺寸信息；步骤3、得到物体相对于相机的世界坐标位置后，经过坐标转换后即可得到物体相对于机械臂本体的坐标。2.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，所述全新的神经网络检测回归模块的回归公式为：在于，所述全新的神经网络检测回归模块的回归公式为：其中，b
x
,b
y
表示神经网络后处理检测头得到的检测框的中心点像素位置；t
x
,t
y
,为预测目标中点位置坐标；P
w
,P
h
,P
x
,P
y
为每个像素点的先验锚框的宽，高与中心点坐标；c
x
,c
y
为每个像素点在特征图中的坐标。3.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，所述Wing Loss回归损失函数为：其中，x代表标签与预测点之间的距离误差；w为损失函数非线性范围限制参数；∈为约束非线性区域的曲率；C是常数，用于平滑连接损失函数的线性区域与非线性区域。4.根据权利要求1所述的一种基于深度学习的机械臂目标检测感知定位方法，其特征在于，在步骤1之后，还包括：将所述关键点模型神经网络训练得到的权重文件导出为ONNX和OpenVino格式的权重文件，使用OpenVino加速包进行所述关键点模型神经网络的部署。5.根据权利要求1所述的一种基于深度学习的...

【专利技术属性】
技术研发人员：赵振廷，朱益民，纪小宇，肖广洲，张瑞先，韩成哲，丁一航，
申请(专利权)人：哈尔滨工业大学人工智能研究院有限公司，
类型：发明
国别省市：