一种冰壶球把柄的智能识别抓取方法及装置制造方法及图纸

本发明专利技术公开了一种冰壶球把柄的智能识别抓取方法及装置，属于图像、点云处理技术领域，其中，该方法包括：建立目标把柄的二维检测数据集，以训练目标检测网络确定目标把柄的检测框；提取检测框对应位置的深度图，利用高斯滤波对深度图进行滤波和阈值化得到二值化深度图，去除其中的噪点，再转换为点云图，得到目标把柄的三维点云；对三维点云进行下采样，再进行三维圆柱拟合，得到拟合到的圆柱的半径、圆柱的中轴方向；根据拟合到的圆柱的半径与圆柱的中轴方向确定提取抓取方向、抓取中心位置和抓取装置手指张开大小，并发送给抓取装置以完成抓取。该方法能够实现机器人对目标把柄的准确抓取，且实时性高、稳定性好、抓取准确。抓取准确。抓取准确。

【技术实现步骤摘要】
一种冰壶球把柄的智能识别抓取方法及装置


[0001]本专利技术涉及图像、点云处理
，特别涉及一种基于深度和彩色图像信息融合的冰壶球把柄智能识别抓取的方法及装置。

技术介绍

[0002]冰壶球是冰壶运动的重要组成部分，冰壶运动员需要在抓取冰壶球后，对冰壶球进行投掷，以多变的投掷策略在最后的对战结果中取得优势。在智能冰壶机器人中，需要机械臂完成对冰壶球的把柄进行抓取和投掷。冰壶球的智能识别抓取目标，目标抓取往往是针对整个物体，但是随着应用场景的多样化，对于目标抓取提出了更高的要求，需要对目标的把柄进行抓取，实现准确的抓取位置提取。
[0003]现有目标把柄抓取的智能识别抓取方法比较少，并且要求算法可以对多种形状的把柄进行抓取，含有把柄的目标如冰壶的形状不规则，在短时间内完成对彩色图的处理实现对目标把柄的姿态进行识别，提取出把柄上的抓取位置更是难以实现。
[0004]另外，在机器人智能系统中抓取只是机器人完成任务的一环，对于智能冰壶机器人系统，机器人需要完成对冰壶的投掷，首先需要完成的是对冰壶球把柄的智能识别抓取，故如何对冰壶球把柄进行识别，提取出抓取位置对于目标把柄的抓取有着重要作用。
[0005]因此，亟待一种实时性高、稳定性好、抓取准确的冰壶球把柄的智能识别抓取方法。

技术实现思路

[0006]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0007]为此，本专利技术的第一个目的在于提出一种冰壶球把柄的智能识别抓取方法，该方法能够实现机器人对目标把柄的准确抓取，且实时性高、稳定性好、抓取准确。
[0008]本专利技术的第二个目的在于提出一种冰壶球把柄的智能识别抓取装置。
[0009]本专利技术的第三个目的在于提出一种计算机设备。
[0010]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。
[0011]为达到上述目的，本专利技术第一方面实施例提出了冰壶球把柄的智能识别抓取方法，包括以下步骤：步骤S1，建立目标把柄的二维检测数据集，以训练目标检测网络确定目标把柄的检测框；步骤S2，提取所述检测框对应位置的深度图，利用高斯滤波对所述深度图进行滤波和阈值化得到二值化深度图；步骤S3，去除所述二值化深度图中的噪点，再转换为点云图，得到目标把柄的三维点云；步骤S4，对所述三维点云进行下采样，再进行三维圆柱拟合，得到拟合到的圆柱的半径、圆柱的中轴方向；步骤S5，根据所述拟合到的圆柱的半径与圆柱的中轴方向确定提取抓取方向、抓取中心位置和抓取装置手指张开大小，并发送给抓取装置以完成抓取。
[0012]本专利技术实施例的冰壶球把柄的智能识别抓取方法，利用目标的彩色图和深度图信息，实现对目标把柄位置及方向进行获取，提取目标把柄的抓取位置，计算出机器人应该移
动的角度和位置，实现机器人对目标把柄的准确抓取，从而克服现有的目标把柄的智能识别抓取方法的不足。
[0013]另外，根据本专利技术上述实施例的冰壶球把柄的智能识别抓取方法还可以具有以下附加的技术特征：
[0014]进一步地，在本专利技术的一个实施例中，所述步骤S1具体包括：步骤S101，采集目标把柄的彩色图，用矩形框标注出目标把柄的位置信息，记录每幅图的位置信息以建立所述二维检测数据集；步骤S102，利用反向传播算法和所述二维检测数据集训练目标检测网络，更新神经网络的参数；步骤S103，利用训练好的神经网络选择当前图像中置信度最高的检测结果作为目标把柄的检测框。
[0015]进一步地，在本专利技术的一个实施例中，所述步骤S2具体包括：步骤S201，提取所述目标检测框内像素点对应的深度图像的深度值，组成所述深度图；步骤S202，对所述深度图进行孔填充，利用高斯算子对孔填充后的深度图进行滤波，以去除噪点；步骤S203，根据目标特性选择阈值将去除噪点的深度图像进行二值化，得到所述二值化深度图。
[0016]进一步地，在本专利技术的一个实施例中，所述二值化深度图为：
[0017][0018]img_proj＝(img_guass
‑
minVal)/(maxVal
‑
minVal)*255
[0019]其中，img_threshold[i][j]为二值化深度图，img_proj[i][j]为深度图映射后的图像，threshold为阈值函数，img_guass为高斯滤波后的深度图，minVal为深度最小值，maxVal为深度最大值。
[0020]进一步地，在本专利技术的一个实施例中，所述步骤S3具体包括：步骤S301，利用腐蚀和膨胀去除所述二值图像中的噪点；步骤S302，将去除噪声点后的二值图像中像素值为0的像素通过相机参数转换为目标把柄的三维点云。
[0021]进一步地，在本专利技术的一个实施例中，所述步骤S4具体包括：步骤S401，对所述三维点云进行下采样；步骤S402，利用RANSAC算法对下采样后的三维点云进行圆柱三维拟合，得到所述拟合到的圆柱的半径r与圆柱的中轴方向cr。
[0022]进一步地，在本专利技术的一个实施例中，所述步骤S5具体包括：步骤S501，保持所述抓取装置的末端与背景面的法向量垂直，旋转所述抓取装置的末端关节使得手指开合方向与所述圆柱的中轴方向垂直，以确定所述抓取方向；步骤S502，将圆柱体直径和预设宽裕量的和作为所述手指张开大小；步骤S503，以所述下采样后的三维点云的中心O(O
x
,O
y
,O
z
)为所述抓取中心位置，
[0023][0024][0025][0026]其中，P为步骤S401中下采样后的点云，p
ix
为点云集合中第i个点的x轴坐标，p
iy
为
点云集合中第i个点的y轴坐标，p
iz
为点云集合中第i个点的z轴坐标，n为点云集合中点的个数；
[0027]步骤S504，将所述抓取方向、所述抓取中心位置和所述手指张开大小传递给所述抓取装置，以完成抓取完成机械臂对目标把柄的抓取。
[0028]为达到上述目的，本专利技术第二方面实施例提出了冰壶球把柄的智能识别抓取装置，包括：确定检测框模块，用于建立目标把柄的二维检测数据集，以训练目标检测网络确定目标把柄的检测框；二值化模块，用于提取所述检测框对应位置的深度图，利用高斯滤波对所述深度图进行滤波和阈值化得到二值化深度图；三维点云模块，用于去除所述二值化深度图中的噪点，再转换为点云图，得到目标把柄的三维点云；三维圆柱拟合模块，用于对所述三维点云进行下采样，再进行三维圆柱拟合，得到拟合到的圆柱的半径、圆柱的中轴方向；抓取模块，用于根据所述拟合到的圆柱的半径与圆柱的中轴方向确定提取抓取方向、抓取中心位置和抓取装置手指张开大小，并发送给抓取装置以完成抓取。
[0029]本专利技术第三方面实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的冰壶球把柄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰壶球把柄的智能识别抓取方法，其特征在于，包括以下步骤：步骤S1，获取视频流建立目标把柄的二维检测数据集，以训练目标检测网络确定目标把柄的检测框；步骤S2，提取所述检测框对应位置的深度图，利用高斯滤波对所述深度图进行滤波和阈值化得到二值化深度图；步骤S3，去除所述二值化深度图中的噪点，再转换为点云图，得到目标把柄的三维点云；步骤S4，对所述三维点云进行下采样，再进行三维圆柱拟合，得到拟合到的圆柱的半径、圆柱的中轴方向；步骤S5，根据所述拟合到的圆柱的半径与圆柱的中轴方向确定提取抓取方向、抓取中心位置和抓取装置手指张开大小，并发送给抓取装置以完成抓取。2.根据权利要求1所述的冰壶球把柄的智能识别抓取方法，其特征在于，所述步骤S1具体包括：步骤S101，获取视频流，在所述视频流中采集目标把柄的彩色图，用矩形框标注出目标把柄的位置信息，记录每幅图的位置信息以建立所述二维检测数据集；步骤S102，利用反向传播算法和所述二维检测数据集训练目标检测网络，更新神经网络的参数；步骤S103，利用训练好的神经网络选择当前图像中置信度最高的检测结果作为目标把柄的检测框。3.根据权利要求1所述的冰壶球把柄的智能识别抓取方法，其特征在于，所述步骤S2具体包括：步骤S201，提取所述目标检测框内像素点对应的深度图像的深度值，组成所述深度图；步骤S202，对所述深度图进行孔填充，利用高斯算子对孔填充后的深度图进行滤波，以去除噪点；步骤S203，根据目标特性选择阈值将去除噪点的深度图像进行二值化，得到所述二值化深度图。4.根据权利要求3所述的冰壶球把柄的智能识别抓取方法，其特征在于，所述二值化深度图为：img_proj＝(img_guass
‑
minVal)/(maxVal
‑
minVal)*255其中，img_threshold[i][j]为二值化深度图，img_proj[i][j]为深度图映射后的图像，threshold为阈值函数，img_guass为高斯滤波后的深度图，minVal为深度最小值，maxVal为深度最大值。5.根据权利要求1所述的冰壶球把柄的智能识别抓取方法，其特征在于，所述步骤S3具体包括：步骤S301，利用腐蚀和膨胀去除所述二值图像中的噪点；步骤S302，将去除噪声点后的二值图像中像素值为0的像素通过相机参数转换为目标
把柄的三维点云。6.根据权利要求1所述的冰壶球把柄的智能识别抓取方法，其特征...

【专利技术属性】
技术研发人员：金晶，赵柳，姜宇，李丹丹，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：