一种基于改进CenterNet的机械臂抓取检测方法技术

本发明专利技术公开了一种基于改进CenterNet的机械臂抓取检测方法，将待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量；基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。本发明专利技术首次引入候选抓取框预测中心点检测的思想到机械臂的到抓取检测中，采用目标检测中的CenterNet网络模型，该模型不需要设置大量的超参数，使得检测更加简单，提高了机械臂抓取检测的检测速率已经对应的神经网络训练的效率。

【技术实现步骤摘要】
一种基于改进CenterNet的机械臂抓取检测方法
本专利技术属于机器视觉
，具体涉及一种基于改进CenterNet的机械臂抓取检测方法。
技术介绍
近年来，随着计算机技术的发展，计算机视觉作为人工智能的一个重要研究领域，已经广泛应用于各行各业，其中基于视觉的机械臂抓取也逐渐成为当前的一个研究热点。在机械臂抓取任务中，主要有传统方法抓取和基于计算机视觉的抓取两种。传统一般是采用人工示教的方式，如手掰机械臂，使机械臂到某个固定位置进行抓取。由于抓取位姿凭靠的使记忆且机械臂自身没有感知能力，因而在执行任务时容易受到外界环境中许多不确定因素的影响。计算机视觉解决机械臂抓取问题的通常做法是，首先利用相机等采集设备对目标进行采样，然后结合模式识别、图像处理等方法分析和处理得到目标物体的空间位置和姿态等有效信息，最后利用所得信息使机械臂完成抓取动作。深度学习应用于机械臂抓取任务中的优势在于不需使用者预先选定提取何种特征，而是采用一种通用的学习过程使模型从大规模数据中学习进而学得目标具备的特征。在深度学习的目标检测算法中，基于Anchor-based的方法使得one-stage算法性能能够挑战two-stage。同样在抓取检测中Anchor-based方法能借助预先设置的先验信息提升检测效果。在抓取检测中采用Anchorbox的先验机制，可以降低了直接进行回归计算的难度。定向Anchorbox先验机制，合理引入了抓取检测中旋转角度参数的先验信息，提高了检测的正确率。但Anchor-based方法严重增加了超参数的数量以及网络的复杂度，从而降低了训练的效率和检测的速率。因此，如何提高机械臂抓取检测的检测速率已经对应的神经网络训练的效率，成为了本领域技术人员急需解决的问题。
技术实现思路
针对现有技术中存在的上述不足，本专利技术实际需要解决的问题是：如何提高机械臂抓取检测的检测速率已经对应的神经网络训练的效率。为解决上述技术问题，本专利技术采用了如下的技术方案：一种基于改进CenterNet的机械臂抓取检测方法，包括如下步骤：S1、获取待检测图像对应的RGB图像及深度图像；S2、对RGB图像及深度图像进行特征融合生成RGD图像；S3、提取所述RGD图像的特征并生成待预测特征图；S4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；S5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。优选地，步骤S3包括：S201、提取所述RGD图像的特征生成第一特征图；S202、将第一特征图降维得到权重图；S203、将权重图与第一特征图按对应的像素点相乘后再与第一特征图相加，得到待预测特征图。优选地，抓取框信息包括抓取框中心点坐标x'及y'、抓取框尺寸w'及h'、抓取框旋转角度θ'，步骤S5中：式中，及为抓取框预测中心点坐标，及为及对应的预测偏移量，及为抓取框预测尺寸，为抓取框预测旋转角度，为将限制在(0,1)范围内的激活函数。优选地，本方法基于训练后的抓取检测模型实现，所述抓取检测模型包括待预测特征图提取模型、第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，在对所述抓取检测模型进行训练时，首先对待预测特征图提取模型进行预训练，再对所述抓取检测模型进行端到端的训练，其中：第一卷积神经网络的损失函数为L1式中，e＝10-6，N为候选抓取框预测中心点个数，α及β均为超参数，为中心点热力图，Y为预处理后的标签。综上所述，本专利技术公开了一种基于改进CenterNet的机械臂抓取检测方法，包括如下步骤：S1、获取待检测图像对应的RGB图像及深度图像；S2、对RGB图像及深度图像进行特征融合生成RGD图像；S3、提取所述RGD图像的特征并生成待预测特征图；S4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；S5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。同现有的Anchor-box与Anchor-free相比，本专利技术首次引入候选抓取框预测中心点检测的思想到机械臂的到抓取检测中，采用目标检测中的CenterNet网络模型，该模型更关注目标的中心位置，不需要设置大量的超参数，使得检测更加简单，提高了机械臂抓取检测的检测速率已经对应的神经网络训练的效率。附图说明图1为本专利技术公开的一种基于改进CenterNet的机械臂抓取检测方法的流程图；图2为抓取框示意图；图3为实现一种基于改进CenterNet的机械臂抓取检测方法的一种具体方式的模型示意图；图4A至图4L为采用本专利技术的方法进行抓取检测时的抓取框与标签示意图。具体实施方式下面结合附图对本专利技术作进一步的详细说明。如图1所示，本专利技术公开了一种基于改进CenterNet的机械臂抓取检测方法，包括如下步骤：S1、获取待检测图像对应的RGB图像及深度图像；S2、对RGB图像及深度图像进行特征融合生成RGD图像；用深度图像的深度信息替换RGB图像中的B通道融合成RGD图像。S3、提取所述RGD图像的特征并生成待预测特征图；S4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；本专利技术在机械臂的抓取检测中引入了关键点检测的思想，与比以往的栅格化思想相比细粒度更高。S5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。与目标检测不同的是抓取检测具有方向性，研究人员提出由五维参本文档来自技高网...

【技术保护点】
1.一种基于改进CenterNet的机械臂抓取检测方法，其特征在于，包括如下步骤：/nS1、获取待检测图像对应的RGB图像及深度图像；/nS2、对RGB图像及深度图像进行特征融合生成RGD图像；/nS3、提取所述RGD图像的特征并生成待预测特征图；/nS4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；/nS5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。/n

【技术特征摘要】
1.一种基于改进CenterNet的机械臂抓取检测方法，其特征在于，包括如下步骤：
S1、获取待检测图像对应的RGB图像及深度图像；
S2、对RGB图像及深度图像进行特征融合生成RGD图像；
S3、提取所述RGD图像的特征并生成待预测特征图；
S4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；
S5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。


2.如权利要求1所述的基于改进CenterNet的机械臂抓取检测方法，其特征在于，步骤S3包括：
S201、提取所述RGD图像的特征生成第一特征图；
S202、将第一特征图降维得到权重图；
S203、将权重图与第一特征...

【专利技术属性】
技术研发人员：王勇，陈荟西，冯雨齐，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆;50