基于卷积神经网络融合的家庭服务机器人抓取检测方法技术

本发明专利技术公开了一种基于卷积神经网络融合的家庭服务机器人抓取检测方法，该方法主要包括：获取周围环境的原始彩色图像和原始深度图像；获取目标物体的包围框，并得到目标物体的彩色图像；将图像调整至设定的尺寸并均匀分割；对调整后的图像提取特征，得到特征图；对特征图进行处理，得到目标物体的抓取矩形框参数和抓取概率；获得目标物体的最佳抓取检测框，实现对目标物体的抓取检测；因此，利用本发明专利技术方案可以确保家庭服务机器人在多物体场景下对目标物体抓取的实时性和准确性。对目标物体抓取的实时性和准确性。对目标物体抓取的实时性和准确性。

【技术实现步骤摘要】
基于卷积神经网络融合的家庭服务机器人抓取检测方法


[0001]本专利技术涉及深度学习以及服务机器人
，具体涉及一种基于卷积神经网络融合的家庭服务机器人抓取检测方法。

技术介绍

[0002]进入21世纪，大数据、人工智能和多维传感器技术被广泛应用于机器人和人们对高质量服务需求的快速增长，使服务机器人有了跨越式的发展。伴随着中国开始进入老龄化阶段，社会对家庭服务机器人的需求不断增加。为了护理照料残疾人和老年人，家庭服务机器人需要能对日常环境下的物体，比如茶杯、饮料瓶等生活用品进行抓取。抓取方法一般有分析方法和经验方法两种，基于分析的方法通常需要接触模型和刚体建模，人工复杂度高；基于经验或数据驱动的方法在复杂场景下表现差。
[0003]随着卷积神经网络的发展，深度学习在机器人抓取检测领域应用越来越广泛，出现了一系列基于卷积神经网络的抓取检测方法。当前基于深度学习的抓取检测方法对单物体进行抓取检测已经取得较好的精度和实时性，但是对于多物体场景下的抓取检测，多数方法只提供物体的可抓取位置，不能为机器人提供指定物体的抓取姿态信息，而且检测精度和检测效率较低。
[0004]因此，如何在多物体场景下提供高效的抓取检测方案是本领域技术人员目前需要解决的问题。

技术实现思路

[0005]针对上述研究的问题，本专利技术提出了一种基于卷积神经网络融合的家庭服务机器人抓取检测方法，能够实现在多物体场景下高效的完成目标物体抓取位置和抓取概率值的预测。
[0006]本专利技术采用的技术方案如下：/>[0007]一种基于卷积神经网络融合的家庭服务机器人抓取检测方法，包括如下步骤：
[0008]S1:通过安装于家庭服务机器人上面的传感器获取周围环境的原始彩色图像和原始深度图像；
[0009]S2:基于所述原始彩色图像，通过基于深度学习的目标检测网络获取目标物体的包围框，并对所述包围框在所述原始彩色图像的对应区域进行位置分割得到目标物体的彩色图像，作为第一彩色图像区域；
[0010]S3:将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，作为第二彩色图像区域；
[0011]S4:通过抓取检测网络的特征提取结构对所述第二彩色图像区域提取特征，得到目标物体的特征图；
[0012]S5:通过抓取检测网络的调整结构对所述特征图进行调整，得到目标物体的抓取矩形框参数x,y,h,w,sinθ,cosθ和抓取概率值p；
[0013]S6:基于p,x,y,h,w,sinθ,cosθ得到目标物体的最佳抓取检测框，实现对目标物体的抓取检测；
[0014]其中p,x,y,h,w,sinθ,cosθ分别代表抓取矩形框的抓取概率值、中心点坐标、高度、宽度、朝向角的正弦值、朝向角的余弦值。
[0015]在一些优选的实施方式中，步骤S3中“将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，作为第二彩色图像区域”，其方法为：通过双线性插值法将第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，得到第二图像区域。
[0016]在一些优选的实施方式中，步骤S4中“特征提取结构”，其是由卷积分量以及四个残差分量构建，每个卷积分量是由一个二维(2D)卷积、ReLU激活函数和一个批处理归一化函数组成，每个残差分量是由卷积分量和残差单元组成。
[0017]在一些优选的实施方式中，步骤S5中“调整结构”，其是由三个2D卷积构建。
[0018]在一些优选的实施方式中，步骤S6的具体步骤为：
[0019]S6.1:选择最高抓取概率值所对应的x,y,h,w作为最佳抓取矩形的中心坐标和最佳抓取矩形的高、宽；
[0020]S6.2:最佳抓取矩形的朝向角为：
[0021][0022]S6.3:获取深度图像的深度信息对所述最佳抓取矩形参数完成平面到三维的转换，获得目标物体真实位置和姿态的信息。
[0023]在一些优选的实施方式中，所述抓取检测网络的损失函数为：
[0024][0025]其中，L
loss
为抓取检测网络在训练时获取的损失值，S表示图像横、纵轴分成的单元格个数，B表示每张图像选取的标签值个数，P表示每个单元格预测的参数个数，p
i
、表示每个单元格的抓取概率标签值与预测值，c
i,j
、表示每个单元格的抓取参数标签值与预测值。
[0026]本专利技术的有益效果：
[0027]本专利技术实现了在多物体场景下高效的对目标物体抓取位置和抓取概率值的预测。本专利技术通过由抓取检测网络的提取特征结构对目标物体进行特征提取，然后通过调整结构获得抓取矩阵框参数，进而得到最佳抓取检测框，实现对目标物体的抓取检测，能够在保证较好实时性的同时，提供较为准确的抓取检测结果，有效提升了抓取检测的质量。
附图说明
[0028]图1为本专利技术的基于卷积神经网络融合的家庭服务机器人抓取检测方法流程示意图；
[0029]图2为本专利技术的抓取检测网络结构示意图；
[0030]图3为本专利技术的用于训练抓取检测网络的抓取参数标签图；
具体实施方式
[0031]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0032]本专利技术的一种基于卷积神经网络融合的家庭服务机器人抓取检测方法，如图1所示，该方法包括以下步骤：
[0033]S1:通过安装于家庭服务机器人上面的传感器获取周围环境的原始彩色图像和原始深度图像；
[0034]S2:基于所述原始彩色图像，通过基于深度学习的目标检测网络获取目标物体的包围框，并对所述包围框在所述原始彩色图像的对应区域进行位置分割得到目标物体的彩色图像，作为第一彩色图像区域；
[0035]S3:将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，作为第二彩色图像区域；
[0036]S4:通过抓取检测网络的特征提取结构对所述第二彩色图像区域提取特征，得到目标物体的特征图；
[0037]S5:通过抓取检测网络的调整结构对所述特征图进行调整，得到目标物体的抓取矩形框参数x,y,h,w,sinθ,cosθ和抓取概率值p；
[0038]S6:基于p,x,y,h,w,sinθ,cosθ得到目标物体的最佳抓取检测框，实现对目标物体的抓取检测；
[0039]其中p,x,y,h,w,sinθ,cosθ分别代表抓取矩形框的抓取概率值、中心点坐标、高度、宽度、朝向角的正弦值、朝向角的余弦值。
[0040]为了更清晰地对本专利技术基于卷积神经网络融合的家庭服务机器人抓取检测方法进行说明，下面对本专利技术方法一种实施例中各步骤进行展开详述。
[0041]该实施例为一种较优的实现方式，预先构建一个抓取检测网络，基于构建的训练样本集并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络融合的家庭服务机器人抓取检测方法，其特征在于，包括以下步骤：S1:通过安装于家庭服务机器人上面的传感器获取周围环境的原始彩色图像和原始深度图像；S2:基于所述原始彩色图像，通过基于深度学习的目标检测网络获取目标物体的包围框，并对所述包围框在所述原始彩色图像的对应区域进行位置分割得到目标物体的彩色图像，作为第一彩色图像区域；S3:将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，作为第二彩色图像区域；S4:通过抓取检测网络的特征提取结构对所述第二彩色图像区域提取特征，得到目标物体的特征图；S5:通过抓取检测网络的调整结构对所述特征图进行调整，得到目标物体的抓取矩形框参数x,y,h,w,sinθ,cosθ和抓取概率值p；S6:基于p,x,y,h,w,sinθ,cosθ得到目标物体的最佳抓取检测框，实现对目标物体的抓取检测；其中p,x,y,h,w,sinθ,cosθ分别代表抓取矩形框的抓取概率值、中心点坐标、高度、宽度、朝向角的正弦值、朝向角的余弦值。2.根据权利要求1所述的基于卷积神经网络融合的家庭服务机器人抓取检测方法，其特征在于，所述步骤S3中“将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，作为第二彩色图像区域”，其方法为：通过双线性插值法将第一彩色图像区域调整至设定的尺寸并均匀分割成7
×
7个小单元，...

【专利技术属性】
技术研发人员：姜艳姝，李少帅，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：