基于二级物体检测网络的多指灵巧手分拣规划方法及系统技术方案

本发明专利技术实施例提供一种基于二级物体检测网络的多指灵巧手分拣规划方法及系统，属于机器人的控制技术领域。所述方法包括：采集并构建分拣数据集和微调数据集；采用所述分拣数据集和微调数据集训练预设的二级物体检测网络；获取待识别的目标物体的彩色图像和深度图像；将所述彩色图像输入所述二级物体检测网络中，以得到目标物体的边界框位置信息；根据所述边界框位置信息裁剪所述深度图像以得到表示单个物体的子深度图像；分别获取每个所述子深度图像的中心点深度值、像素点数量以及与其他边界框的重叠面积；按照中心点深度值、像素点数量以及重叠面积的优先级顺序对每个物体进行排序；采用多指灵巧手按照排序的结果依次抓取所述物体。所述物体。所述物体。

【技术实现步骤摘要】
基于二级物体检测网络的多指灵巧手分拣规划方法及系统


[0001]本专利技术涉及机器人的控制
，具体地涉及一种基于二级物体检测网络的多指灵巧手分拣规划方法及系统。

技术介绍

[0002]随着工业生产的自动化趋势，机器人自动分拣技术在农业、工业、医疗、服务等行业的需求越来越大，对机器人分拣规划能力也提出更高的要求。由于深度学习在图像处理领域的卓越表现，基于深度学习的机器人分拣规划已经被广泛应用于实际生产工作中，但这些规划往往基于传统机器视觉技术，其分拣对象为特定种类的货物或零件，难以应用于生活中形状各异的未知物体。另外，大部分分拣规划方法只适用于平行夹持器，不能直接应用于多指灵巧手的分拣任务。当多个物体混乱无序、互为遮挡时，采集到的单个物体图像信息会受到其他物体特征信息的干扰，需要额外考虑避障问题。

技术实现思路

[0003]本专利技术实施例的目的是提供一种基于二级物体检测网络的多指灵巧手分拣规划方法及系统，该方法及系统能够准确控制多指灵巧手完成抓取操作。
[0004]为了实现上述目的，本专利技术实施例提供一种基于二级物体检测网络的多指灵巧手分拣规划方法，包括：
[0005]采集并构建分拣数据集和微调数据集；
[0006]采用所述分拣数据集和微调数据集训练预设的二级物体检测网络；
[0007]获取待识别的目标物体的彩色图像和深度图像；
[0008]将所述彩色图像输入所述二级物体检测网络中，以得到目标物体的边界框位置信息；
[0009]根据所述边界框位置信息裁剪所述深度图像以得到表示单个物体的子深度图像；
[0010]分别获取每个所述子深度图像的中心点深度值、像素点数量以及与其他边界框的重叠面积；
[0011]按照中心点深度值、像素点数量以及重叠面积的优先级顺序对每个物体进行排序；
[0012]采用多指灵巧手按照排序的结果依次抓取所述物体。
[0013]可选地，采集并构建分拣数据集和微调数据集包括：
[0014]采用PASCAL VOC 2007和VOC 2012作为预训练数据集，修改标注中的对象类别为物体和背景两种；
[0015]在Gazebo仿真环境下构建所述微调数据集，选取Sileane数据集中的10种物体，以任意姿态放置在分拣箱中，记录物体堆的彩色图像，并依照VOC格式对图像进行标注。
[0016]可选地，所述二级物体检测网络包括：
[0017]第一级网络，包括骨干网络和区域生成网络，所述骨干网络用于初步处理输入的
图像以得到对应的第一特征图，所述区域生成网络用于在所述第一特征图中获取可能存在物体的候选区域，以得到对应的第二特征图；
[0018]第二级网络，包括位置敏感RoI池化层和RoI级别子网络，所述位置敏感RoI池化层用于根据所述第二特征图生成RoI特征图，RoI级别子网络用于根据所述RoI特征图得到边界框预测的类别置信度和位置偏移量。
[0019]可选地，所述骨干网络为包括101层卷积层的残差网络，且前100层的所述卷积层用于提取图像的特征信息，第101层的所述卷积层用于根据提取的特征信息生成通道数为1024的特征图，以作为所述第一特征图。
[0020]可选地，所述区域生成网络包括：
[0021]尺寸为3*3的卷积层，根据所述第一特征图生成通道数为512的特征图；
[0022]尺寸为1*1的两个卷积层，且卷积核数量分别为48和24，用于根据通道数为512的特征图输出候选区域的预测框偏移量和置信度；
[0023]筛选层，用于采用非极大值抑制算法对候选区域进行筛选，以使得所述候选区域的数量低于600。
[0024]可选地，所述位置敏感RoI池化层包括：
[0025]尺寸为1*1的卷积层，用于根据所述第一特征图生成通道数为294的位置敏感分数图；
[0026]池化层，用于对所述位置敏感分数图执行池化操作，以得到大小为6*7*7的所述RoI特征图。
[0027]可选地，所述RoI级别子网络包括：
[0028]神经元数量为512的全连接层，用于将RoI特征图展开为维度为294的一维向量，并根据维度为294的一维向量输出维度为512的一维向量；
[0029]神经元数量分别为2和4的全连接层，用于根据所述一维向量生成类别置信度和位置偏移量。
[0030]可选地，采用所述分拣数据集和微调数据集训练预设的二级物体检测网络包括：
[0031]采用公式(1)作为损失函数，并结合随机梯度下降方法训练所述二级物体检测网络，
[0032][0033]其中，L({p
i
},{t
i
})为所述损失函数，i为锚点的序号，p
i
为第i个锚点的预测分类概率，为真实类别，表示锚点为负样本，表示锚点为正样本，t
i
为边界框相对于锚点的偏移量的预测值，为锚点为正样本时，边界框的偏移量的真实值，L
cls
为分类误差，N
cls
代表批量大小，L
loc
为回归误差，N
loc
为锚点总数，λ为平衡这两项误差的权重。
[0034]可选地，采用多指灵巧手按照排序的结果依次抓取所述物体包括：
[0035]将所述深度图像输入抓取框检测网络中，以筛选出最优抓取框；
[0036]根据所述最优抓取框确定多指灵巧手手掌相对物体的位姿；
[0037]在所述深度图上裁剪出抓取框深度图和物体整体深度图，与手掌位姿一并输入到抓取手势预测网络中，得到灵巧手的最优抓取位形；
[0038]将所述最优抓取位形转换到世界坐标系后，控制机器人系统抓取目标物体，并将物体分拣到对应筐中。
[0039]另一方面，本专利技术还提供一种基于二级物体检测网络的多指灵巧手分拣规划系统，所述系统包括：
[0040]图像获取设备，用于获取目标物体的彩色图像和深度图像；
[0041]多指灵巧手；
[0042]控制设备，用于执行如上述任一所述的方法，并控制所述多指灵巧手完成抓取操作。
[0043]通过上述技术方案，本专利技术提供的基于二级物体检测网络的多指灵巧手分拣规划方法及系统通过设计二级物体检测网络来准确获取图像中目标物体所在的边界框位置信息，并根据该边界框位置信息控制多指灵巧手实现目标物体的抓取。相较于现有技术而言，本专利技术提供的方法仅通过目标物体的图像就能够完成多个目标物体的抓取，提高了多指灵巧手的控制效率。
[0044]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0045]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0046]图1是根据本专利技术的一个实施方式的基于二级物体检测网络的多指灵巧手分拣规划方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二级物体检测网络的多指灵巧手分拣规划方法，其特征在于，所述方法包括：采集并构建分拣数据集和微调数据集；采用所述分拣数据集和微调数据集训练预设的二级物体检测网络；获取待识别的目标物体的彩色图像和深度图像；将所述彩色图像输入所述二级物体检测网络中，以得到目标物体的边界框位置信息；根据所述边界框位置信息裁剪所述深度图像以得到表示单个物体的子深度图像；分别获取每个所述子深度图像的中心点深度值、像素点数量以及与其他边界框的重叠面积；按照中心点深度值、像素点数量以及重叠面积的优先级顺序对每个物体进行排序；采用多指灵巧手按照排序的结果依次抓取所述物体。2.根据权利要求1所述的方法，其特征在于，采集并构建分拣数据集和微调数据集包括：采用PASCAL VOC 2007和VOC 2012作为预训练数据集，修改标注中的对象类别为物体和背景两种；在Gazebo仿真环境下构建所述微调数据集，选取Sileane数据集中的10种物体，以任意姿态放置在分拣箱中，记录物体堆的彩色图像，并依照VOC格式对图像进行标注。3.根据权利要求1所述的方法，其特征在于，所述二级物体检测网络包括：第一级网络，包括骨干网络和区域生成网络，所述骨干网络用于初步处理输入的图像以得到对应的第一特征图，所述区域生成网络用于在所述第一特征图中获取可能存在物体的候选区域，以得到对应的第二特征图；第二级网络，包括位置敏感RoI池化层和RoI级别子网络，所述位置敏感RoI池化层用于根据所述第二特征图生成RoI特征图，RoI级别子网络用于根据所述RoI特征图得到边界框预测的类别置信度和位置偏移量。4.根据权利要求3所述的方法，其特征在于，所述骨干网络为包括101层卷积层的残差网络，且前100层的所述卷积层用于提取图像的特征信息，第101层的所述卷积层用于根据提取的特征信息生成通道数为1024的特征图，以作为所述第一特征图。5.根据权利要求3所述的方法，其特征在于，所述区域生成网络包括：尺寸为3*3的卷积层，根据所述第一特征图生成通道数为512的特征图；尺寸为1*1的两个卷积层，且卷积核数量分别为48和24，用于根据通道数为512的特征图输出候选区域的预测框偏移量和置信度；筛选层，用于采用非极大值抑制算法对候选区域进行筛选，以使得所述候选区域的数量低于6...

【专利技术属性】
技术研发人员：董翔宇，尚伟伟，樊培培，何浩源，刘之奎，汤新胜，朱涛，张飞，李腾，廖军，柯艳国，罗沙，谢佳，李卫国，景瑶，张俊杰，蒋晶晶，施雯，马欢，
申请(专利权)人：国网安徽省电力有限公司中国科学技术大学先进技术研究院，
类型：发明
国别省市：