一种基于多掩模卷积神经网络的搬运机器人识别目标方法技术

本发明专利技术提供了一种基于多掩模卷积神经网络的搬运机器人识别目标方法，包括：搭建多掩模卷积神经网络，并确定网络结构；选择网络优化器，使用PASCAL VOC数据集作为多掩模卷积神经网络的训练数据集，经过多掩模卷积神经网络模型充分训练，得到训练好的多掩模卷积神经网络；搬运机器人通过摄像头采集视频文件，然后将采集的视频文件逐帧转换为彩色图像，并对彩色图像统一尺寸大小；搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别，同时生成实例掩模，从而完成目标的识别。本发明专利技术具有识别速度快、识别准确率高的优点。

A target recognition method for transport robot based on multi mask convolution neural network

【技术实现步骤摘要】
一种基于多掩模卷积神经网络的搬运机器人识别目标方法
本专利技术涉及搬运机器人及深度学习的
，尤其涉及一种基于多掩模卷积神经网络的搬运机器人识别目标方法。
技术介绍
随着工业自动化技术的不断发展，搬运机器人在自动化生产中的应用领域也不断拓宽。可是目前部分搬运机器人仍存在识别目标不准确，识别速度慢的问题，为满足工业生产领域的搬运要求，研究快速准确识别目标的搬运机器人识别技术具有重要意义。目前，搬运机器人识别目标主要有两种方法，一是通过模板匹配法，就是选取模板后，在待搜索图像中搜索出与模板匹配程度最高的子图，再进行模板和子图的相似度匹配完成识别，这种匹配方法计算量很大，难以应用在对目标识别速度要求较高的搬运机器人上。二是通过深度学习的方法，采用神经网络模型完成识别目标，但目前采用深度学习的方法进行目标识别，一种网络模型中使用ROIPooling层提高了识别的准确速度增加了识别目标的时间，另一种网络模型通过将图形分割成网格，对每个网格进行预测，提高了识别速度，却降低识别的精度。因此目前的网络无法同时具备识别速度高和识别精度高的优点。...

【技术保护点】
1.一种基于多掩模卷积神经网络的搬运机器人识别目标方法，其特征在于，包括以下步骤：/n步骤1，搭建多掩模卷积神经网络，并确定网络结构；/n步骤2，选择网络优化器，使用PASCAL VOC数据集作为多掩模卷积神经网络的训练数据集，经过多掩模卷积神经网络模型充分训练，得到训练好的多掩模卷积神经网络；/n步骤3，搬运机器人通过摄像头采集视频文件，然后将采集的视频文件逐帧转换为彩色图像，并对彩色图像统一尺寸大小；/n步骤4，搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别，同时生成目标的实例掩模，从而完成目标的识别。/n

【技术特征摘要】
1.一种基于多掩模卷积神经网络的搬运机器人识别目标方法，其特征在于，包括以下步骤：
步骤1，搭建多掩模卷积神经网络，并确定网络结构；
步骤2，选择网络优化器，使用PASCALVOC数据集作为多掩模卷积神经网络的训练数据集，经过多掩模卷积神经网络模型充分训练，得到训练好的多掩模卷积神经网络；
步骤3，搬运机器人通过摄像头采集视频文件，然后将采集的视频文件逐帧转换为彩色图像，并对彩色图像统一尺寸大小；
步骤4，搬运机器人利用训练好的多掩模卷积神经网络对彩色图像中出现的目标生成目标的坐标位置和目标类别，同时生成目标的实例掩模，从而完成目标的识别。


2.根据权利要求1所述的方法，其特征在于，步骤1包括：
所述多掩模卷积神经网络包括五个部分，具体搭建方法如下：
第一部分包括一个输入层和三个卷积层，用于对数据进行卷积特征提取，第一部分的输入来自于PASCALVOC数据集，PASCALVOC数据集里的每一张图像大小为500*500，每一张图像送到输入层；输入层后面是第一部分的第一个卷积层，第一部分的第一个卷积层选用了16个3*3的卷积核，步长为1，填充数量为1，卷积层的输出尺寸计算公式如下所示：



其中，Z是卷积输出数据的长度，W是卷积输入数据的长度，P是填充数量，F是卷积核的长度，S表示步长；
对于第一部分的第一个卷积层，由卷积层的输出尺寸计算公式(1)计算得到第一部分的第一个卷积层的输出大小是500*500*16；
在第一部分的第一个卷积层后使用线性整流函数作为激活函数，将经过激活函数的数据送入第一部分的第二个卷积层，第一部分的第二个卷积层采用32个3*3卷积核，步长为1，填充数量为1，则根据卷积层的输出尺寸计算公式(1)，第一部分第二个卷积层的输出大小是500*500*32；
第一部分的第二个卷积层后也使用线性整流函数作为激活函数，将经过激活函数的数据送入第一部分的第三个卷积层，第一部分的第三个卷积层采用64个3*3卷积核，步长为2，填充数量为1，则根据卷积层的输出尺寸计算公式(1)，第一部分的第三个卷积层的输出大小是250*250*64；
第二部分包括一个卷积层和两个全连接层；第一部分的第三个卷积层的输出用来输入到第二部分的第一个卷积层，第二部分的第一个卷积层采用128个3*3卷积核，步长为1，填充数量为1，则根据卷积层的输出尺寸计算公式(1)，第二部分的第一个卷积层的输出大小是250*250*128；
第二部分的第一个卷积层后使用线性整流函数作为激活函数，将经过激活函数的数据送入第二部分的第一个全连接层，第二部分的第一个全连接层有N1个神经元，对应N1个目标类别，第二部分的第一个全连接层后面使用softmax函数，得到N1个目标类别的置信度系数，置信度系数指目标类别的概率；同时对经过激活函数的第二部分的第一个卷积层送入第二部分的第二个全连接层，第二部分的第二个全连接层有N2个神经元，对应N1个目标类别的候选框位置，每个候选框位置由坐标(x，y，l，h)确定，x代表候选框左上角顶点在多掩模卷积神经网络输入层的每一张图像中距离每一张图像左上角顶点的水平距离，y代表候选框左上角顶点在多掩模卷积神经网络输入层的每一张图像中距离每一张图像左上角顶点的竖直距离，l代表候选框的长度，h代表候选框的高度；
第三部分包括三个卷积层，将由第一部分的第三个卷积层的输出送入第三部分的第一个卷积层，第三部分的第一个卷积层采用64个3*3卷积核，步长为1，填充数量为1，则根据卷积层的输出尺寸计算公式如下所示：
Z1＝(W1-1)×S1-2×P1+F1(2)
其中，Z1是卷积输出数据的长度，W1是卷积输入数据的长度，P1是填充数量，F1是卷积核的长度，S1表示步长；根据卷积层的输出尺寸计算公式(2)，第三部分第一个卷积层的输出大小是250*250*64；第三部分的第一个卷积层后也使用线性整流函数作为激活函数，将经过激活函数的数据送入第三部分的第二个卷积层，第三部分的第二个卷积层采用64个4*4卷积核，步长为2，填充数量为1，则根据卷积层的输出尺寸计算公式(2)，第三部分第二个卷积层的输出大小是500*500*64；第三部分的第二个卷积层后也使用线性整流函数作为激活函数，将经过激活函数的数据送入第三部分的第三个卷积层，第三部分的第三个卷积层采用1000个3*3卷积核，步长为1，填充数量为1，则根据卷积层的输出尺寸计算公式(2)，第三部分的第三个卷积层的输出大小是500*500*1000；
第四部分包括三个卷积层，第三部分的第三个卷积层后也使用线性整流函数作为激活函数，将经过激活函数的数据送入第四部分的第一个卷积层，第四部分的第一个卷积层采用4096个3*3卷积核，步长为2，填充数量为1，则根据卷积层的输出尺寸计算公式(1)，第四部分的第一个卷积层的输出大小是250*250*4096；第四部分的第一个卷积层后也使用线性整流函数作为激活函数，送入第四部...

【专利技术属性】
技术研发人员：谢非，陆飞，杨继全，吴俊，汪璠，吴启宇，茆国婷，陈书颖，刘益剑，章悦，
申请(专利权)人：南京师范大学，南京智能高端装备产业研究院有限公司，
类型：发明
国别省市：江苏;32