一种面向拆垛分拣的包装箱快速识别分割方法技术

本发明专利技术属于物流分拣技术领域，公开了一种面向拆垛分拣的包装箱快速识别分割方法；Maskrcnn网络设计结构；改进的Maskrcnn网络设计结构；数据增强与处理；错误数据收集和模型的迭代增强；对错误数据进行收集，采用人工标注的方式对真实采集的错误图片进行处理，处理后的图片作为后续模型增强的训练数据。本发明专利技术基于目前最新的目标检测网络Maskrcnn进行的改进，为了适应实际的包装箱的拆跺分拆场景，在Maskrcnn检测网络中加入depth的通道，融合了深度的信息；同时对网络层的特征进行进一步的融合增强；本发明专利技术能够对包装箱的进行精确地定位和分割，准确率大大得到了提升。

A Fast Recognition and Segmentation Method for Packing Box for Palletizing and Sorting

The invention belongs to the field of logistics sorting technology, and discloses a fast identification and segmentation method for packing boxes for palletizing and sorting; Maskrcnn network design structure; improved Maskrcnn network design structure; data enhancement and processing; error data collection and iteration enhancement of models; error data collection and manual labeling method for processing real collected error pictures. The processed images are used as training data for subsequent model enhancement. The invention is based on the improvement of Maskrcnn, the latest target detection network at present. In order to adapt to the actual situation of dismantling and dismantling of packaging boxes, depth channel is added to the Maskrcnn detection network, and the depth information is fused. At the same time, the features of the network layer are further fused and enhanced. The invention can accurately locate and segment the packaging boxes, and the accuracy is greatly obtained. Ascension.

【技术实现步骤摘要】
一种面向拆垛分拣的包装箱快速识别分割方法
本专利技术属于物流分拣
，尤其涉及一种面向拆垛分拣的包装箱快速识别分割方法。
技术介绍
目前，业内常用的现有技术是这样的：在现代物流行业中，拆跺分拣包装箱耗费大量人力，人们一直尝试用机器人取代人进行这一繁重而又重复的工作。由机器人替代人来进行拆跺分拣的首要问题在于：如何对密集的包装箱进行准确的分割和识别，从而引导机器人进行精确地抓取。实际中包装箱的尺寸变化范围很大，摆放的角度和姿态不定，而且可能出现在图片的任何地方，因此对包装箱的检测失败率很高。而现有的对包装箱的分割和识别方法，在实际的应用场景还有很大的局限。目前算法大多根据经典的图像处理方法对包装箱进行检测，比如主流的边缘检测算法和sift特征匹配算法等等。然而这些方法受场景中的光照和遮挡等因素影响很大，鲁棒性不高，很难在实际产品中得到应用。近年来，深度学习在物体分割和识别领域崭露头角，逐渐取代传统视觉方法而成为目标检测领域的主流算法。深度学习模型由于其强大的表示能力，对图像中的不同种类和姿态物体检测效果显著，加之计算力的进步，计算检测时间接近甚至少于传统算法。但是简单地移植现有的深度学习模型到包装箱的检测问题中来，效果却差强人意，主要原因在于：包装箱拆跺分拣相比于一般的目标检测问题，其物品过于密集，尺寸大小以及高度参差不齐，箱子纹理图案也千差万别，而现有目标检测模型大多都是根据2d的RGB图片进行识别和分割，很容易混淆箱子纹理与箱子边缘，导致对该场景的分割准确率很低。综上所述，现有技术存在的问题是：现有技术中，简单地移植现有的深度学习模型到包装箱的检测问题中来，效果差强人意，包装箱拆跺分拣相比于一般的目标检测问题，其物品过于密集，尺寸大小以及高度参差不齐，箱子纹理图案也千差万别；现有目标检测模型大多都是根据2d的RGB图片进行识别和分割，很容易混淆箱子纹理与箱子边缘，导致对该场景的分割准确率很低。解决上述技术问题的难度和意义：难度：相比于一般的目标检测问题，拆跺分拣场景下包装箱的识别分割更为复杂和困难。其难度在于首先包装箱是密集摆放堆叠，使得包装箱之间的间隙很小，分界边线很难区分；其次包装箱纹理图案千差万别，色彩的差异性对分割识别干扰性巨大，很容易混淆箱子间的边界线和纹理线；再者箱子的尺寸大小各异，摆放不定，对箱子朝向和抓取面估计十分困难。意义：因此，解决包装箱的识别分割问题，是物流装卸自动化技术的首要基础，为机器人的准确抓取提供有力保证，极大地降低了机器人对货物毁坏的几率，提高了装卸的成功率和效率。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种面向拆垛分拣的包装箱快速识别分割方法。本专利技术是这样实现的，一种面向拆垛分拣的包装箱快速识别分割方法，具体包括以下步骤：本专利技术的分割步骤具体为：通过kinect图像拍摄得到一组颜色(rgb)和深度(depth)图片，首先对深度图进行过滤和增强处理，然后将这一组颜色和深度图片输入给改进的Maskrcnn网络，网络通过运算，输出得到箱子的分割和检测结果。网络的结构如第二部分所述。步骤一：Maskrcnn网络设计结构：包括主干特征提取网络，特征金字塔网络，区域提取网络，预测网络；步骤二：改进的Maskrcnn网络设计结构：从输入端增加深度通道，在特征金字塔后再增加一个特征金字塔结构，在各个层取出对应的特征区域后，加入一个特征融合层，融合所有层级的特征图后再输入给后续的包装箱预测网络；步骤三：数据增强与处理：利用blender软件进行虚拟数据渲染，对深度图采用融合中位数法进行过滤和增强，对网络输入数据进行变换增强；步骤四：错误数据收集和模型的迭代增强：对错误数据进行收集，采用人工标注的方式对真实采集的错误图片进行处理，处理后的图片作为后续模型增强的训练数据。进一步，步骤一中，主干特征提取网络具体为：选取Resnet101网络作为主干网络，Resnet101可以分为5个阶段，分别对应着5中不同尺度的特征图输出，特征图输入给特征金字塔网络(FPN)。进一步，步骤一中，接收主干特征提取网络的五个阶段的特征图，进一步融合增强特征图。进一步，步骤一中，区域提取网络为：区域提取网络接收特征金字塔增强之后的各层级特征图，初始预测图像空间中物体的大小和位置，输出所有可能包围物体的区域提取框。进一步，步骤一中，预测网络为：预测网络接收特征金字塔的特征图和区域提取网络输出的提取框，预测最终的物体区域的大小、位置、物体的分类，以及区域中属于物体的像素(mask)。进一步，步骤二中，改进的Maskrcnn网络结构设计分为五个部分：主干特征提取网络，特征双金字塔网络，区域提取网络，特征层融合网络，预测网络。进一步，步骤二中，特征双金字塔网络，包含一个由下而上的金字塔结构，为了加快信息的流动，操作为：(1)下一层级的特征图首先经过一个2倍降采样，然后和当前的特征图层进行相加操作，再经过一个卷积得到新的当前特征图层；(2)继续传给上一层级特征图；(3)将得到的每个层级的特征图输入给后续的特征融合层。进一步，步骤二中，区域提取网络，网络的输入是第一个金字塔增强后的各层级特征图。进一步，步骤二中，特征层融合网络，该网络接收特征双金字塔网络的四个特征图层，以及区域提取网络的输出提取框。进一步，步骤二中，特征层融合网络，具体为：(1)在每个特征图层上框出对应的特征区域；(2)对所有层的区域特征进行concate操作，随后进行一个卷积以及非线性变换，其输出将作为后续预测网络的输入。进一步，步骤三中，虚拟数据渲染，具体为：(1)利用blender软件进行模拟，用网络收集以及实际拍摄得到的包装箱纹理图片作为数据库，在虚拟环境中进行包装箱的几何建模；(2)从数据库中随机抽取图片进行纹理贴图，同时随机一定的光照强度以及虚拟相机拍摄角度，模拟不同光照不同视角的拍摄效果；(3)进行虚拟渲染快速得到大量训练图片数据。进一步，步骤三中，对深度数据进行加强，具体为：(1)在深度图来源上，kinect相机在单帧深度图上往往有部分随机噪声，因此对连续多帧数据进行融合可以有效减少噪声的出现；采用中位数法，设置采集连续八帧数据对深度进行增强。(2)在数据缺失区域的填补算法上采用加权联合双边滤波法，联合颜色和深度图，在数据缺失的区域进行填补。进一步，步骤三中，对网络输入数据进行变换增强，包括：(1)对输入图片实施旋转平移变换进行模拟；(2)在图像空间中加入随机噪声来增强对kinect深度的噪声的承受能力。进一步，步骤四中，对错误数据进行收集，具体为：(1)分割错误，导致机器人抓取的失败，此时机器人抓取失败的信号会传给主机，主机立刻把当前帧的图片保存到后端的文件夹中，作为数据备份；(2)当错误数据积累到一定数量或者当天机器人抓取结束之后，会将错误数据传回云端服务器进行后续处理；(3)云端服务器采用人工标注的方式对真实采集的错误图片进行处理，所有处理后的图片将作为后续模型增强的训练数据。进一步，步骤四中，模型增强，具体为：(1)从这些少量数量中抠出对应的箱子纹理，在blender中进行虚拟渲染，增强新的数据集；(2)固定改进的Maskrcnn网络前半部分的参数，只对预测网络部分的参数权重进行微调，此时只用增强后的错误数据集本文档来自技高网...

【技术保护点】
1.一种面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述的面向拆垛分拣的包装箱快速识别分割方法包括以下步骤：步骤一：确定Maskrcnn网络设计结构：包括主干特征提取网络，特征金字塔网络，区域提取网络，预测网络；步骤二：确定改进的Maskrcnn网络设计结构：从输入端增加深度通道，在特征金字塔后再增加一个特征金字塔结构，在各个层取出对应的特征区域后，加入一个特征融合层，融合所有层级的特征图后再输入给后续的包装箱预测网络；步骤三：利用blender软件进行虚拟数据渲染，对深度图采用融合中位数法进行过滤和增强，对网络输入数据进行变换增强；步骤四：对错误数据进行收集，采用人工标注的方式对真实采集的错误图片进行处理，处理后的图片作为后续模型增强的训练数据。

【技术特征摘要】
1.一种面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述的面向拆垛分拣的包装箱快速识别分割方法包括以下步骤：步骤一：确定Maskrcnn网络设计结构：包括主干特征提取网络，特征金字塔网络，区域提取网络，预测网络；步骤二：确定改进的Maskrcnn网络设计结构：从输入端增加深度通道，在特征金字塔后再增加一个特征金字塔结构，在各个层取出对应的特征区域后，加入一个特征融合层，融合所有层级的特征图后再输入给后续的包装箱预测网络；步骤三：利用blender软件进行虚拟数据渲染，对深度图采用融合中位数法进行过滤和增强，对网络输入数据进行变换增强；步骤四：对错误数据进行收集，采用人工标注的方式对真实采集的错误图片进行处理，处理后的图片作为后续模型增强的训练数据。2.如权利要求1所述的面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述步骤一中，主干特征提取网络具体为：选取Resnet101网络作为主干网络，Resnet101分为5个阶段，分别对应着5中不同尺度的特征图输出，特征图输入给特征金字塔网络FPN。3.如权利要求1所述的面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述步骤一中，接收主干特征提取网络的五个阶段的特征图。4.如权利要求1所述的面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述步骤一中，区域提取网络为：区域提取网络接收特征金字塔增强之后的各层级特征图，初始预测图像空间中物体的大小和位置，输出所有可能包围物体的区域提取框。5.如权利要求1所述的面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述步骤一中，预测网络为：预测网络接收特征金字塔的特征图和区域提取网络输出的提取框，预测最终的物体区域的大小、位置、物体的分类，以及区域中属于物体的像素mask。6.如权利要求1所述的面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述步骤二中，改进的Maskrcnn网络结构设计分为五个部分：主干特征提取网络，特征双金字塔网络，区域提取网络，特征层融合网络，预测网络。7.如权利要求1所述的面向拆垛分拣的包装箱快速识别分割方法，其特征在于，所述步骤二中，特征双金字塔网络，包含一个由下而上的金字塔结构，为了加快信息的流动，操作为：(1)下一层级的特征图首先经过一个2倍降采样，然后和当前的特征图层进行相加操作，再经过一个卷积得到新的当前特征图层；(2)继续传给上一层级特征图；(3)将得到的每个层级的特征图输入给后续的特征融合层。8.如权利要求1所述的面向拆垛分拣的包装箱快速识...

【专利技术属性】
技术研发人员：黄金，郑林涛，
申请(专利权)人：湖南视比特机器人有限公司，
类型：发明
国别省市：湖南,43