一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法技术

提出了一种基于Libra R‑CNN的多尺度目标检测网络。针对城市道路下的交通标志检测存在的环境复杂，目标种类多且数量不平衡的特点，对Libra R‑CNN进行改进，修改IoU‑balanced Sampling模块，使用GA‑RPN替代原有RPN，并将Balanced L1 Loss替换为Smooth L1 Loss，使训练期间产生更精确更多样化的样本，提高检测准确率，并通过实验验证了其有效性。实验是在MS COCO 2017和交通标志数据集上进行的。改进后的Libra R‑CNN的mAP提高了3个百分点，达到0.773。实验结果表明，改进后的网络相比原有的目标检测网络性能有了显著提升。

【技术实现步骤摘要】
一种基于LibraR-CNN的多尺度目标检测网络和交通标识检测方法
本专利技术属于图像处理
，具体涉及一种基于LibraR-CNN的多尺度目标检测网络以及基于此的交通标识检测方法，可用于对城市道路场景下的交通标识检测。
技术介绍
机器视觉和深度学习现在有很多很广泛的应用，相对技术都已经比较成熟，大中尺度的目标检测已经达到了一个精度较高的水平，但是仍然还存在许多难点，复杂背景下的小目标检测问题和普遍存在于多类别标签目标中的数据不平衡问题就是两个突出难点，它们造成权重的不平衡，严重影响了检测的精度，但是在世界范围内都没有得到很好的解决，也因此成为影响人工智能现实应用的关键性问题。交通标识检测是同时具备这两个关键问题的典型现实应用，城市道路中的交通标识具有种类多，数据量不平衡，背景复杂，小目标多的特点，使得交通标示检测成为无人驾驶汽车发展的一个重大障碍，对这个问题的研究不仅对无人驾驶的发展具有重要意义，也对应用在各个领域的人工智能发展有着重大的意义。基于深度学习的目标检测算法主要分为两大类，分别是基于回归的目标检测算法和基于分类的目标检测算法，基于回归的目标检测算法为one-stage算法，主要包括YOLO、SSD等；基于分类的目标检测算法为two-stage或multi-stage算法，主要包括FastR-CNN，FasterR-CNN，MaskR-CNN以及CascadeR-CNN等。基于现实的各种应用需求和应用场景，又在以上目标检测算法基础上做了改进，衍生出具有针对性的方法。目前，研究人员己经创造和改进了许多基于图像的目标检测方法。分别提出了一些能够进行特征融合、数据增强或者可变锚框的策略，其中，LibraR-CNN达到了先进水平。LibraR-CNN是由上边所提到的基础网络FasterR-CNN改进而来，它创造性的提出了从训练期间的平衡问题考虑，对训练期间平衡采样、特征的平衡提取、Loss值的平衡三方面进行了改进，具体改进如下。对训练期间平衡采样进行改进的部分称为IoU-balancedSampling。首先通过RPN进行采样。RPN能够产生9种形状的锚框，锚框在图像上移动生成大量的候选框。这些候选框的分布在IoU上并不是均匀分布的，对生成侯选框的随机采样，会导致背景框的数量远大于框中真实目标框的数量，背景占据了大部分，其IoU大多在0-0.05,为简单样本，随机采样时这种不平衡就会将困难样本埋没在简单样本中。而困难样本对检测能够产生更大的影响，因此考虑对IoU区间进行等分，在每个小区间内进行随机取样，则可以保证采样相对平衡。对特征的平衡提取进行改进的部分称为BalancedFeaturePyramid(简称：bfp)。过去的特征融合方法都对相邻层关注更多，而在一定程度上忽略了非相邻层之间的关系，此处采取的方法则是将每一层的信息一起做了融合取均值再进行特征增强，考虑了每一层的信息，保证了特征的损失尽可能小。首先利用FPN将特征图进行融合。FPN是一种自上而下的特征融合方法，如附图3所示，它主要包括两个过程：左边的自下而上过程是依次提取不同尺度的特征，右边的自上而下过程是采集特征进行融合，以弥补特征提取过程中丢失的特征。水平连接是将自下而上生成的特征映射与相同的大小的采样结果合并。融合后，每个融合结果用3×3的卷积核进行卷积，消除上采样的混叠效应。但是FPN更注重相邻层的关系，对非相邻层的特征图并没有做到很好的融合，于是BalancedFeaturePyramid在FPN基础上又做了进一步处理。将FPN得到不同尺度的特征{C2,C3,C4,C5}，选定一层特征曾作为基准，通过插值和池化操作将其他层缩放到其大小，至此所有层转化成同等尺度，执行累加操作，针对总层数为L，对缩放后的每一层特征进行简单的累加，再将累加结果取均值，求出平均特征，得到平均了的一个特征C，由于直接累加的特征C存在重叠效应，因此要对它进行提炼操作，最终将提炼操作得到特征图缩放到和之前各层的相同尺寸再用于后面的对象检测(确认是否通顺)。其中将平均特征通过non-localnetwork进行提炼。non-local能够消除噪声，捕获长范围依赖，建立图像上两个有一定距离的像素之间的联系，使用在此能够较好地建立累加取均值后的特征图不同像素之间的联系，在保证了输入输出维度相同的同时，整合了全局信息(确认是否通顺)。最后将特征融合完的特征图恢复到原本每个特征层的尺寸，再将修改尺寸后的特征图与相应尺寸的原始特征层进行累加，从而达到特征增强效果。对Loss值的平衡进行改进的部分称为BalancedL1Loss。BalancedL1Loss是由SmoothL1Loss发展而来的。BalancedL1Loss考虑到在训练过程中，数量较少的困难样本却贡献了70％的梯度，而数量较多的简单样本却只贡献了30％的梯度，因此增加了简单样本的对损失值计算产生的梯度，使得训练过程更加平衡。城市道路下的交通标识检测具有环境复杂，目标种类多，数据不平衡，小目标多等特点，单一方法不能有效的完成交通标识检测工作，如何更准确地定位目标，产生数量更多，性状更多样化的目标，如何提取有用的特征，如何更好地利用这些特征是我们需要解决的问题。特征融合和特征增强都有利于特征提取。在使用加深网络进行训练时，每一层都会丢失一些信息，因此使用特征融合，通过覆盖不同层的特征图来保留不同层的信息，减少信息的丢失。在特征融合过程中，会出现不同程度的信息保持不平衡。此时，需要对特征进行增强，对信息进行再积累和提炼。可变形锚框有利于提高目标定位精度。在区域标记对象时，通常采用固定大小的网格或锚框，这样容易固定区域的形状，不能适应形状。可变形锚框可以使区域形状更加多样化，适应实际需要。基于此提出了特征融合、特征增强和可变锚定框架相结合的思想，对LibraR-CNN网络进行改进，以达到能够在真实城市交通道路场景中达到更高的交通标识检测精度的目的。
技术实现思路
针对上述城市交通道路场景中交通标识检测现有技术所存在的问题和缺点，提出一种基于LibraR-CNN改进的多尺度目标检测网络以及基于此的交通标识检测方法，可以使得交通标识牌中数量较少的目标做到相对之前结果数据更平衡，从而测试准确率有提升；可以使得中大目标检测准确率几乎不变的情况下，小目标的检测率有所上升。我们提出改进LibraR-CNN网络中的IoU-balancedSampling和BalancedL1Loss两部分。在使用IoU-balancedSampling的过程中，仍然存在三个影响训练效果的问题：(1)由于背景提取框(负样本)数量太多，含有目标的提取框(正样本)太少，没有考虑到正负样本之间的平衡；(2)对于负样本的处理虽然提高了困难负样本的数量，但困难负样本的数量远小于简单负样本，所以困难样本与简单负片样本之间的不平衡仍然存在；(3)锚框是一个定位目标区域的盒子。真实样本形状多样，样本形状缺乏多样性和不精确性,仅有的9种固定形状的锚框无法准确定位目标。这些问题能够通过将原有的RPN替换为GA-RPN本文档来自技高网...

【技术保护点】
1.一种基于Libra R-CNN的多尺度目标检测网络，基于Libra R-CNN网络，其特征在于，改进了Libra R-CNN网络中的IoU-balanced Sampling和Balanced L1Loss两部分，其中，将IoU-balanced Sampling中原有的RPN替换为GA-RPN，将Balanced L1 Loss替换为SmoothL1 Loss。/n

【技术特征摘要】
1.一种基于LibraR-CNN的多尺度目标检测网络，基于LibraR-CNN网络，其特征在于，改进了LibraR-CNN网络中的IoU-balancedSampling和BalancedL1Loss两部分，其中，将IoU-balancedSampling中原有的RPN替换为GA-RPN，将BalancedL1Loss替换为SmoothL1Loss。


2.一种基于LibraR-CNN的多尺度目标检测网络的交通标识检测方法，基于LibraR-CNN改进的多尺度目标检测网络，其特征在于包括以下步骤：
步骤一，读取城市交通道路场景图片；
步骤二，通过CNN提取城市交通道路场景图片的多层特征图；特征提取过程将原始图片转化为RGB图片，下文将RGB图片作为特征图使用；所述的多层特征图是指在经过不同层的卷积神经网络时生成了不同尺度的特征图，用于保留不同的特征信息；
步骤三，根据步骤二产生的特征图生成训练样本，即锚框，并且采用BalancedFeaturePyramid对步骤二产生的多尺度特征图进行特征融合...

【专利技术属性】
技术研发人员：李学伟，赵子婧，刘宏哲，徐成，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11