一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法技术

本发明专利技术涉及一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，属于计算机视觉领域。A1：对训练集图像进行预处理；A2：构建传统SSD模型；A3：基于双向特征融合和更平衡L1损失函数修改传统SSD算法模型并构建BFSSD模型；A4：对BFSSD算法模型进行训练；A5：对BFSSD算法模型的性能进行测试。本发明专利技术解决了传统SSD算法在训练过程中存在的正负样本和多任务不平衡问题，对于小目标检测具有良好的鲁棒性。

An optimization method of single engine multi frame detector based on bi-directional feature fusion and more balanced L1 loss

【技术实现步骤摘要】
一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法
本专利技术属于计算机视觉领域，涉及一种基于双向特征融合和更平衡L1损失的单发多框检测器优化算法。
技术介绍
目标检测是计算机视觉的核心任务之一，广泛应用于智能监控、自动驾驶等领域。近年来，基于深卷积神经网络(DeepConvolutionalNeuralNetworkd，DCNN)的各种目标检测方法取得了显著的性能，提高了目标检测的精度和速度。基于深度卷积神经网络的目标检测方法大致可分为两类：(1)两阶段检测框架，首先产生一系列目标候选区域，然后通过深度神经网络提取目标候选区域的特征，并用这些特征进行分类，以及目标真实边界框回归。两阶段检测器主要包括：具有开创性的RCNN，在R-CNN体系结构中引入传统的空间金字塔池的SPPNet，RCNN的改进版本FastRCNN和FasterRCNN，以及一些从不同角度引入许多新方法来提高准确度和速度的框架，例如，FPN、CascadeRCNN和MaskRCNN。(2)一阶段检测框架，不生成目标候选区域而直接基于回归的目标检测与识别算法，它直接产生物体类别的概率和位置坐标。YOLO(YouOnlyLookOnce)和SSD(SingleShotMultiboxDetector)推广了一阶段检测器，它们比以往的两阶段检测器简单、快速，可以在GPU上实现实时处理，但精度相对落后。SSD具有较高的检测精度和速度，对尺度变化具有较好的鲁棒性。SSD充分利用不同输出层的特征进行目标检测，然后合并不同层的检测结果，最后采用非极大值抑制(NMS)方法抑制冗余检测框。传统的SSD算法虽然在速度和精度上都有很好的性能，但仍存在一些不足需要改进。首先，传统SSD算法中用于目标检测的特征金字塔中的不同层是独立的，没有考虑不同特征层之间的关系，忽略了一些上下文信息。然而，小目标通常严重依赖上下文信息，因此SSD在小目标检测方面存在局限性。为了解决这个问题，DSSD用Resnet-101代替SSD的基础骨干网，并用反褶积层来聚合上下文，增强浅层特征的高层语义。RSSD利用池化和反褶积实现了彩虹连接(rainbowconcatenation)，融合不同层次的特征，增加特征层的通道数等方式来提高小目标检测的精度，然而由于网络结构的复杂度过高，检测速度被大大降低。此外，研究人员发现，基础骨干网络中的深层特征具有更多的语义，而浅层特征具有更多的内容描述，因此最近FPN和PANet中通过横向连接的特征集成推动了目标检测的发展。这些方法启发我们，低层信息和高层信息在目标检测中是互补的，如何利用它们集成金字塔表示的方法决定了检测性能。其次，目标检测需要完成分类和定位两项任务，因此它的训练目标也包含了这两项任务。如果它们没有得到适当的平衡，一个目标可能会受到损害，从而导致总体表现欠佳。训练过程中涉及的样本情况也是如此，如果正负样本的梯度贡献不能很好地平衡，负样本(easysamples)产生的小梯度可能淹没在正样本(hardsamples)产生的大梯度中，从而限制了进一步的细化，这些不平衡会导致训练效率低下和模型退化。因此，减少目标检测训练过程中的不平衡是实现最优训练和充分挖掘模型结构潜力的关键。SSD精度低的原因之一是极不平衡的正负样本采样率。OHEM只保留损失最大的样本，而完全忽略easysamples。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，针对传统SSD算法由于独立使用多尺度特征层而没有考虑不同特征层之间的关系，进而忽略了一些上下文信息，导致对于小目标检测不够鲁棒的问题，以及传统SSD算法在训练过程中存在的正负样本和多任务不平衡问题。为达到上述目的，本专利技术提供如下技术方案：一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，设计一种双向特征融合模块对传统SSD算法中用于检测的特征层(深层和浅层)进行双向特征信息融合，使得融合后的特征层既包含丰富的细节特征又包含重要的语义信息，同时提出了一种更平衡的L1定位损失函数来促进重要梯度的回归，进而一定程度上解决SSD算法中存在的样本和多任务不平衡问题。通过上述两方面，特征信息得以有效增强，不平衡问题得以有效解决，所提出的FESSD也就有效SSD算法的检测性能和对小目标检测的鲁棒性。该方法具体包括以下步骤：A1：对训练集图像进行预处理；A2：构建传统单发多框检测器(SingleShotMultiboxDetector,SSD)模型；A3：基于双向特征融合和更平衡L1损失函数修改传统SSD算法模型并构建单发多框检测器优化算法(BalancedFeatureFusionSSD，BFSSD)模型；A4：对BFSSD算法模型进行训练：首先初始化BFSSD算法模型参数，其次设置学习率和最大迭代次数，然后采用批量随机梯度下降算法进行训练；A5：对BFSSD算法模型的性能进行测试。进一步，所述步骤A3具体包括：首先采用双向特征融合模块对SSD算法模型获得的特征层中前4层进行双向特征信息融合，然后再传统SSD算法模型的定位损失函数修改成更平衡L1损失函数(MoreBalancedL1Loss)。进一步，基于VGG16网络构建传统SSD网络，并把Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2共6个特征层提取出来用于目标检测记，其中，选择从传统SSD网络中提取出来的前4层特征层Conv4_3、Conv7、Conv8_2、Conv9_2记为S1、S2、S3、S4，构建双向特征融合模块，其中S1分辨率是S2分辨率的2倍，S3分辨率是S4分辨率的2倍；具体步骤包括：第一步：用S2上采样得到特征大小与S1相同的S2_up，S1下采样得到特征大小与S2相同的S1_down，S4上采样得到特征大小与S3相同的S4_up，S3下采样得到特征大小与S4相同的S3_down；第二步：将S1和S2_up进行点和得到C1，S2和S1_down进行点和得到C2，S3和S4_up进行点和得到C3，S4和S3_down进行点和得到C4，为了进一步体现双向特征融合，再对C1进行下采样得到C1_down以便和C2相加求均值得到最后的P1，再通过对P1进行上采样得到P2，对C3进行下采样得到C3_down和C4相加求均值得到最后的P4，再通过对P4进行上采样得到P3。进一步，所述S4、S3、S2、S1、C2、和C4都采用1×1的卷积进行通道数统一，融合后的特征再利用3×3的卷积消除上采样带来的混叠效应，最后与传统SSD算法模型的S4、S3、S2、S1进行通道数统一得到的P4、P3、P2和P1。进一步，所述更平衡L1损失函数的计算公式为：其中，a＝c且a和b为可变参数。进一步，所述步骤A4中，对BFSSD算法模型进行训练具体包括以下步骤：A41：模型参数初始化：利用迁移学习的思想，加载VGG16本文档来自技高网...

【技术保护点】
1.一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，其特征在于，该方法具体包括以下步骤：/nA1：对训练集图像进行预处理；/nA2：构建传统单发多框检测器(Single Shot Multibox Detector,SSD)模型；/nA3：基于双向特征融合和更平衡L1损失函数修改传统SSD算法模型并构建单发多框检测器优化算法(Balanced Feature Fusion SSD，BFSSD)模型；/nA4：对BFSSD算法模型进行训练：首先初始化BFSSD算法模型参数，其次设置学习率和最大迭代次数，然后采用批量随机梯度下降算法进行训练；/nA5：对BFSSD算法模型的性能进行测试。/n

【技术特征摘要】
1.一种基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，其特征在于，该方法具体包括以下步骤：
A1：对训练集图像进行预处理；
A2：构建传统单发多框检测器(SingleShotMultiboxDetector,SSD)模型；
A3：基于双向特征融合和更平衡L1损失函数修改传统SSD算法模型并构建单发多框检测器优化算法(BalancedFeatureFusionSSD，BFSSD)模型；
A4：对BFSSD算法模型进行训练：首先初始化BFSSD算法模型参数，其次设置学习率和最大迭代次数，然后采用批量随机梯度下降算法进行训练；
A5：对BFSSD算法模型的性能进行测试。


2.根据权利要求1所述的基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，其特征在于，所述步骤A3具体包括：首先采用双向特征融合模块对SSD算法模型获得的特征层中前4层进行双向特征信息融合，然后再传统SSD算法模型的定位损失函数修改成更平衡L1损失函数(MoreBalancedL1Loss)。


3.根据权利要求2所述的基于双向特征融合和更平衡L1损失的单发多框检测器优化方法，其特征在于，选择从传统SSD网络中提取出来的前4层特征层Conv4_3、Conv7、Conv8_2、Conv9_2记为S1、S2、S3、S4，构建双向特征融合模块，其中S1分辨率是S2分辨率的2倍，S3分辨率是S4分辨率的2倍；具体步骤包括：
第一步：用S2上采样得到特征大小与S1相同的S2_up，S1下采样得到特征大小与S2相同的S1_down，S4上采样得到特征大小与S3相同的S4_up，S3下采样得到特征大小...

【专利技术属性】
技术研发人员：赵辉，李志伟，方禄发，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50