基于全卷积网络的多特征融合的目标检测方法技术

本发明专利技术设计了一种基于全卷积网络的多特征融合的目标检测方法，其主要技术特点是：搭建具有六个卷积层组的全卷积神经网络；利用卷积神经网络的前五组卷积层提取图像特征，并将其输出进行融合，形成融合特征图；对融合后的特征图进行卷积处理，直接产生固定数目的不同大小的目标边框；计算卷积神经网络生成的目标边框与真实边框之间的分类误差与定位误差，利用随机梯度下降法降低训练误差，得到最终训练模型的参数，最后进行测试得到目标检测结果。本发明专利技术利用了深度卷积网络对目标的强大的表示能力，构建了用于目标检测的全卷积神经网络，提出了新的融合特征方法，提高了算法的检测速度和精度，获得了良好的目标检测结果。

【技术实现步骤摘要】
基于全卷积网络的多特征融合的目标检测方法
本专利技术属于目标检测
，尤其是一种基于全卷积网络的多特征融合的目标检测方法。
技术介绍
目标检测作为计算机视觉的重要研究课题之一，被广泛应用于国防军事、公共交通、社会安全和商业应用等各个领域。因此目标检测算法的研究，具有非常重要的军事以及商业价值。所谓目标检测，是通过分析图像或者视频中的目标的特征，将目标识别出来，获得目标的类别和位置信息，能够对目标做进一步分析和理解提供帮助，例如目标跟踪以及基于图像内容的分析等。然而目标通常具有不同的形态、颜色、光亮和遮挡等多变因素，目标所处的场所环境也缤纷复杂，这些因素使得基于计算机视觉的目标检测面临着巨大的挑战。传统的目标检测模型通常采用复杂的人工特征提取方法，比如方向梯度直方图(HOG)、尺度不变特征转换(SIFT)、局部二值模式特征(LBP)等，来获得与目标有关的信息表达，并在所提取的特征信息上训练分类器和回归器从而实现目标检测。随着计算机计算能力的大幅提高和大规模数据集的产生，深度学习应运而生，也使得目标检测技术取得了飞快的发展。目前流行的目标检测算法均使用卷积神经网络来进行特征提取。卷积神经网络广泛应用于计算机视觉领域主要源于2012年Krizhevsky等人提出的AlexNet(A.Krizhevsky,I.Sutskever,andG.E.Hinton,“Imagenetclassificationwithdeepconvolutionalneuralnetworks,”inNIPS,2012,pp.1097–1105.)在ILSVRC2012竞赛中取得冠军，AlexNet成为卷积神经网络在图像分类上的经典模型。AlexNet由5层卷积层和3层全连接层构成，卷积层主要用于提取目标特征，全连接层用于对目标的分类，这一模型的精度显著高于当时基于传统手工特征的算法。之后Girshick等人将卷积神经网络应用于目标检测，提出了经典的R-CNN算法(R.Girshick,J.Donahue,T.Darrell,andJ.Malik,“Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation,”inCVPR,2014,pp.580–587.)。其对于一张输入图像，首先产生2000个左右的候选框，然后利用卷积神经网络提取特征，并利用所提取的特征训练SVM分类器以及利用回归器实现目标的位置修正。基于候选框的目标检测技术在检测精度上表现优异，然而由于候选框的产生需要耗费大量时间。为了提高检测速度，能够实现实时目标检测，Redmon等人提出一种基于单一卷积神经网络的目标检测算法YOLO(J.Redmon,S.Divvala,R.Girshick,andA.Farhadi,“Youonlylookonce:Unified,real-timeobjectdetection,”arXivpreprintarXiv:1506.02640,2015)。对于一张输入图像，YOLO可以直接输出目标类别置信度以及目标位置，YOLO等算法的出现使得实时目标检测成为可能，并将目标检测的实际应用向前推动了一大步。虽然目标检测算法经过了几十年的发展已经取得了不错的效果，卷积神经网络的出现更是将目标检测精度提升了很多，但是很多问题还是有待改善，例如，如何平衡精度和速度，提高小目标检测精度，降低目标定位误差等。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种设计合理、精度高且速度快的基于全卷积网络的多特征融合的目标检测方法。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于全卷积网络的多特征融合的目标检测方法，包括以下步骤：步骤1、搭建具有六个卷积层组的全卷积神经网络；步骤2、利用卷积神经网络的前五组卷积层提取图像特征，并将其输出进行融合，形成融合特征图；步骤3、对融合后的特征图进行卷积处理，直接产生固定数目的不同大小的目标边框；步骤4、计算卷积神经网络生成的目标边框与真实边框之间的分类误差与定位误差，利用随机梯度下降法降低训练误差，得到最终训练模型的参数，最后进行测试得到目标检测结果。所述步骤1中搭建的全卷积神经网络结构如下：所述步骤2的具体实现方法包括以下步骤：⑴将图像输入到全卷积神经网络中，使得输入图像经过五组卷积层处理，每组卷积层均输出相应的特征图；⑵将第三卷积层组和第四卷积层组输出的特征图进行映射处理，尺度减少通道数增加，以使得其特征图尺寸与第五卷积层组的输出特征图保持一致；⑶将上述第三至第五卷积层组输出的特征图进行级联，得到包含图像多级特征信息的特征图。所述步骤3的具体实现方法包括以下步骤：⑴将输入图像分成11*11的网格，并对应到特征图当中；⑵对于每个网格，预测产生6个尺寸和长宽比不同的边界框，包括2种尺度以及3种长宽比1：1、1：2和2：1；⑶每个边界框生成4+C个值，4个值为x，y，w，h用来表示边界框位置及大小，C表示目标类别，对于每个类别边界框将产生一个相应的置信度，来表示属于某类别的可能性。所述步骤4的具体实现方法包括以下步骤：⑴分别计算预测边界框与真实边框的分类误差和定位误差，其中对于分类误差只计算有目标出现的网格的误差，对于定位误差，则计算smoothL1损失；⑵在训练过程中，取正负样本的比例为1:3；⑶利用随机梯度下降法进行模型的训练，使得最终产生的预测边框更加接近真实边框，并利用已训练好的模型参数对实际目标进行测试。所述分类误差和定位误差具有相同的权重。所述正样本的选取方法为：真实边框交除并值大于0.7的预测边框为正样本；所述负样本的选取方法为：交除并值小于0.3且大于0.1的预测边框为负样本。所述计算smoothL1损失采用如下公式：其中，Lloc(t，t＊)表示定位误差损失函数，t，t＊分别代表预测边框和真实边框，包含了x,y,w,h的值，(x,y)表示边框中心的坐标，w和h表示边框的宽度和高度。本专利技术的优点和积极效果是：本专利技术采用全卷积网络的多特征融合的目标检测方法，通过搭建一个不含全连接层的卷积神经网络用于目标检测，由于输入图像尺寸不受限制，提高了检测灵活度；充分利用深度不同的特征信息进行融合，以获得所检测目标的丰富的特征信息，进一步提高了检测精度；并且由于省去了传统目标检测方法中生成目标候选框的步骤，明显提高了模型训练以及测试的时间。本专利技术利用了深度卷积网络对目标的强大的表示能力，构建了用于目标检测的全卷积神经网络，提出了新的融合特征方法和多尺度训练的策略，提高了算法的检测速度和精度，获得了良好的目标检测结果。附图说明图1是本专利技术的目标检测模型的整体框架；图2是本专利技术的目标检测模型在PASCALVOC2012数据集上的测试结果；图3是本专利技术与其他不同算法的检测错误分析结果对比图。具体实施方式以下结合附图对本专利技术实施例做进一步详述。一种基于全卷积网络的多特征融合的目标检测方法，如图1所示，包括以下步骤：步骤1、构建如下全卷积神经网络结构：在每一个卷积层组内，我们大多数采用了3*3的滤波器，并且在每一步最大池化操作之后将滤波器的通道数量加倍，3*3滤波器之间的1*1滤波器用来压缩特征。步骤2、利用卷积神经本文档来自技高网...

【技术保护点】
一种基于全卷积网络的多特征融合的目标检测方法，其特征在于包括以下步骤：步骤1、搭建具有六个卷积层组的全卷积神经网络；步骤2、利用卷积神经网络的前五组卷积层提取图像特征，并将其输出进行融合，形成融合特征图；步骤3、对融合后的特征图进行卷积处理，直接产生固定数目的不同大小的目标边框；步骤4、计算卷积神经网络生成的目标边框与真实边框之间的分类误差与定位误差，利用随机梯度下降法降低训练误差，得到最终训练模型的参数，最后进行测试得到目标检测结果。

【技术特征摘要】
1.一种基于全卷积网络的多特征融合的目标检测方法，其特征在于包括以下步骤：步骤1、搭建具有六个卷积层组的全卷积神经网络；步骤2、利用卷积神经网络的前五组卷积层提取图像特征，并将其输出进行融合，形成融合特征图；步骤3、对融合后的特征图进行卷积处理，直接产生固定数目的不同大小的目标边框；步骤4、计算卷积神经网络生成的目标边框与真实边框之间的分类误差与定位误差，利用随机梯度下降法降低训练误差，得到最终训练模型的参数，最后进行测试得到目标检测结果。2.根据权利要求1所述的基于全卷积网络的多特征融合的目标检测方法，其特征在于：所述步骤1中搭建的全卷积神经网络结构如下：。3.根据权利要求1所述的基于全卷积网络的多特征融合的目标检测方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：⑴将图像输入到全卷积神经网络中，使得输入图像经过五组卷积层处理，每组卷积层均输出相应的特征图；⑵将第三卷积层组和第四卷积层组输出的特征图进行映射处理，尺度减少通道数增加，以使得其特征图尺寸与第五卷积层组的输出特征图保持一致；⑶将上述第三至第五卷积层组输出的特征图进行级联，得到包含图像多级特征信息的特征图。4.根据权利要求1所述的基于全卷积网络的多特征融合的目标检测方法，其特征在于：所述步骤3的具体实现方法包括以下步骤：⑴将输入图像分成11*11的网格，并对应到特征图当中；⑵对于每个网格，预测产生6个尺寸和长宽比不同的边界框，包括2种尺度以及3种长...

【专利技术属性】
技术研发人员：郭亚婧，郭晓强，姜竹青，周芸，门爱东，王强，付光涛，
申请(专利权)人：国家新闻出版广电总局广播科学研究院，北京邮电大学，
类型：发明
国别省市：北京,11