基于稠密特征金字塔网络的物体检测方法技术

本发明专利技术涉及一种基于稠密特征金字塔网络的物体检测方法，包括下列步骤：确定基础网络架构，用于从输入图像中提取不同语义级别的深度特征，不同卷积块输出的特征图分辨率从下到上由逐渐降低。设计稠密连接网络部分，利用自上而下的跨层连接稠密地生成具有高级语义的特征图，将基础网络中最后输出的低分率特征图逐渐双线性差值上采样，使其与基础网络中所有卷积块中所有卷积层一一对用，并将其与基础网络中对应的特征图进行相加，最终得到若干高级语义且分辨率不同的特征图。设计细尺度预测部分，利用具有不同感受野的特征图分别提取不同尺度的候选检测窗口。输出物体检测结果。

【技术实现步骤摘要】
基于稠密特征金字塔网络的物体检测方法
本专利技术涉及计算机视觉领域中鲁棒有效的物体检测方法，特别是涉及基于深度卷积神经网络进行物体检测的方法。
技术介绍
物体检测是指识别图像或视频序列中存在物体(如行人、车辆等)的类别，并定位物体的位置。物体检测可以广泛应用于许多计算机视觉任务中，如自动驾驶、辅助驾驶、人机交互、身份认证、智能视频监控等。图1给出了物体检测在自动驾驶和身份认证等两个领域的应用示例。在图1(a)中，为了更好地进行驾驶决策、避免交通事故的发生，汽车的自动驾驶系统需要能够及时准确地检测汽车前方的行人、骑车人等。在图1(b)中，为了能够识别图像中具体人的身份信息，身份识别系统需要先检测出图像中存在的人脸。近年来，随着深度学习技术的发展，基于深度学习的方法开始在计算机视觉任务(如图像分类、物体检测、超分辨率重建、图像分割)中取得巨大的成功。具体到物体检测领域，基于深度卷积神经网络的方法取得了巨大的成功。在基于卷积神经网络的物体检测方法中，最具有代表性的物体检测方法为FasterRCNN[1]。FasterRCNN进行物体检测的主要过程分为两步：候选检测窗口的生成和候选检测窗口的分类。候选窗口的生成旨在提取图像中可能存在物体的所有候选检测窗口，而候选检测窗口的分类旨在分类这些候选窗口(即识别候选窗口的具体物体类别)。为了减少网络的计算消耗量、加快物体检测的速度，FasterRCNN的上述两个过程(即候选窗口的生成和候选窗口的分类)共享同一个基础网络。换而言之，基于基础网络的输出特征图，FasterRCNN进行候选窗口的生成和候选窗口的分类。一般而言，基础网络可以采用图像分类中常用的模型(如VGG[2]、ResNet[3])，包括若干的卷积层、激活层(ReLU)以及池化层等。因而，基础网络输出的特征图具有相对较小的空间分辨率和相对较大的感受野。由于相对较小的空间分辨率，小尺度物体的空间信息将会大量丢失。同时，相对较大的感受野也不能够很好地匹配所有尺度的物体，特别是小尺度物体。基于以上分析，FasterRCNN不能够很好地解决物体检测中的尺度变化问题，仍然存在很大的提升空间。为了能够更好地应对物体尺度变化的问题，近些年研究人员提出了许多的多尺度物体检测方法。这些多尺度方法主要分为两类：基于图像金字塔的方法[1][4]和基于特征金字塔的方法[5][6][7][8][9]。基于图像金字塔的方法首先将输入图像缩放成一系列不同尺度的图像，然后分别将每个尺度的图像送入神经网络中进行检测，最后合并各个尺度下的物体检测结果。该方法在一定程度上克服了物体尺度变化的影响，提升了物体检测的性能。但是，由于该方法需要将不同尺度的图像分别送入神经网络中，因而该方法在检测过程中十分耗时。基于特征金字塔的方法主要利用神经网络中不同卷积层输出的不同分辨率特征图分别检测不同尺度的物体。相比于基于图像金字塔的方法，基于特征金字塔的方法在提升物体检测性能的同时具有更高的检测效率。因而，基于特征金字塔的方法受到更好研究人员的青睐，在物体检测中具有更广泛的应用。在基于特征金字塔的方法中，多尺度神经网络(简称为MSCNN[5])和特征金字塔网络(简称为FPN[6])是两种代表性的方法。图2给出了两种方法(MSCNN和FPN)的示意图。MSCNN首先使用基础网络中不同卷积层输出的特征图提取不同尺度的候选检测窗口，然后对这些候选检测进行进一步分类和回归。如图2(a)所示，MSCNN利用神经网络中靠前的分辨率相对较大的特征图提取小尺度物体的候选检测窗口，利用神经网络中靠后的分辨率相对较小的特征图提取大尺度物体的候选检测窗口。同样，类似的思想被用于典型的单阶段物体检测方法SSD[7]中。尽管该方法取得了一定的成功，但是它仍然存在输出特征图语义不一致的问题。具体地，靠前的特征图语义级别相对较低，靠后的特征图语义级别相对较高。为了提升输出特征图的语义级别，FPN利用自上而下的跨层连接将不同卷积层输出的特征图进行融合。具体地，FPN将高语义级别低分辨率的特征图进行上采样同低语义级别高分辨率的特征图进行融合(点对点的像素相加)，用于提升低语义级别高分辨率特征图的语义级别。因而，在FPN结构中所有输出特征图都具有较高级语义特征。在物体检测过程中，FPN具有更好的检测性能，特别是小尺度物体检测。同样，该跨层连接操作同样被用于RON[8]和DSSD[9]中。参考文献：[1]S.Ren,K.He,R.Girshick,andJ.Sun,FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks,IEEETrans.PatternAnalysisandMachineIntelligence,vol.39,no.6,pp.1137-1149,2017.[2]K.SimonyanandA.Zisserman,VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition,Proc.InternationalConferenceonLearningRepresentations,2015.[3]K.He,X.Zhang,S.Ren,andJ.Sun,DeepResidualLearningforImageRecognition,Proc.IEEEComputerVisionandPatternRecognition,2016.[4]B.SinghandL.S.Davis,AnAnalysisofScaleInvarianceinObjectDetection-SNIP,Proc.IEEEComputerVisionandPatternRecognition,2018.[5]Z.Cai,Q.Fan,R.S.Feris,andN.Vasconcelos,AUnifiedMulti-scaleDeepConvolutionalNeuralNetworkforFastObjectDetection,Proc.EuropeanConferenceonComputerVision,2016.[6]T.Lin,P.Dollar,R.Girshick,K.He,B.Hariharan,andS.Belongie,FeaturePyramidNetworksforObjectDetection,Proc.IEEEComputerVisionandPatternRecognition,2017.[7]W.Liu,D.Anguelov,D.Erhan,C.Szegedy,S.Reed,C.-Y.Fu,A.C.Berg,SSD:SingleShotMultiboxDetector,Proc.EuropeanConferenceonComputerVision,2016.[8]T.Kong,F.Sun,A.Yao,H.Liu,M.Lu,andY.Chen,RON:ReverseConnectionwithObjectnessPriorNetworksforObjectDetection,Proc.IEEEComputerVisionandPattern本文档来自技高网...

【技术保护点】
1.一种基于稠密特征金字塔网络的物体检测方法，包括下列步骤：(1)确定基础网络架构，用于从输入图像中提取不同语义级别的深度特征，该基础网络包括多个卷积块，每个卷积块由多个卷积层构成，不同卷积块之间由池化层连接，在该基础网络中不同卷积块输出的特征图分辨率从下到上由逐渐降低。(2)设计稠密连接网络部分，利用自上而下的跨层连接稠密地生成具有高级语义的特征图，将基础网络中最后输出的低分率特征图逐渐双线性差值上采样，使其与基础网络中所有卷积块中所有卷积层一一对用，并将其与基础网络中对应的特征图进行相加，最终得到若干高级语义且分辨率不同的特征图。(3)设计细尺度预测部分，利用具有不同感受野的特征图分别提取不同尺度的候选检测窗口：经过稠密连接部分后，输出的特征分别具有不同的感受野。为进一步将上下文信息引入到每一个输出特征图中，在细尺度预测中每个输出特征由稠密连接部分的相邻三个输出特征图进行串接并经过1x1卷积层降低通道数得到。(4)输出物体检测结果：分别将细尺度预测部分的特征图接检测子网络用于预测特征图不同位置为物体的概率和位置偏移量，根据相关概率和位置偏移量可以得到最终的物体检测结果。

【技术特征摘要】
1.一种基于稠密特征金字塔网络的物体检测方法，包括下列步骤：(1)确定基础网络架构，用于从输入图像中提取不同语义级别的深度特征，该基础网络包括多个卷积块，每个卷积块由多个卷积层构成，不同卷积块之间由池化层连接，在该基础网络中不同卷积块输出的特征图分辨率从下到上由逐渐降低。(2)设计稠密连接网络部分，利用自上而下的跨层连接稠密地生成具有高级语义的特征图，将基础网络中最后输出的低分率特征图逐渐双线性差值上采样，使其与基础网络中所有卷积块中所有卷积层一一对用，并将其与基础网络中对应的特征图进行相...

【专利技术属性】
技术研发人员：庞彦伟，曹家乐，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12