一种用语义分割辅助物体检测的方法技术

本发明专利技术涉及一种用语义分割辅助物体检测的方法，包括下列步骤：选取主干网络并设定参数：语义分割和物体检测共用主干网络；设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；设计全局注意力机制模块。基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构。

A Method of Object Detection Assisted by Semantic Segmentation

The invention relates to a method of assisting object detection with semantic segmentation, which includes the following steps: selecting backbone network and setting parameters: semantic segmentation and object detection shared backbone network; designing spatial information feedback module: integrating the output features of two modules Block4', Block5'after semantic segmentation branch with the output features of Block4, Block5, and semantic segmentation branch. The output feature is fed back to the branch of object detection to enhance the feature of object detection, and the global attention mechanism module is designed. Based on the selected backbone network and the designed spatial information feedback module and global attention mechanism module, the structure of semantic segmentation assistant object detection is designed.

【技术实现步骤摘要】
一种用语义分割辅助物体检测的方法
本专利技术属于深度学习和计算机视觉领域，特别涉及一种用语义分割辅助物体检测的方法。
技术介绍
物体检测是计算机视觉领域一个非常重要的领域。物体检测是用一个矩形框定位物体并且识别物体类别的任务。物体检测已经广泛应用于视频监控、自动驾驶和人机交互等众多领域。在自动驾驶系统中，物体检测算法可以识别前行车辆或行人以保持安全距离。在交通场景下的视频监控中，物体检测可以辅助检测违章车辆等。随着卷积神经网络表达能力的提升和大数据的获取，基于卷积神经网络的物体检测算法取得很大的进展。物体检测难点之一是物体的多尺度性。为了提取更具鲁棒性的特征，卷积神经网络需要进行池化操作，池化操作会使得特征图的分辨率不断减小，使得小物体的特征减弱或者丢失，导致小物体的检测准确性很低。为了提升小物体的检测准确性，现有的方法是用卷积神经网络中浅层的、较大分辨率、有很多空间信息和小物体细节的特征图来检测小物体，深层，较小分辨率、特征鲁棒的特征图用于检测大物体[1][3]。浅层特征的语义级别低，表征能力弱，小物体检测性能还能进一步提升：为了加强浅层特征的语义级别，[2]引入一种top-down结构，用高语义的特征与低语义特征融合，加强浅层特征的语义级别。物体检测的另一个难点是物体存在遮挡，被遮挡的物体很难检测到，为了检测被遮挡的物体，[3]扩大感兴趣区域以引入上下文信息，辅助被遮挡物体的检测。[4][5][6]证明物体检测与其他任务联合，有助于提升物体检测的性能。本专利技术提出一种用语义分割辅助物体检测的方法。语义分割是对图像上的每个像素进行分类的任务。语义分割任务中的特征相较物体检测，有更多的空间信息和上下文信息。语义分割常用膨胀卷积代替下采样操作，在保持特征图分辨率不变的情况下，还能提升特征的语义信息。本专利技术提出在原有物体检测的分支基础上，引入语义分割的分支，充分利用语义分割分支的特征，使物体检测的特征融入丰富的上下文信息和语义信息，帮助检测小物体和有遮挡的物体。参考文献：[1]W.Liu,D.Anguelov,D.Erhan,C.Szegedy,S.Reed,C.-Y.Fu,andA.C.Berg.Ssd:Singleshotmultiboxdetector.InProc.ECCV2016.[2]T.Lin,P.Dollar,R.Girshick,K.He,B.Hariharan,andS.Belongie,“FeaturePyramidNetworksforObjectDetection.”InProc.CVPR2017.[3]CaiZ,FanQ,FerisRS,etal.AUnifiedMulti-scaleDeepConvolutionalNeuralNetworkforFastObjectDetection[C]/InProc.ECCV,2016.[4]K.He,G.Gkioxari,P.Dollár,andR.Girshick.“Maskr-cnn.”InProc.ICCV2017.[5]Zhao,Xiangyun,ShuangLiang,andYichenWei."PseudoMaskAugmentedObjectDetection."arXivpreprintarXiv:1803.05858(2018).[6]Zhang,Zhishuai,etal."Single-ShotObjectDetectionwithEnrichedSemantics."InProc.CVPR2018.[7]Chen,Liang-Chieh,KevinMurphy,andAlanL.Yuille."Deeplab:Semanticimagesegmentationwithdeepconvolutionalnets,atrousconvolution,andfullyconnectedcrfs."IEEEtransactionsonpatternanalysisandmachineintelligence40.4(2018):834-848.[8]S.Ren,K.He,R.Girshick,andJ.Sun,“Fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks,”inInternationalConferenceonNeuralInformationProcessingSystems,2015,pp.91–99.[9]HariharanB.,ArbelaezP.,BourdevL.,MajiS.,andMalikJ."Semanticcontoursfrominversedetectors."InProc.ICCV2011.
技术实现思路
本专利技术目的在于提供一种用语义分割辅助物体检测的方法,利用语义分割任务中特征空间信息和语义信息丰富的特点，对物体检测的特征进行辅助加强,建立两个分支——物体检测分支和语义分割分支，进行多任务学习。技术方案如下：一种用语义分割辅助物体检测的方法，包括下列步骤：(1)选取主干网络并设定参数：语义分割和物体检测共用主干网络，主干网络通常包含5个block块，物体检测和语义分割分支完全共用前3个block，包括Block1，Block2，Block3模块，特征分辨率依次降低1/2，降至1/8；后2个模块Block4，Block5根据任务需求，两个分支设置不同的膨胀率和下采样参数：语义分割分支膨胀率大于1，不进行下采样，最终特征分辨率保持在输入的1/8；物体检测分支膨胀率为1，继续下采样，最终特征分辨率是输入的1/32。(2)设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，融合更彻底；先对Block4’，Block5’进行下采样，下采样倍数一次为2和4，然后将下采样过后的特征再分别与Block4，Block5的输出特征融合，采用逐元素相加的操作。(3)设计全局注意力机制模块：将语义分割分支的特征使用全局池化操作，利用1×1卷积操作压缩信息，sigmoid的函数激活，接着利用1×1卷积操作恢复通道数，最终产生逐通道注意力，即1×1×C的矢量，与用于物体检测的特征逐通道相乘，对其微调，抑制噪声，对物体产生更强的响应。(4)基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构：该网络包含平行的两支，一支负责物体检测，另一支进行语义分割，并且共用主干网络。由于语义分割后端的特征保留丰富的空间信息和语义信息，利用设计的空间信息反馈模块和全局注意力机制模块，将语义分割的特征与物体检测特征融合，加强物体检测特征，加强后的特征输入至后续的网络，产生检测结果。(5)确定网络训练、测试所用的数据集，训练策略，对设计的网络进行训练，训练得到最后的检测模型。本专利技术适用于任何基于神经网络的物体检测和语义分割相结合的情况，可以提升单阶段或者双阶段的物体检测器的性本文档来自技高网...

【技术保护点】
1.一种用语义分割辅助物体检测的方法，包括下列步骤：(1)选取主干网络并设定参数：语义分割和物体检测共用主干网络，主干网络通常包含5个block块，物体检测和语义分割分支完全共用前3个block，包括Block1，Block2，Block3模块，特征分辨率依次降低1/2，降至1/8；后2个模块Block4，Block5根据任务需求，两个分支设置不同的膨胀率和下采样参数：语义分割分支膨胀率大于1，不进行下采样，最终特征分辨率保持在输入的1/8；物体检测分支膨胀率为1，继续下采样，最终特征分辨率是输入的1/32。(2)设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，融合更彻底；先对Block4’，Block5’进行下采样，下采样倍数一次为2和4，然后将下采样过后的特征再分别与Block4，Block5的输出特征融合，采用逐元素相加的操作。(3)设计全局注意力机制模块：将语义分割分支的特征使用全局池化操作，利用1×1卷积操作压缩信息，sigmoid的函数激活，接着利用1×1卷积操作恢复通道数，最终产生逐通道注意力，即1×1×C的矢量，与用于物体检测的特征逐通道相乘，对其微调，抑制噪声，对物体产生更强的响应。(4)基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构：该网络包含平行的两支，一支负责物体检测，另一支进行语义分割，并且共用主干网络。由于语义分割后端的特征保留丰富的空间信息和语义信息，利用设计的空间信息反馈模块和全局注意力机制模块，将语义分割的特征与物体检测特征融合，加强物体检测特征，加强后的特征输入至后续的网络，产生检测结果。(5)确定网络训练、测试所用的数据集，训练策略，对设计的网络进行训练，训练得到最后的检测模型。...

【技术特征摘要】
1.一种用语义分割辅助物体检测的方法，包括下列步骤：(1)选取主干网络并设定参数：语义分割和物体检测共用主干网络，主干网络通常包含5个block块，物体检测和语义分割分支完全共用前3个block，包括Block1，Block2，Block3模块，特征分辨率依次降低1/2，降至1/8；后2个模块Block4，Block5根据任务需求，两个分支设置不同的膨胀率和下采样参数：语义分割分支膨胀率大于1，不进行下采样，最终特征分辨率保持在输入的1/8；物体检测分支膨胀率为1，继续下采样，最终特征分辨率是输入的1/32。(2)设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，融合更彻底；先对Block4’，Block5’进行下采样，...

【专利技术属性】
技术研发人员：庞彦伟，聂晶，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12