一种加强SSD小目标行人检测性能的网络结构及检测方法技术

本发明专利技术公开了一种加强SSD小目标行人检测性能的网络结构，包括：预处理模块、基础网络模块、附加特征提取模块、两级特征融合模块、分类和回归模块。本发明专利技术还公开了一种加强SSD小目标行人检测性能的检测方法，其特征在于，包括以下步骤：获取用于小目标行人检测的训练样本集并转换格式；初始化训练模型，对训练样本进行预处理；提取样本的浅层特征和深层特征，将深层特征的信息融合到浅层特征中，形成多尺度检测框架；进行网络参数的迭代更新；完成网络训练后进行测试。本发明专利技术在SSD算法的基础上引入了两级特征融合模块，有效利用了特征层之间的上下文信息，使深层网络信息能够较好地融合到浅层网络中，加强了SSD算法对小目标行人的检测性能。

A Network Structure and Detection Method for Strengthen the Performance of SSD Small Target Pedestrian Detection

The invention discloses a network structure to enhance the pedestrian detection performance of SSD small targets, which includes: preprocessing module, basic network module, additional feature extraction module, two-level feature fusion module, classification and regression module. The invention also discloses a detection method for enhancing the performance of SSD small target pedestrian detection, which is characterized by the following steps: acquiring training sample set for small target pedestrian detection and transforming format; initializing training model and preprocessing training samples; extracting shallow and deep features of samples, and fusing the information of deep features into shallow features to form a training sample. Multiscale detection framework; Iterative updating of network parameters; Testing after completion of network training. Based on the SSD algorithm, the present invention introduces a two-stage feature fusion module, which effectively utilizes the context information between the feature layers, enables the deep network information to be better integrated into the shallow network, and strengthens the detection performance of the SSD algorithm for small target pedestrians.

【技术实现步骤摘要】
一种加强SSD小目标行人检测性能的网络结构及检测方法
本专利技术涉及深度学习及行人检测领域，特别涉及一种加强SSD小目标行人检测性能的网络结构及检测方法。
技术介绍
行人检测是计算机视觉领域中的一个重要研究分支，主要任务是判断输入的图像或视频序列中是否出现行人，并确定其位置。行人检测技术广泛地应用于视频监控、车辆辅助驾驶、智能机器人等多个领域。近年来，深度学习方法在目标检测上取得了重大的突破，展现出比传统方法更强大的检测能力。行人检测作为一种特定的目标检测任务，也获益于深度学习技术的快速发展。相比于传统的检测方法，深度学习方法可以从训练数据中自主地学习行人的特征，并且可以实现端到端的检测。2014年RossGirshick等人在欧洲计算机视觉会议(ECCV)上发表论文《Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation》，首次将深度学习引入目标检测领域，相比于传统检测方法，大幅提高了在PASCALVOC数据集上的检测准确率。2016年发表于计算机视觉和模式识别会议(CVPR)上的论文《YouOnlyLookOnce:Unified,Real-TimeObjectDetection》提出了YOLO算法，不需要区域建议过程，可以达到实时检测，但是检测精度偏低。2016年WeiLiu等人在ECCV会议上发表论文《SSD:SingleShotMultiBoxDetector》，所提出的SSD算法也属于无区域建议的方法，利用多尺度检测思想，在提高检测精度的同时满足了实时性。然而，当目标尺度较小时，以上众多经典深度学习方法的检测效果并不理想。这是因为小目标分辨率较低，能被提取的目标特征有限，且更容易受到噪声干扰造成漏检，此外，小目标需要的搜索深度更大，检测速度受到影响。因此，远距离下小目标行人的检测是一个有待解决的技术难点。SSD算法作为目标检测领域中的一种经典深度学习方法，采用了多尺度检测框架，但是该算法主要依靠Conv4_3层来检测小目标，Conv4_3层属于低级特征，语义区分性较差，存在特征提取不充分的问题，因此SSD算法对小目标的检测效果较差。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种加强SSD小目标行人检测性能的网络结构及检测方法，此网络结构及检测方法可显著提高对小目标行人的检测性能。本专利技术的目的通过以下的技术方案实现：一种加强SSD小目标行人检测性能的网络结构，包括：预处理模块，用于统一样本尺寸和样本扩增；基础网络模块，用于提取样本的浅层特征；附加特征提取模块，用于提取样本的深层特征；两级特征融合模块，用于将深层特征与浅层特征融合；分类和回归模块，用于计算损失，实现分类和行人框的回归。此网络结构是在SSD算法网络结构的基础上进行改进，引入两级特征融合策略，通过引入两级特征融合模块把深层网络的特征融合到浅层网络的特征中，以提升浅层特征的表示能力，增强对小目标行人的检测性能。优选的，所述基础网络模块采用VGG16内置网络，其Conv4_3作为浅层特征提取层。更进一步的，所述附加特征提取模块，其Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2作为深层特征提取层。更进一步的，所述两级特征融合模块，用于将Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2的特征信息融合到Conv4_3中。第一级融合，先将Conv4_3经过3×3卷积并以ReLU(修正线性单元)方式激活，再将Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2分别经过3×3卷积、ReLU方式激活以及双线性插值操作，使其与Conv4_3尺度一致；然后将经过卷积、激活和插值操作的五个特征提取层分别与经过卷积、激活操作的Conv4_3按照Eltwise-SUM(相加合并)方式融合在一起，即将特征图对应位置单元(Cell)进行相加，得到五个融合层；最后，将每一个融合层再次以ReLU方式激活，并进行BatchNorm(批量归一化)操作；第二级融合，将所得的五个融合特征层按照Eltwise-SUM方式融合，即将每个特征图对应位置单元进行相加，得到新的融合层，然后再将新融合层以ReLU方式激活，并进行BatchNorm操作，得到最终的两级特征融合层。一种加强SSD小目标行人检测性能的检测方法，包括以下训练步骤：获取用于小目标行人检测的训练样本集，并转化为深度学习框架可以直接读取的格式；初始化训练模型，对训练样本进行预处理；提取样本的浅层特征和深层特征，将深层特征的信息融合到浅层特征中，形成多尺度检测框架；计算损失并反向传播，进行网络参数的迭代更新；完成网络训练。优选的，所述初始化训练模型过程中设置模型训练参数，包括预训练模型、模型迭代次数、学习率、优化方法、算法训练的batchsize(批尺寸)、batchsize个数、分类IOU(交并比)阈值、初始迭代次数。更进一步的，对训练样本进行预处理包括将样本尺寸统一并采用缩放、翻转、切块的操作对训练样本集进行扩充。优选的，将经过预处理的样本通过基础网络模块提取浅层特征，通过附加特征提取模块提取深层特征，采用两级特征融合策略，将深层特征与浅层特征融合。更加进一步的，选取基础网络模块的Conv4_3作为浅层特征提取层，选取附加特征提取模块的Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2作为深层特征提取层，形成多尺度检测框架，将深层特征与浅层特征融合的具体步骤为：第一级融合，将基础网络模块中的Conv4_3分别与附加模块中的Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2进行融合，得到五个融合特征层；第二级融合，将上述五个特征融合层进行融合，得到最终的两级特征融合层，用以替代浅层特征Conv4_3，形成新的多尺度检测框架。更进一步的，两级特征融合模块的第一级特征融合方法具体如下：先将Conv4_3经过3×3卷积并以ReLU方式激活，再将Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2分别经过3×3卷积、ReLU方式激活以及双线性插值操作，使其与Conv4_3尺度一致；然后将经过卷积、激活和插值操作的五个特征提取层分别与经过卷积、激活操作的Conv4_3按照Eltwise-SUM方式融合在一起，即将特征图对应位置单元进行相加，得到五个融合层；最后，将每一个融合层再次以ReLU方式激活，并进行BatchNorm操作。更进一步的，所述双层特征融合模块的第二级特征融合是指将所得的五个融合特征层按照Eltwise-SUM方式融合，即将每个特征图对应位置单元进行相加，得到新的融合层，然后再将新融合层以ReLU方式激活，并进行BatchNorm操作。优选的，迭代更新过程中，将两级特征融合层和Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2送入分类和回归模块，计算损失；利用优化方法将损失进行反向传播，更新基础网络模块、附加特征提取模块和两级特征融合模块中的网络系数，即各神经元之间的连接权重以及偏置，经过初始化中确定的迭代次数后完成网络训练。更进一步的，分类和回归模块中总的损本文档来自技高网...

【技术保护点】
1.一种加强SSD小目标行人检测性能的网络结构，其特征在于，包括：预处理模块，用于统一样本尺寸和样本扩增；基础网络模块，用于提取样本的浅层特征；附加特征提取模块，用于提取样本的深层特征；两级特征融合模块，用于将深层特征与浅层特征融合；分类和回归模块，用于计算损失，实现分类和行人框的回归。

【技术特征摘要】
1.一种加强SSD小目标行人检测性能的网络结构，其特征在于，包括：预处理模块，用于统一样本尺寸和样本扩增；基础网络模块，用于提取样本的浅层特征；附加特征提取模块，用于提取样本的深层特征；两级特征融合模块，用于将深层特征与浅层特征融合；分类和回归模块，用于计算损失，实现分类和行人框的回归。2.根据权利要求1所述的网络结构，其特征在于，所述基础网络模块采用VGG16内置网络，其Conv4_3作为浅层特征提取层；所述附加特征提取模块，其Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2作为深层特征提取层；所述两级特征融合模块，用于将Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2的特征信息融合到Conv4_3中；第一级融合，先将Conv4_3经过3×3卷积并以ReLU方式激活，再将Fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2分别经过3×3卷积、ReLU方式激活以及双线性插值操作，使其与Conv4_3尺度一致；然后将经过卷积、激活和插值操作的五个特征提取层分别与经过卷积、激活操作的Conv4_3按照Eltwise-SUM方式融合在一起，即将特征图对应位置单元进行相加，得到五个融合层；最后，将每一个融合层再次以ReLU方式激活，并进行BatchNorm操作；第二级融合，将所得的五个融合特征层按照Eltwise-SUM方式融合，即将每个特征图对应位置单元进行相加，得到新的融合层，然后再将新融合层以ReLU方式激活，并进行BatchNorm操作，得到最终的两级特征融合层。3.一种加强SSD小目标行人检测性能的检测方法，其特征在于，包括以下训练步骤：获取用于小目标行人检测的训练样本集，并转化为深度学习框架可以直接读取的格式；初始化训练模型，对训练样本进行预处理；提取样本的浅层特征和深层特征，将深层特征的信息融合到浅层特征中，形成多尺度检测框架；计算损失并反向传播，进行网络参数的迭代更新；完成网络训练。4.根据权利要求3所述的检测方法，其特征在于，所述初始化训练模型过程中设置模型训练参数，包括预训练模型、模型迭代次数、学习率、优化方法、算法训练的batchsize、batchsize个数、分类IOU阈值、初始迭代次数；对训练样本进行预处理包括将样本尺寸统一并采用缩放、翻转、切块的操作对训练样本集进行扩充。5.根据权利要求3所述的检测方法，其特征在于，将经过预处理的样本通过基础网络模块提取浅层特征，通过附加特征提取模块提取深层特征，采用两级特征融合策略，将...

【专利技术属性】
技术研发人员：胡永健，陈奇华，刘琲贝，王宇飞，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44