基于混合特征金字塔和混合膨胀卷积的行人检测网络结构制造技术

本发明专利技术属于计算机视觉方向技术领域，公开了一种基于混合特征金字塔和混合膨胀卷积的人脸检测网络结构，包括混合金字塔结构生成步骤和上下文信息提取器模块生成步骤以卷积神经网络为主干网络，结合混合特征金字塔和混合膨胀卷积技术，可以有效解决人脸在尺度、姿势、表情、遮挡、模糊等多变条件下的多人脸检测问题的基于混合特征金字塔和混合膨胀卷积的多子网络人脸检测模型设计方法。

Pedestrian detection network structure based on hybrid feature pyramid and hybrid expansion convolution

【技术实现步骤摘要】
基于混合特征金字塔和混合膨胀卷积的行人检测网络结构
本专利技术属于计算机视觉方向
，具体涉及基于混合特征金字塔和混合膨胀卷积的行人检测网络结构。
技术介绍
行人检测，是基于行人的外在特征信息进行行人识别与定位的一种生物识别技术，是行人识别或再识别系统中最关键的一环。行人检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有行人，如果是则返回行人的位置、大小和姿态。在智能安防和智能监控及图像检索等领域应用广泛，具有极高的商业价值。由于行人在尺度、姿势、表情（去掉）、遮挡、模糊等方面具有高度的变化性，行人检测仍然是一个具有挑战性的问题。VJ检测算法和基于DPM的传统行人检测算法，使用人工设计的描述子以及传统的机器学习算法。人工设计的描述子数量少，自适应能力差，不如基于深度卷积网络的特征提取器；基于深度网络的机器学习算法具有更强的表达能力，可以模仿任意形状的决策面，这是传统机器学习算法所不具备的。由于这两个原因，传统人脸检测算法的检测效果往往较差。视频、图像中的行人尺度存在着较大的差异性，且行人容易受遮挡、模糊等问题影响，这些都是行人检测领域最棘手的问题之一。目前，效果稳定且使用应用较多的行人检测算法主要还是基于Haar的AdaBoost行人检测算法，该算法主要包括两个部分：训练和识别。训练一般采用离线的方式，选取大量的行人样本作为正样本，同时选取大量非行人图像作为负样本，通过迭代的方法从大量的Haar特征中提取出分类效果最好的特征作为弱分类器，而最终生成的强分类器是由大量的弱分类器组成，训练的结果包含提取的大量Haar特征及权值。AdaBoost行人检测算法虽然简单有效，但只对单一行人的检测具有较好的效果，作为传统行人检测算法的AdaBoost算法具有存在诸多的局限性，主要局限如下：（1）特征局限：Haar特征属于手工特征，自适应性能和泛化性能较差。（2）实时性：一般是线下行人匹配。（3）应用场景局限：适用的数据集是单一行人图像，对多尺度行人、多张行人、行人遮挡、行人形变等复杂、更切实际的应用场景和环境无能为力，且没有行人定位功能；准确来说，AdaBoost算法属于行人匹配模块。
技术实现思路
本专利技术提供了一种可以有效解决行人在尺度、姿势、、遮挡、模糊等多变条件下的多行人检测问题的基于混合特征金字塔和混合膨胀卷积的多子网络行人检测模型设计方法。本专利技术所公开的基于混合特征金字塔和混合膨胀卷积的多子网络行人检测模型设计方法，其特征在于，包括以下步骤：混合金字塔结构生成步骤，以卷积神经网络为主干网络、以卷积神经网络中具有不同级别语义信息的特征映射层作为基础层构建混合金字塔网络模块HFPN形成混合特征图；使用卷积神经网络的膨胀卷积层构建混合膨胀卷积结构模块HDCS并添加至卷积神经网络的末端代替卷积神经网络的全连接层；所述卷积神经网络为VGGnet或者ResNet网络，进一步的，也不止这两个网络可供选择，这两个是卷积神经网络中最具有代表性的，其他的卷积神经网络也都可以。上下文信息提取器模块生成步骤，使用卷积神经网络的普通卷积层对所述混合金字塔结构生成步骤中生成的混合特征图进行特征加工，然后对于加工后的特征图进行双分支处理，每个分支的特征图通道数为均分的一半，对两个分支处理后的特征图进行通道拼接形成上下文信息提取器模块，将所述上下文信息提取器模块嵌入到卷积神经网络中。所述混合金字塔结构生成步骤中混合金字塔网络模块HFPN的构建，是以卷积神经网络中选取的具有不同级别语义信息的若干特征图层作为基础层（所有的卷积图层都算），由上至下（即由深至浅）依次选取相邻的高、中、低三个特征图层为一个单元，首先将一个单元中的高、中两个特征图层进行融合形成复合特征图，然后将复合特征图和该单元中的低层特征图再次进行融合形成混合特征图，这个过程就是混合特征金字塔网络模块做的作用，这是一个单元的处理，然后按照这种流程依次向下，每次以一个层为步长，比如主干网络一共10层，第一次选10、9、8，第二次选9、8、7，……，3、2、1，再取三个特征图层进行同样的处理，直至将所有基础层全部形成混合特征图。所述将一个单元中，将高、中两层的特征图进行融合形成复合特征图，具体包括以下步骤：首先，采用双线性插值的方法将高层特征图的尺寸进行扩充，使其尺寸等于中层特征图的尺寸；然后，使用卷积神经网络的卷积层（如卷积核尺寸为1*1的卷积层）对尺寸扩张后的高层特征图进行通道压缩，使其通道数等于中层特征图；最后，对两层特征图进行通道拼接（非逐元素、逐通道相加），形成复合特征图，此时复合特征图的通道数是中层特征图的两倍。所述对尺寸扩张后的高层特征图进行通道压缩使用卷积神经网络的卷积层是卷积核尺寸为1*1的卷积层。所述将一个单元中，所述将复合特征图与低层特征图进行融合形成混合特征图，具体包括以下步骤：首先，使用卷积神经网络的卷积层（如3*3的卷积层）对低层特征图的尺寸进行压缩，使得压缩后的尺寸等于复合特征图的尺寸且通道数扩充为该低层特征图面积压缩的倍数（因为也不一定是4倍）。假设低层特征图维度为h*w*c，复合特征图的尺寸为(h/2)*(w/2)，则变换后的低层特征图维度为(h/2)*(w/2)*(c*4)，相当于通道数也扩充为原来的四倍，这样做的目的是保证信息总量不变，防止信息损失，从而产生真正所需的低层信息；其次，使用卷积神经网络的卷积层（如3*3的卷积层）对变换后的低层特征图进行通道压缩，使其通道数等于该单元中复合特征图的1/2；然后，将压缩后的低层特征图与该单元中的复合特征图进行通道拼接（非逐元素、逐通道相加），形成最终的融合特征图，此时融合特征图中高中低层特征图的通道数都相同；最后，使用卷积神经网络的卷积层（如3*3的卷积层）对融合后的特征图进行通道变化，根据需要进行压缩操作或者扩张操作，接着再用卷积神经网络的卷积层（如3*3的卷积层）的卷积操作进行通道信息融合，从而形成最终的混合特征图，用于下一步操作，输入到上下文信息提取器模块生成步骤中，混合特征图的通道数等于融合特征图的1/3，便于和融合特征图中的原中层特征图的通道数量相对应，即等于原始一个单元里，中层特征图的通道数。所述混合膨胀卷积结构模块HDCS包含三个卷积核尺寸均为3*3的膨胀卷积层，且三个膨胀卷积层的膨胀系数依次为较小的数值1、2、3。假设网络第l层有一像素v，第l-1层使用混合膨胀卷积模块后，感受野覆盖区域中所有的值均对v值产生贡献，并且距离v值位置越近的区域贡献的比重越大，避免了使用单一膨胀卷积时，卷积核中的0元素导致上层特征图的局部区域信息的丢失。使用使用较小的3*3的卷积层对混合特征图进行特征加工，3*3尺寸的卷积层参数较少，且操作时在增加特征非线性的同时不易产生由于特征图上（下）采样引起的特征混淆现象。所述对于加工后的特征图进行双分支处理，每个分支的特征图通道数为均分的一半，具体的第一个分支经过一个3*3的卷积层，第二个分支本文档来自技高网...

【技术保护点】
1.基于混合特征金字塔和混合膨胀卷积的多子网络行人检测模型设计方法，其特征在于，包括以下步骤：/n混合金字塔结构生成步骤，以卷积神经网络为主干网络、以卷积神经网络中具有不同级别语义信息的特征映射层作为基础层构建混合金字塔网络模块HFPN形成混合特征图；使用卷积神经网络的膨胀卷积层构建混合膨胀卷积结构模块HDCS并添加至卷积神经网络的末端代替卷积神经网络的全连接层；/n上下文信息提取器模块生成步骤，使用卷积神经网络的普通卷积层对所述混合金字塔结构生成步骤中生成的混合特征图进行特征加工，然后对于加工后的特征图进行双分支处理，对两个分支处理后的特征图进行通道拼接形成上下文信息提取器模块，将所述上下文信息提取器模块嵌入到卷积神经网络中。/n

【技术特征摘要】
1.基于混合特征金字塔和混合膨胀卷积的多子网络行人检测模型设计方法，其特征在于，包括以下步骤：
混合金字塔结构生成步骤，以卷积神经网络为主干网络、以卷积神经网络中具有不同级别语义信息的特征映射层作为基础层构建混合金字塔网络模块HFPN形成混合特征图；使用卷积神经网络的膨胀卷积层构建混合膨胀卷积结构模块HDCS并添加至卷积神经网络的末端代替卷积神经网络的全连接层；
上下文信息提取器模块生成步骤，使用卷积神经网络的普通卷积层对所述混合金字塔结构生成步骤中生成的混合特征图进行特征加工，然后对于加工后的特征图进行双分支处理，对两个分支处理后的特征图进行通道拼接形成上下文信息提取器模块，将所述上下文信息提取器模块嵌入到卷积神经网络中。


2.如权利要求1所述的基于混合特征金字塔和混合膨胀卷积的行人检测网络结构，其特征在于：所述卷积神经网络为VGGnet或者ResNet网络。


3.如权利要求1所述的基于混合特征金字塔和混合膨胀卷积的行人检测网络结构，其特征在于：所述混合金字塔结构生成步骤中混合金字塔网络模块HFPN的构建，是以卷积神经网络中选取的具有不同级别语义信息的若干特征图层作为基础层，由上至下依次选取相邻的高、中、低三个特征图层为一个单元，首先将一个单元中的高、中两个特征图层进行融合形成复合特征图，然后将复合特征图和该单元中的低层特征图再次进行融合形成混合特征图，直至将所有基础层全部形成混合特征图。


4.如权利要求3所述的基于混合特征金字塔和混合膨胀卷积的行人检测网络结构，其特征在于：所述将一个单元中，将高、中两层的特征图进行融合形成复合特征图，具体包括以下步骤：
首先，采用双线性插值的方法将高层特征图的尺寸进行扩充，使其尺寸等于中层特征图的尺寸；
然后，使用卷积神经网络的卷积层对尺寸扩张后的...

【专利技术属性】
技术研发人员：候少麒，殷光强，李耶，殷雪朦，杨晓宇，李超，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51