一种多尺度卷积神经网络的密集人群计数方法技术

本发明专利技术公开了一种多尺度卷积神经网络的密集人群计数方法，采用SPMsCNN算法的网络结构采用基于堆积池化的多尺度卷积神经网络算法，算法中的多尺度模块有多个大小不同的滤波器，提取更多的人物特征信息，通过特征拼接保留这些信息，同时，引入堆积池化，在不引入参数和超参数的情况下，针对传统池化层进行改进，利用最大池化能保证网络模型尺度不变性的特点，通过对滤波器较小的池化层进行叠加，不仅更大范围的保证尺度不变性，还保留细粒度的信息，同时，SPMsCNN算法的网络结构层数不多，不会导致发生梯度消失或者梯度爆炸的现象的发生。

【技术实现步骤摘要】
一种多尺度卷积神经网络的密集人群计数方法
本专利技术涉及大数据统计和归集算法技术，具体涉及一种多尺度卷积神经网络的密集人群计数方法。
技术介绍
将密集人群人数统计的方法大致分为三类：基于检测的方法、基于回归的方法和基于密度估计的方法，其中检测的方法顾名思义基于检测的方法就是对人物进行检测，作为检测的标准，除了人的整体特征，还有人物特有部分的特征，例如，人头、肩膀、双耳等，为了有效的降低人物遮挡问题对实验造成的影响，很多基于检测的方法都是对人体的部位进行检测；基于检测的方法首先需要对图片进行预处理，接着对图片前景进行提取，再通过检测器判断哪些是人物信息，最后统计人数；基于回归的算法一般需要先对图片的低级特征进行提取，基于密度估计的方法对人群密度做了划分，分成：非常密集、密集、中等密集、稀疏和非常稀疏，这五个级别，后将图片均匀的分成若干个部分，对每个部分进行纹理特征的提取，最后根据提取到的特征信息得到对应的人群密度信息，再根据局部图片的人群密度信息估计局部的人群数量，最后将局部信息汇总成全局信息。在人数较少、遮挡不严重的场景下，使用基于检测的算法和基于回归的算法能取得不错的结果，但是在密集人群的场景下，最合适的算法还是基于密度估计的算法。纵观所有的网络结构，不难发现深度卷积神经网络和多列卷积神经网络被应用的最多，虽然深度卷积神经网络与多列卷积神经网络在密集人群场景下表现得不错，但是深度卷积神经网络很容易造成过拟合现象，并且由于网络结构的深度过深很可能存在梯度消失问题，这也加大了网络模型的训练难度，多列卷积神经网络训练起来比较困难，首先需要对每列进行预训练，再对整体进行训练，而深度较浅和列数较少的网络结构在特征提取方面表现得很差，而且很容易受到图片多尺度问题的影响。
技术实现思路
为解决上述问题，提出一个端到端的提出基于堆积池化的多尺度卷积神经网络算法，算法中的多尺度模块(Multi-ScaleBlob，MSB)结构有多个大小不同的滤波器，提取更多的人物特征信息，通过特征拼接保留这些信息，同时，引入堆积池化，在不引入参数和超参数的情况下，降低图片的多尺度问题对实验结果的影响的一种多尺度卷积神经网络的密集人群计数方法；一种多尺度卷积神经网络的密集人群计数方法，其特征包括：首先对输入的特征图进行滤波器大小为2ⅹ2，步长为2的最大池化；并对第一次池化输出的特征图进行滤波器大小为2ⅹ2，步长为1的第二次最大池化；同理，对第二次池化输出的特征图，进行滤波器大小为3ⅹ3，步长为1的第三次最大池化；最后一步是对三次池化提取的特征图的相应位置的特征值进行平均运算，最后的结果作为新的特征图并输出人群分布密度图。进一步地、所述方法采用MSB结构，所述MSB结构是Inception结构的一个变种，MSB结构分别通过滤波器大小为9ⅹ9、7ⅹ7、5ⅹ5、3ⅹ3的卷积层对输入的特征图进行特征提取，将得到的四个特征图进行concat拼接操作。进一步地、所述输入的特征图在同一数据集里不同图片中的人物所占像素大小不同，采用MSB结构对人物特征进行提取，适应人物信息的变化，同时采用堆积池化降低同一图片中不同区域高度相似性对网络模型的影响，提高网络模型的尺度不变性。进一步地、所述方法采用SPMsCNN算法的网络结构，包括第一层、第二层第三层、第四层、第五层、第六层、第七层、第八层、第九层和第十层；第一层为卷积层,为2ⅹ2，步长为2的最大池化；第二层为MSB结构；第三层为堆积池化层；第四层为MSB结构；第五层为MSB结构；第六层为最大池化层；第七层为MSB结构；第八层为MSB结构；第九层为特征图输出卷积层；第十层为滤波器大小为1ⅹ1的特征拼接卷积层。进一步地、所述网络结构的第一层是卷积层，第二层、第四层、第五层、第七层和第八层设计为特征提取的MSB结构模块；其中第三层为堆积池化层，对特征图进行下采样，其中第六层设置为最大池化，第九层和第十层都是两个卷积层，设计第九层的卷积层输出更多通道的特征图，第十层使用滤波器大小为1ⅹ1的卷积层对特征的拼接，替代了全连接层，最后生成估计的人群分布密度图。进一步地、所述第三层由于比较靠前，设计为堆积池化层，对特征图进行下采样，在保留细粒度信息的同时，不会造成特征大量丢失。进一步地、所述第六层设为最大池化，加快训练网络模型的速度，降低由于下采样所导致特征丢失的影响。进一步地、所述估计的人群分布密度图中所有像素值的和为确定所述待测试图像中的人数。本专利技术提出的是一个端到端的网络结构，不需要对部分结构进行预训练，络模型训练起来更加简单。本专利技术所采用的堆积池化是针对传统池化层进行改进，利用最大池化能保证网络模型尺度不变性的特点，通过对滤波器较小的池化层进行叠加，不仅能更大范围的保证尺度不变性，还能保留细粒度的信息，同时，SPMsCNN算法的网络结构层数不多，不会导致发生梯度消失或者梯度爆炸的现象的发生。本专利技术采用的堆积池化，在引入时不会引入额外的参数和超参数，因此不会增加网络模型的计算压力，对硬件的要求低。本专利技术针对同一数据集里不同图片中的人物所占像素大小不同，以往的单列网络结构无法适应这种人物信息的变化，为了适应这种人物变化，本专利技术采用MSB结构对人物特征进行提取，在保持网络模型的尺度不变性，采用堆积池化降低同一图片中不同区域高度相似性对网络模型的影响。本专利技术所采用的SPMsCNN算法对输入的图片大小没有要求，最大限度的保证图片的原始特征，从而提高网络模型的性能；且使用滤波器大小为1ⅹ1的卷积层对全连接层进行替换，网络模型训练的速度快。【附图说明】图1为堆积池化结构图；图2为MSB结构图；图3为整体网络结构图；图4为ShanghaiTech数据集和UCF_CC_50数据集对比图；图5为ShanghaiTech数据集Part_A测试集图片的人数分布图；图6为ShanghaiTech数据集Part_B测试集图片的人数分布图；图7为UCF_CC_50数据集图片的人数分布图；图8为ShanghaiTech数据集上实验结果图；图9为UCF_CC_50数据集上实验结果图。【具体实施方式】为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。一种多尺度卷积神经网络的密集人群计数方法，其特征在于采用SPMsCNN算法的网络结构，包括第一层、第二层第三层、第四层、第五层、第六层、第七层、第八层、第九层和第十层；第一层为卷积层,为2ⅹ2，步长为2的最大池化第二层为MSB结构；第三层为设计为堆积池化层；第四层为MSB结构；第五层为MSB结构；第六层为最大池化层。第七层为MSB结构...

【技术保护点】
1.一种多尺度卷积神经网络的密集人群计数方法，其特征包括：/n首先对输入的特征图进行滤波器大小为2ⅹ2，步长为2的最大池化；并对第一次池化输出的特征图进行滤波器大小为2ⅹ2，步长为1的第二次最大池化；同理，对第二次池化输出的特征图，进行滤波器大小为3ⅹ3，步长为1的第三次最大池化；最后一步是对三次池化提取的特征图的相应位置的特征值进行平均运算，最后的结果作为新的特征图并输出人群分布密度图。/n

【技术特征摘要】
1.一种多尺度卷积神经网络的密集人群计数方法，其特征包括：
首先对输入的特征图进行滤波器大小为2ⅹ2，步长为2的最大池化；并对第一次池化输出的特征图进行滤波器大小为2ⅹ2，步长为1的第二次最大池化；同理，对第二次池化输出的特征图，进行滤波器大小为3ⅹ3，步长为1的第三次最大池化；最后一步是对三次池化提取的特征图的相应位置的特征值进行平均运算，最后的结果作为新的特征图并输出人群分布密度图。


2.根据权利要求1所述的一种多尺度卷积神经网络的密集人群计数方法，其特征在于：所述方法采用MSB结构，所述MSB结构是Inception结构的一个变种，MSB结构分别通过滤波器大小为9ⅹ9、7ⅹ7、5ⅹ5、3ⅹ3的卷积层对输入的特征图进行特征提取，将得到的四个特征图进行concat拼接操作。


3.根据权利要求1所述的一种多尺度卷积神经网络的密集人群计数方法，其特征在于：所述输入的特征图在同一数据集里不同图片中的人物所占像素大小不同，采用MSB结构对人物特征进行提取，适应人物信息的变化，同时采用堆积池化降低同一图片中不同区域高度相似性对网络模型的影响，提高网络模型的尺度不变性。


4.根据权利要求1所述的一种多尺度卷积神经网络的密集人群计数方法，其特征在于：所述方法采用SPMsCNN算法的网络结构，包括第一层、第二层第三层、第四层、第五层、第六层、第七层、第八层、第九层和第十层；
第一层为卷积层,为2ⅹ2，步长为2的最大池...

【专利技术属性】
技术研发人员：杨戈，
申请(专利权)人：北京师范大学珠海分校，
类型：发明
国别省市：广东;44