一种基于图像的人群计数方法及设备技术

本发明专利技术公开了一种基于图像的人群计数方法及设备。将待分析图像输入包含多层卷积层以及特征融合层的神经网络后，通过特征融合层对各特征提取子网络的输出特征进行尺度归一化处理，并将尺度归一化处理后的输出特征结合各输出特征对应的加权系数生成待分析图像的人群密度图，最后对人群密度图进行积分以确定待分析图像中的人数。该方案可基于单张图像统计人群总数，准确率高，场景适应性好，能够同时满足密集人群计数和稀疏人群计数，能够极大减少统计人员的工作负担。

【技术实现步骤摘要】
一种基于图像的人群计数方法及设备
本专利技术涉及图像分析
，特别涉及一种基于图像的人群计数方法。本专利技术同时还涉及一种基于图像的人群计数设备。
技术介绍
随着社会经济的飞速发展，城市公共建设日益完善，公共场所的人群大量聚集现象越来越严重，规模越来越大。人群计数是智能监控技术的重要组成部分，对维护社会稳定，防止公共场所人群拥堵、非法聚集有着重要作用。常用的密集人数统计方法先在前景分块的基础上提取特征，然后利用特征进行回归，从而确定密集场景中的人数。受视角的影响，离摄像头近的人比远处的人占更多的像素，即透视现象，所以在提取特征前需要对图像进行视角归一化，从而提高回归的准确性。不同于目标检测，回归无法准确定位目标的位置，但是通过回归方法可以估计密集人群的总数。而这类方法通常存在以下三点缺陷：一、依赖前景分块提取的运行区域，无法确定大场景中移动缓慢的人群，前景分块的准确性也影响了人群计数的准确性；二、需要事先构造不同场景视角图，导致了算法对未知场景的适应性不佳；三、稀疏人群统计准确率低。传统的人群计数方法利用目标检测定位每个行人位置，然后通过统计检测到的行人数量确定人群总数。但是现有的目标检测算法基本无法检测密集人群中小尺度人头或者被遮挡的行人，所以传统的人群计数方法无法适用于密集人群计数。有鉴于此，现有技术中提出了以下两种常用密集人数计数方案：(1)基于多列卷积神经网络的单张图像人群计数该方案将测试图分别输入三个子网络，每个子网络包含四层卷积层和两层池化层，每列卷积网络使用的卷积核大小不同，三个子网络输出的特征图直接连接，然后再用一个1*1的卷积核生成单张人群密度图，该密度图的积分结果即为图像中的人群总数。专利技术人在实现本专利技术的过程中发现，该方案中每个子网络只进行了四次卷积，最终提取的特征不佳，无法区分人群和纹理丰富的背景区域，如树林等。其次，该方案对图像尺度敏感，当测试图像和训练集图像尺寸相差较大时，人群计数准确率迅速下降。此外，该方案需要手动选择高斯核用于产生真实(GroundTruth)密度图，高斯核的大小影响了回归的准确性，所以该方案场景适应性不佳，也无法同时适用于密集人群和稀疏人群。(2)基于深度学习的密集人数估计方法该方案将测试图按原始图像宽高比分块，然后归一化为32*32的像素块，将像素块送入由三层卷积层和一层全连接层构成的网络中，网络输出结果即为该像素块所包含的人数，对所有像素块的预测结果求和，所得结果即为测试图中包含的总人数。专利技术人在实现本专利技术的过程中发现，该方案将图像分块，并将其尺寸归一化为32*32，导致了图像发生变形，回归的准确性较差；其次，该方案中用于回归的特征图为网络全连接层输出的100维特征，该特征丢失了位置信息，无法准确回归人群密度图；此外，该方案构造的网络只有三层卷积，网络太浅，所得特征不佳，无法准确区分人群和背景。
技术实现思路
本专利技术提供了一种基于图像的人群计数方法，用以对各种不同场景下的采集图像中的人群总数进行准确的统计，该方法包括：将待分析图像输入包含多层卷积层以及特征融合层的神经网络，所述多层卷积层按照卷积层的层次顺序划分为多个不同的特征提取子网络；通过所述特征融合层对各所述特征提取子网络的输出特征进行尺度归一化处理，并将所述尺度归一化处理后的输出特征结合各输出特征对应的加权系数生成所述待分析图像的人群密度图，所述加权系数由所述特征融合层在所述神经网络的训练阶段学习所得；对所述人群密度图进行积分以确定所述待分析图像中的人数。相应的，本申请还提出了一种基于图像的人群计数设备，包括：输入模块，将待分析图像输入包含多层卷积层以及特征融合层的神经网络，所述多层卷积层按照卷积层的层次顺序划分为多个不同的特征提取子网络；处理模块，通过所述特征融合层对各所述特征提取子网络的输出特征进行尺度归一化处理，并将所述尺度归一化处理后的输出特征结合各输出特征对应的加权系数生成所述待分析图像的人群密度图，所述加权系数由所述特征融合层在所述神经网络的训练阶段学习所得；确定模块，对所述人群密度图进行积分以确定所述待分析图像中的人数。由此可见，通过应用本申请的技术方案，将待分析图像输入包含多层卷积层以及特征融合层的神经网络后，通过特征融合层对各特征提取子网络的输出特征进行尺度归一化处理，并将尺度归一化处理后的输出特征结合各输出特征对应的加权系数生成待分析图像的人群密度图，最后对人群密度图进行积分以确定待分析图像中的人数。该方案可基于单张图像统计人群总数，准确率高，场景适应性好，能够同时满足密集人群计数和稀疏人群计数，能够极大减少统计人员的工作负担。附图说明图1为本申请实施例提出的一种基于图像的人群计数方法的流程示意图；图2为本申请具体实施例所提出的一种神经网络的结构示意图；图3A为本申请具体实施例所提出的一张图像；图3B为本申请具体实施例根据图3A所提出的图像所得到的人群密度图；图3C为本申请具体实施例所提出的另一张图像；图3D为本申请具体实施例根据图3C所提出的图像所得到的人群密度图；图4为本申请具体实施例所提出的图像分块示例图；图5为本申请实施例提出的一种基于图像的人群计数设备的结构示意图。具体实施方式如
技术介绍
所述，现有技术中的人数统计方案大多存在准确率低、无法同时满足稀疏人群计数和密集人群计数、场景适应性差等问题。导致这些问题的主要原因在于：一、特征不佳，无法准确区分人群和背景区域，无法适应不同尺寸的输入图像；二、透视现象，离摄像头近的人比远处的人占更多的像素，很多方案根据场景的先验知识对图像进行视角归一化，这导致方案的场景适应性不佳。有鉴于此，本申请提出了一种基于图像的人群计数方法，该方法能够同时适用于密集人群和稀疏人群，准确率高，对不同场景也有很好的适应性。因此可主要用于统计公共场所中的人群总数，并且取得良好的效果。如图1所示，为本申请提出的一种基于图像的人群计数方法的流程示意图，包括如下步骤：S101，将待分析图像输入包含多层卷积层以及特征融合层的神经网络，所述多层卷积层按照卷积层的层次顺序划分为多个不同的特征提取子网络。由于本申请主要是解决现有技术中由于视角导致的透视效果以及特征不佳所带来的场景适应性不佳的问题，因此在本申请的技术方案设计了一种神经网络用于提取不同尺度的特征，然后对这些不同尺度特征进行融合，通过使用特征融合层将不同尺度特征以最优方式融合，从而获得具有尺度不变性的人群密度图。由于多尺度的特征提取网络可以获取不同尺度的特征，这样最终融合所得的特征就具有了尺度不变性，即便输入图像的尺寸发生变化，结果也不会发生偏差错误。具体的，该神经网络包括以下两个特征：(1)包含多层卷积层以及特征融合层；(2)多层卷积层按照卷积层的层次顺序划分为多个不同的特征提取子网络在
技术介绍
中有提到，当卷积层过少时，会导致所提取出来的特征不佳，从而无法准确区分人群和背景区域，并且，简单的图像尺寸归一化也会导致图像发生变形而导致回归的准确性变差。因此在本申请技术方案的神经网络中，首先需要包含多层卷积层，这些卷积层按照其各自的层次顺序被划分为多个特征提取子网络，每个特征提取子网络都用来输出不同尺度的特征图，在此基础上，本申请技术方案再进一步地在神经网络的末尾设置用来实现多尺度特征融合的特征融合本文档来自技高网...

【技术保护点】
1.一种基于图像的人群计数方法，其特征在于，包括：将待分析图像输入包含多层卷积层以及特征融合层的神经网络，所述多层卷积层按照卷积层的层次顺序划分为多个不同的特征提取子网络；通过所述特征融合层对各所述特征提取子网络的输出特征进行尺度归一化处理，并将所述尺度归一化处理后的输出特征结合各输出特征对应的加权系数生成所述待分析图像的人群密度图，所述加权系数由所述特征融合层在所述神经网络的训练阶段学习所得；对所述人群密度图进行积分以确定所述待分析图像中的人数。

【技术特征摘要】
1.一种基于图像的人群计数方法，其特征在于，包括：将待分析图像输入包含多层卷积层以及特征融合层的神经网络，所述多层卷积层按照卷积层的层次顺序划分为多个不同的特征提取子网络；通过所述特征融合层对各所述特征提取子网络的输出特征进行尺度归一化处理，并将所述尺度归一化处理后的输出特征结合各输出特征对应的加权系数生成所述待分析图像的人群密度图，所述加权系数由所述特征融合层在所述神经网络的训练阶段学习所得；对所述人群密度图进行积分以确定所述待分析图像中的人数。2.如权利要求1所述的方法，其特征在于，在将待分析图像输入包含多层卷积层以及特征融合层的神经网络之前，还包括：获取当前场景下的测试图像，对所述测试图像进行灰度图转换以及伽马校正，将经过所述灰度图转换以及伽马校正后的所述测试图像均匀划分为多块子图像，并依次将各所述子图像作为所述待分析图像；在对所述人群密度图进行积分以确定所述待分析图像中的人数之后，还包括：将各所述子图像的人数之和作为所述测试图像中的人群总数。3.如权利要求2所述的方法，其特征在于，通过所述特征融合层对各所述特征提取子网络的输出特征进行尺度归一化处理，并将所述尺度归一化处理后的输出特征结合各所述尺度归一化处理后的输出特征的加权系数生成所述待分析图像的人群密度图，具体为：将各所述特征提取子网络的输出特征输入所述特征融合层，以转换为尺度一致的所述尺度归一化处理后的输出特征；接收所述特征融合层输出的融合特征，并将所述融合特征作为所述人群密度图；其中，所述融合特征为各个所述尺度归一化处理后的输出特征与对应的加权系数的乘积的总和。4.如权利要求1-3任一项所述的方法，其特征在于，在所述多层卷积层中按照卷积层的层次顺序，分别提取第一数量层数的卷积层构成第一特征提取子网络，提取第二数量层数的卷积层构成第二特征提取子网络，提取第三数量层数的卷积层构成第三特征提取子网络；其中，所述第一数量层数、第二数量层数、第三数量层数的和为所述多层卷积层的总层数。5.如权利要求4所述的方法，其特征在于，所述神经网络具体通过以下方式训练生成：向所述神经网络同时输入样本图像以及与所述样本图像尺寸相同的真实人群密度图；将所述真实人群密度图下采样为第一尺度的大小，用于训练所述第一特征提取子网络的卷积层；固定所述第一特征提取子网络的卷积层，将所述真实人群密度图下采样为第二尺度的大小，用于训练所述第二特征提取子网络的卷积层；固定所述第一特征提取子网络以及所述第二特征提取子网络的卷积层，将所述真实人群密度图下采样为第三尺度的大小，用于训练所述第三特征提取子网络的卷积层；将所述真实人群密度图下采样为所述第一特征提取子网络、所述第二特征提取...

【专利技术属性】
技术研发人员：徐茜，毛泉涌，王玲，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33