基于辅助分支优化和局部密度块增强的深度学习人群计数方法技术

本发明专利技术为一种基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，包括以下步骤：S1、获取人群图像和预处理训练图像；S2、生成真实密度图，并根据人头坐标标注生成合适的真实分割图；S3、构建人群计数网络模型；S4、训练人群计数网络模型；S5、将人群图像输入到训练好的人群计数网络模型中预测人数。本发明专利技术通过利用高斯卷积函数生成真实密度图，根据人头坐标标注生成合适的真实分割图，构建人群计数网络模型并进行训练，充分利用人群图像中的前后景差异，让计算网络更集中于前景人群预测，利用局部密度块信息，对预测差异较大的密度块进行局部增强，利用真实的人数信息，对网络进行强化监督，进一步提高主干网络计数精度。网络计数精度。网络计数精度。

【技术实现步骤摘要】
基于辅助分支优化和局部密度块增强的深度学习人群计数方法


[0001]本专利技术涉及图像处理
，尤其涉及基于辅助分支优化和局部密度块增强的深度学习人群计数方法。

技术介绍

[0002]人群计数是计算机视觉领域的一项热门应用，需要估计图像中的人数和人群分布。人群计数主要包括以下几类方法：一是基于传统图像的检测方法，使用滑动窗口机制，训练一个行人分类器，通过窗口在图像上滑动来检测图像中出现的人，每个人头通过回归框标注，人头总数即为回归框的个数，但是这种方法不能体现人群在图像中的分布情况，而且在人群密集、遮挡严重的场景下，性能会严重下降；二是基于传统图像的回归方法，手工提取图像中的特征，然后使用线性回归等方法在特征与人数间建立映射关系；三是近年基于卷积神经网络和密度图的估计方法，例如经典的MCNN算法，使用三个卷积分支，采用大、中、小三种卷积核提取密集、适中、稀疏区域的人群不同聚集程度的特征，取得了一定的成效。但当前人群计数网络大多只包含单分支网络，没有充分利用其他有用信息，如背景信息、密度图信息，充分利用这些额外信息可以更好地提高计数网络的计数精度，而且大部分人群计数网络只会将预测密度图和真实密度图进行像素级别的对比，忽略了总人数信息这一重要特征，人数信息可以加强网络的监督作用。

技术实现思路

[0003]为解决现有技术所存在的技术问题，本专利技术提供基于辅助分支优化和局部密度块增强的深度学习人群计数方法，充分利用人群图像中的前后景差异，让计算网络更集中于前景人群预测，利用局部密度块信息，对预测差异较大的密度块进行局部增强，利用真实的人数信息，对网络进行强化监督，进一步提高主干网络计数精度。
[0004]本专利技术采用以下技术方案来实现：基于辅助分支优化和局部密度块增强的深度学习人群计数方法，包括以下步骤：
[0005]S1、获取人群图像和预处理训练图像；
[0006]S2、利用二维高斯卷积函数生成真实密度图，并根据人头坐标标注生成合适的真实分割图；
[0007]S3、构建人群计数网络模型，包括构建主干网络、掩膜分支网络、指标分支网络和局部密度块增强模块；
[0008]S4、利用步骤S1获取的预处理训练图像，将其输入到步骤S3中构建好的人群计数网络模型中，得到预测的密度图，并与真实密度图作损失比较，利用反向传播和梯度更新算法训练人群计数网络模型；
[0009]S5、将人群图像输入到训练好的人群计数网络模型中预测人群图像人数。
[0010]本专利技术与现有技术相比，具有如下优点和有益效果：
[0011]1、本专利技术通过利用高斯卷积函数生成真实密度图，根据人头坐标标注生成合适的真实分割图，构建人群计数网络模型并进行训练，充分利用人群图像中的前后景差异，让计算网络更集中于前景人群预测。
[0012]2、利用局部密度块信息，对预测差异较大的密度块进行局部增强，利用真实的人数信息，对网络进行强化监督，进一步提高主干网络计数精度。
[0013]3、本专利技术在不改变主干网络模型大小和参数量的情况下显著提升了计数精度。
附图说明
[0014]图1是本专利技术的结构示意图；
[0015]图2是主干网络配置示意图；
[0016]图3是掩膜分支网络配置示意图；
[0017]图4是指标分支网络配置示意图；
[0018]图5是局部密度损失增强块示意图；
[0019]图6(a)是样图1的预测人数效果图；
[0020]图6(b)是样图1的真实人数效果图；
[0021]图6(c)是样图2的预测人数效果图；
[0022]图6(d)是样图2的真实人数效果图。
具体实施方式
[0023]下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0024]实施例
[0025]如图1所示，本实施例基于辅助分支优化和局部密度块增强的深度学习人群计数方法，包括以下步骤：
[0026]S1、获取人群图像和预处理训练图像；
[0027]S2、利用二维高斯卷积函数生成真实密度图，并根据人头坐标标注生成合适的真实分割图；
[0028]S3、构建人群计数网络模型，包括构建主干网络、掩膜分支网络、指标分支网络和局部密度块增强模块；
[0029]S4、利用步骤S1获取的预处理训练图像，将其输入到步骤S3中构建好的人群计数网络模型中，得到预测的密度图，并与真实密度图作损失比较，利用反向传播和梯度更新算法训练人群计数网络模型；
[0030]S5、将人群图像输入到训练好的人群计数网络模型中预测人群图像人数。
[0031]本实施例中，步骤S1的具体实现过程为：对人群数据集的图像进行随机裁剪、随机翻转处理，取0.5～1.0之间的随机数作为裁剪因子，在每张图片中随机裁剪4张子图作为训练图像，并在训练集上选取部分图像作为验证集。
[0032]本实施例中，步骤S2中使用自适应高斯核生成真实密度图，高斯核方差sigma取值使用K近邻算法，取人头中心点周围4个人的平均距离；通过步骤S1获得的人头坐标标注和人群图像在人头标注周围25
×
25范围内把像素值设置为1得到真实分割图。
[0033]本实施例中，步骤S3中主干网络包括多个普通卷积网络结构和空洞卷积结构；普通卷积提取图像特征，空洞卷积在不减少特征图分辨率的情况下扩大神经网络的感受野，提升网络的特征提取能力，人群图像经过普通卷积层和空洞卷积层后输出得到预测密度图。
[0034]具体地，如图2所示，步骤S3中的主干网络，依次为4层普通卷积、6层空洞卷积和1层普通卷积；对于4层普通卷积，第一层普通卷积包括两个3
×3×
64的卷积，即卷积核
×
卷积核
×
通道数，第二层普通卷积包括两个3
×3×
128的卷积，第三层卷积包括三个3
×3×
256的卷积，第四层卷积包括三个3
×3×
512的卷积，每一个卷积操作后都由ReLU函数进行非线性激活，每个卷积层后使用最大池化进行下采样；对于6层空洞卷积，分别为3
×3×
512，3
×3×
512，3
×3×
512，3
×3×
256，3
×3×
128，3
×3×
64，每个卷积的空洞率都为2，每一个卷积操作后都由ReLU函数进行非线性激活；最后一层普通卷积为3
×3×
1，将特征降为一维并输出预测密度图。
[0035]如图3所示，本实施例中，步骤S3中掩膜分支网络包括两个卷积层和两个激活层，掩膜分支网络从主干网络中的第四层普通卷积引出，输入一组中间特征图，输出人群图片的前后景分割图。具体地，掩膜分支网络的设置依次为1
×1×
256卷积，ReLU激活函数，1
×1×
1卷积，然后用Sigmoid本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，包括以下步骤：S1、获取人群图像和预处理训练图像；S2、利用二维高斯卷积函数生成真实密度图，并根据人头坐标标注生成合适的真实分割图；S3、构建人群计数网络模型，包括构建主干网络、掩膜分支网络、指标分支网络和局部密度块增强模块；S4、利用步骤S1获取的预处理训练图像，将其输入到步骤S3中构建好的人群计数网络模型中，得到预测的密度图，并与真实密度图作损失比较，利用反向传播和梯度更新算法训练人群计数网络模型；S5、将人群图像输入到训练好的人群计数网络模型中预测人群图像人数。2.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，步骤S1的具体实现过程为：对人群数据集的图像进行随机裁剪、随机翻转处理，取0.5～1.0之间的随机数作为裁剪因子，在每张图片中随机裁剪若干张子图作为训练图像，并在训练集上选取部分图像作为验证集。3.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，步骤S2中使用自适应高斯核生成真实密度图，高斯核方差sigma取值使用K近邻算法，取人头中心点周围若干个人的平均距离；通过步骤S1获得的人头坐标标注和人群图像在人头标注周围25
×
25范围内把像素值设置为1得到真实分割图。4.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，步骤S3中的主干网络，依次为4层普通卷积、6层空洞卷积和1层普通卷积；其中，4层普通卷积，第一层普通卷积包括两个3
×3×
64的卷积，第二层普通卷积包括两个3
×3×
128的卷积，第三层卷积包括三个3
×3×
256的卷积，第四层卷积包括三个3
×3×
512的卷积，每一个卷积操作后都由ReLU函数进行非线性激活，每个卷积层后使用最大池化进行下采样；6层空洞卷积，分别为3
×3×
512，3
×3×
512，3
×3×
512，3
×3×
256，3
×3×
128，3
×3×
64，每个卷积的空洞率都为2，每一个卷积操作后都由ReLU函数进行非线性激活；最后一层普通卷积为3
×3×
1，将特征降为一维并输出预测密度图。5.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，步骤S3中掩膜分支网络包括两个卷积层和两个激活层，掩膜分支网络从主干网络中的第四层普通卷积引出，输入中间特征图，输出人群图片的前后景分割图；其中，掩膜分支网络的设置依次为1
×1×
256卷积，ReLU激活函数，1
×1×
1卷积，然后用Sigmoid函数激活。6.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，步骤S3中指标分支网络包括多个卷积层和池化层，指标分支网络从主干网络中的第四层普通卷积引出，输出一维特征图，并对特征图上的每个图像值求和获取预测人数；其中，指标分支网络的设置依次为3
×3×
256卷积，最大池化，3
×3×
128卷积，最大池化，3
×3×
64卷积，最大池化，3
×3×
32卷积，最大池化，3
×3×
1卷积。7.根据权利要求1所述的基于辅助分支优化和局部密度块增强的深度学习人群计数方法，其特征在于，步骤S3中局部密度块增强模块将真实密度图分成大小相同的4块，设为P1
～P4，将预测密度图分成大小相同的4块...

【专利技术属性】
技术研发人员：李展，陆晋晖，陈浩，冉启航，郑凤佳，杨嘉兴，
申请(专利权)人：暨南大学，
类型：发明
国别省市：