一种基于深度多尺度生成对抗网络的人群计数方法技术

本发明专利技术提供一种基于深度多尺度生成对抗网络的人群计数方法，包括如下步骤：选取训练数据集记为Train，其中包含人群图片集X和对应的真实密度图集Y两部分；设计对抗网络模型M，将M分为G和A两个模型，其中模型G是深度多尺度的全卷积模型，模型A是全连接神经网络模型；利用训练数据Train对模型M进行训练，拟合已构建的模型在训练数据L上的误差，保存最佳的G模型；将需要预测的人群图片输入到步骤3中保存的G模型，映射出密度图并估计出人群总数。本发明专利技术首先利用深度多尺度模型将人群图映射为密度图之后，又将真实的密度图与映射得到的密度图进行判别，从而进一步提高生成模型的质量和增加人数预测的准确率。增加人数预测的准确率。增加人数预测的准确率。

【技术实现步骤摘要】
一种基于深度多尺度生成对抗网络的人群计数方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于深度多尺度生成对抗网络的人群计数方法。

技术介绍

[0002]随着城市人口的迅速增长和城市化进程的加快，导致了体育赛事、政治集会、交通和通讯等群众性活动增加。人群计数和人群密度估计对于城市规划、人群控制、人群安全检测和视频监控的应用价值日益凸显。
[0003]从图像或视频中准确地估计人群数目已成为计算机视觉技术在人群控制和公共安全中的重要应用。在公共集会、体育赛事等场景中，参与人数或人数密度是未来活动规划和空间设计的重要信息。良好的人群计数方法也可以扩展到其他领域，例如，从微观图像中计数细胞或细菌，估计野生动物保护区的动物群体，或估计交通枢纽或交通堵塞的车辆数量，等等。
[0004]人群控制和公共安全等有着密切的联系，如何从监控中准确的估计出人群总数至关重要，研究者们广泛地关注着这个问题。目前的人群计数方法从输出目标图像中的人数发展到用密度图显示人群分布特征，因为人群分布的密度图能获得更全面的信息，这对于在高风险环境中做出正确的决策至关重要。
[0005]近年来拥塞场景分析的发展依赖于基于DNN的方法，因为它们取得了较高的精度。在DNN中，卷积神经网络(CNN)方法，已经获得了非常好的结果，但是仍然有一些潜在的问题待解决。通常是利用CNN结构的性能来学习从人群图像到相应密度图的非线性映射，优化CNN模型参数，使其最终能够映射出高质量的密度图。然而CNN方法只考虑预测的密度图与真实密度图的差异来监督模型的学习过程，进而提高人群图映射到密度图的质量；该方法并没有充分地将深度提取与多尺度提取相结合，也未考虑映射得到的密度图的质量。

技术实现思路

[0006]有鉴于此，本专利技术提供一种基于深度多尺度生成对抗网络的人群计数方法，用以解决现有人群计数方法没有将深度特征提取和多尺度的特征提取方法相结合的问题，此外为了进一步提高映射密度图的质量，本专利技术引入了对抗网络的思想。
[0007]为解决上述技术问题，本专利技术提供一种基于深度多尺度生成对抗网络的人群计数方法，包括如下步骤：
[0008]步骤1、选取训练数据集记为Train，其中包含人群图片集X和对应的真实密度图集Y两部分；
[0009]步骤2、设计对抗网络模型M，将M分为G和A两个模型，其中模型G是深度多尺度的全卷积模型，模型A是全连接神经网络模型；
[0010]步骤3、利用训练数据Train对模型M进行训练，拟合已构建的模型在训练数据L上的误差，保存最佳的G模型；
[0011]步骤4、将需要预测的人群图片输入到步骤3中保存的G模型，映射出密度图并估计出人群总数。
[0012]进一步的，步骤2中，设人群图片集中的第k张图片为x
k
∈X，k＝1,2,...,n；第i层卷积的第j个卷积核为W
ij
，则G模型的计算结果为：
[0013]output＝x
k
*W
ij
；
[0014]G模型中包括前端卷积模型、3个卷积支路和后端卷积模型三部分。
[0015]进一步的，步骤2中，A模型中，包含一个自适应最大池化层，将输入的密度图调整到相同的尺寸，还包含4个全连接层，其中最后一个全连接层包含1个神经元，使用sigmoid函数进行激活，使映射结果仅包含两种情况，即真和假，其中真记作1，假记作0。
[0016]进一步的，步骤3中，设x
k
对应的真实密度图为y
k
∈Y，k＝1,2,...,n，使用训练样本集Train学习深度多尺度生成对抗模型M的过程为：
[0017](1)初始化G模型和A模型的参数；
[0018](2)固定模型A的参数，将x
k
输入到模块G中映射出密度图G(x
k
)，再把G(x
k
)输入到A模型中得到判别结果A(G(x
k
))；将真实密度图y
k
输入到A模型中得到判别结果A(y
k
)，因为此时模型A不进行学习，所以对抗损失为：
[0019]L
Adv
＝log(1
‑
A(G(x
k
)))+log A(y
k
)
[0020](3)固定模型G的参数，G的输出直接作为A的输入，即将G和A链接为一个神经网络，记做GA模型，将x
k
输入到模型GA直接得到判别结果A(G(x
k
))，此时的映射损失为：
[0021]L
Gen
＝log A(G(x
k
))
[0022](4)该过程中的总损失L：
[0023]L＝0.01L
Adv
+0.99L
Gen
[0024](5)迭代(2)和(3)直至参数收敛；
[0025]执行完上述步骤之后，一次迭代完成，保存G模型，用于对需要预测的图片映射出密度图并估计人数。
[0026]进一步的，步骤3的学习过程，即卷积核W
(l)
的更新过程为梯度下降法：
[0027]W
(l)
＝W
‑
λ
▽
W
J(W)
[0028]其中，λ为学习率，J(W)为损失函数，
▽
W
J(W)表示J(W)关于W的偏导数。
[0029]进一步的，步骤4具体包括利用训练好的G模型对待估计人群图片进行计数的过程是：首先将人群图x
k
输入到G模型中映射出密度图G(x
k
)，然后对G(x
k
)进行积分计算出总人数N：
[0030]N＝∫∫
s
G(x
k
)dxdy
[0031]其中S表示估计密度图的空间区域，G(x
k
)表示估计的密度图。
[0032]本专利技术的上述技术方案的有益效果如下：
[0033]本专利技术首先通过数据集中的人群图与其对应的真实密度图对模型进行训练，得到训练好的模型M后保存需要的G模型，最后将要检测的数据输入到保存的G模型进行预测。
[0034]映射模型结合了深度和多尺度的特点，提取特征的能力更强，提取的尺度更广泛；其次通过判别映射密度图和真实密度图的过程，进一步增强了映射模型G映射密度图的质量，进而提高人群计数结果的准确性。
附图说明
[0035]图1为本专利技术基于深度多尺度生成对抗网络的人群计数方法的流程示意图；
[0036]图2为本专利技术对抗网络模型生成器的模型示意图；
[0037]图3为本专利技术对抗网络模型判别器的模型示意图。
具体实施方式
[0038]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度多尺度生成对抗网络的人群计数方法，其特征在于：包括如下步骤：步骤1、选取训练数据集记为Train，其中包含人群图片集X和对应的真实密度图集Y两部分；步骤2、设计对抗网络模型M，将M分为G和A两个模型，其中模型G是深度多尺度的全卷积模型，模型A是全连接神经网络模型；步骤3、利用训练数据Train对模型M进行训练，拟合已构建的模型在训练数据L上的误差，保存最佳的G模型；步骤4、将需要预测的人群图片输入到步骤3中保存的G模型，映射出密度图并估计出人群总数。2.如权利要求1所述的基于深度多尺度生成对抗网络的人群计数方法，其特征在于：步骤2中，设人群图片集中的第k张图片为x
k
∈X，k＝1,2,...,n；第i层卷积的第j个卷积核为W
ij
，则G模型的计算结果为：output＝x
k
*W
ij
；G模型中包括前端卷积模型、3个卷积支路和后端卷积模型三部分。3.如权利要求2所述的基于深度多尺度生成对抗网络的人群计数方法，其特征在于：步骤2中，A模型中，包含一个自适应最大池化层，将输入的密度图调整到相同的尺寸，还包含4个全连接层，其中最后一个全连接层包含1个神经元，使用sigmoid函数进行激活，使映射结果仅包含两种情况，即真和假，其中真记作1，假记作0。4.如权利要求3所述的基于深度多尺度生成对抗网络的人群计数方法，其特征在于：步骤3中，设x
k
对应的真实密度图为y
k
∈Y，k＝1,2,...,n，使用训练样本集Train学习深度多尺度生成对抗模型M的过程为：(1)初始化G模型和A模型的参数；(2)固定模型A的参数，将x
k
输入到模块G中映射出密度图G(x
k
)，再把G(x
k
)输入到A模型中得到判别结果A(G(x
k
))；将真实密度图y
k
输入...

【专利技术属性】
技术研发人员：贾富海，王锐，张东松，毛凤翔，谈敦铭，高涛，
申请(专利权)人：信阳学院，
类型：发明
国别省市：