基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法制造技术

本发明专利技术属于人群密度检测方面的技术领域，具体为基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，该基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法包括以下步骤：S1：选取训练集，读取人群密度数据集中的图片，并设置卷积神经网络模型的训练参数；S2：根据卷积神经网络模型以及其训练参数，以损失函数最小化为目标来训练卷积神经网络模型。通过深度学习的手段采用更为密集的方式连接一组扩张卷积，在没有显著增加模型大小的情况下提升了人群密度检测的效果，并且也利用注意力机制提高了模型的效率。用注意力机制提高了模型的效率。用注意力机制提高了模型的效率。

【技术实现步骤摘要】
基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法


[0001]本专利技术涉及人群密度检测方面的
，具体为基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法。

技术介绍

[0002]近年来随着经济水平发展,人口快速增长,由于人群聚集引起的骚乱已经不止一次的发生,人群监控也变得越来越重要,但是靠人力来实现人群监控容易产生疲劳并且容易受到个人主观因素影响,与此同时,计算机视觉技术日趋成熟,它在工程中的应用范围已经扩展到车牌识别、人脸检测、指纹识别等生活的方方面面,由此更加促进了人群密度自动估计方法的研究。人群密度等级估计和人群流量统计是人群监控的2个重要研究方向。人群密度等级估计将人群按照密集程度划分为不同等级,通过特征分析及分类手段估计人群密度,常应用于人群密度的预警。而人群流量统计侧重于统计人数,要求结果能精确到人数。人群密度估计主要分为特征提取和人群密度分类两步。
[0003]人群密度估计与密集人群计数是当前计算机视觉领域的研究热点之一,具有非常广泛的应用。随着国家经济的持续高速发展,城镇化不断推进,城市人口规模越来越大,人群密集行为越来越多,由此带来的恐怖事件、踩踏事件也日趋增多。目前通过监控视频实现人群密度估计和准确人群计数是一个至关重要的任务,其结果对人群检测、人群异常行为分析等有重要的参考作用。深度学习是一种由多个处理层组成的计算模型,它不需要人工标注各种特征,可以通过学习获得数据的多抽象层表示。近年来,深度学习方法的广泛应用显著提高了语音识别、视觉目标识别和检测结果。卷积神经网络是目前深度学习中最为流行的学习算法,其主要优势体现在局部连接和权值共享,不仅降低了网络模型的复杂度,减少了权值数量,而且这种网络结构对平抑、旋转、倾斜、比例缩放等具有高度不变形。
[0004]现有的关于人群密度估计算法还存在着很多问题，例如场景中人群过于密集，受遮挡严重以及其他因素导致的结果不是很准确。

技术实现思路

[0005]本专利技术的目的在于提供基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，以解决上述
技术介绍
中提出的现有的关于人群密度估计算法还存在着很多问题，例如场景中人群过于密集，受遮挡严重以及其他因素导致的结果不是很准确的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，该基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法包括以下步骤：
[0007]S1：选取训练集，读取人群密度数据集中的图片，并设置卷积神经网络模型的训练参数；
[0008]S2：根据卷积神经网络模型以及其训练参数，以损失函数最小化为目标来训练卷
积神经网络模型；
[0009]S3：将待处理的图像输入到卷积神经网络模型中进行训练和测试，用Ci表示图像中的人群数量，并输出最终的人群密度图，记作Mi；
[0010]S4：输入原始图像I之后，可以对原始图像I进行多尺度的缩放以及旋转或镜像操作，得到新的图像，由此来进行制定的特征提取，将这些新的图像集合记作Ii，并对新的图像集合Ii中的图像的人头位置进行标注，得到新的人群集合C；
[0011]S5：训练图像集合Ii的图片时，由图像集合Ii中标注文件生成真实密度图样本；
[0012]S6：首先利用VGG
‑
16的前十层来构建卷积神经网络前端；
[0013]S7：经过上下文卷积模块，将提取出来的VGG特征值，针对不同的卷积特征图，采用不同的池化尺度来对此进行池化；
[0014]S8：接着对生成对抗网络进行训练，生成对抗网络网络包含生成器G和鉴别器D以及回归网络R，生成器G提取图片的语义信息，生成器G解码网络生成人群密度分布图，而鉴别器D则用于判别得到的人群密度分布图是属于S5得到的真实密度图样本还是属于生成器G生成，在不断逼近中得到更真实的人群密度图；
[0015]S9：对于整个结构的Loss计算使用的公式如下：
[0016][0017]其中，Loss表示损失函数的值，λ1表示鉴别器产生的误差所占的比重，G(I)表示图像I经过生成器G的输出，λ2表示生成器所产生的误差所占的比重，D(G(I))表示G(I)经过鉴别器D的输出，m表示训练集样本数量，I表示输入原始图像，c
i
表示图像中人群数量，M
i
表示图像对应的人群密度图，为了使Loss尽可能的小，当数据集图片尺寸不固定的时候，选择batch size为1的SGD作为优化器，而当尺寸固定时，则选择batch size为32的Adam作为优化器；
[0018]S10：将测试图像作为网络的输入，网络直接输出图像中的人数；
[0019]S11：最后的结果用均方误差MSE和平均绝对误差MAE来显示出来，均方误差MSE是最常用的回归损失函数，计算方法是求预测值与真实值之间距离的平方和，平均绝对误差MAE是另一种用于回归模型的损失函数，平均绝对误差MAE是目标值和预测值之差的绝对值之和；
[0020][0021][0022]优选的，所述人群密度数据集为ShTech数据集，path_sets中保存的就是part_B中的训练集和测试集，然后依次读取数据集中的每一张图片将其放到列表img_paths中，由于原始图片和其对应的mat文件在两个不同的文件夹下面，文件名和后缀名有一定的区别，所以通过replace()方法将图片的路径img_path转换成mat文件的路径并读取。
[0023]优选的，所述S5中标注文件生成真实密度图样本的过程具体为：首先构造一个和原始图片大小相同的矩阵，并将其全部置为0，然后将每个被标记的人头对应的位置为1，这
样就得到了一个只有0和1的矩阵，最后通过高斯核函数进行卷积得到一个连续的密度图。
[0024]优选的，所述S7中这里选择的三个卷积核大小分别为：1x1，2x2，3x3，6x6，分别可以得到不同大小的kxk的块。
[0025]优选的，所述kxk的块与卷积核为1的卷积层进行卷积操作，选用卷积核为1进行卷积的好处是不会改变原始特征图的维度，从而可以确保卷积的过程中会增加冗余信息或是漏掉一些信息，接着将不同尺寸的特征图分别使用通过双线性插值的方法扩大到原始特征大小，最后通过通道拼接法对四个同样尺度的特征图进行特征融合，以形成对比度特征，进一步使用对比功能来学习比例感知功能的权重W，然后将其反馈到后端网络。
[0026]与现有技术相比，本专利技术的有益效果是：
[0027]通过深度学习的手段采用更为密集的方式连接一组扩张卷积，在没有显著增加模型大小的情况下提升了人群密度检测的效果，并且也利用注意力机制提高了模型的效率。其次，使用生成对抗学习可以直接进行新样本的采样和推断，提高了新样本的生成效率，对抗训练方法摒弃了直接对真实数据的复制或平均，增加了生成样本的多样性，GAN在生成样本的实践中，生成的样本易于人类理解。例如，能够生成十分锐利清晰的图像，为创造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法，其特征在于：该基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法包括以下步骤：S1：选取训练集，读取人群密度数据集中的图片，并设置卷积神经网络模型的训练参数；S2：根据卷积神经网络模型以及其训练参数，以损失函数最小化为目标来训练卷积神经网络模型；S3：将待处理的图像输入到卷积神经网络模型中进行训练和测试，用Ci表示图像中的人群数量，并输出最终的人群密度图，记作Mi；S4：以ShTech数据集图片为例，输入原始图像I之后，可以对原始图像I进行多尺度的缩放以及旋转或镜像操作，得到新的图像，由此来进行制定的特征提取，将这些新的图像集合记作Ii，并对新的图像集合Ii中的图像的人头位置进行标注，得到新的人群集合C；S5：训练图像集合Ii的图片时，由图像集合Ii中标注文件生成真实密度图样本；S6：首先利用VGG
‑
16的前十层来构建卷积神经网络前端；S7：经过上下文卷积模块，将提取出来的VGG特征值，针对不同的卷积特征图，采用不同的池化尺度来对此进行池化；S8：接着对生成对抗网络进行训练，生成对抗网络网络包含生成器G和鉴别器D以及回归网络R，生成器G提取图片的语义信息，生成器G解码网络生成人群密度分布图，而鉴别器D则用于判别得到的人群密度分布图是属于S5得到的真实密度图样本还是属于生成器G生成，在不断逼近中得到更真实的人群密度图；S9：对于整个结构的Loss计算使用的公式如下：其中，Loss表示损失函数的值，λ1表示鉴别器产生的误差所占的比重，G(I)表示图像I经过生成器G的输出，λ2表示生成器所产生的误差所占的比重，D(G(I))表示G(I)经过鉴别器D的输出，m表示训练集样本数量，I表示输入原始图像，c
i
表示图像中人群数量，M
i
表示图像对应的人群密度图，为了使Loss尽可能的小，当数据集图片尺寸不固定的时候，选择batch size为1的SGD作为优化器，而当尺寸固定时，则选择batch size为32的Adam作为优化器；S10：将测试图像作为网...

【专利技术属性】
技术研发人员：朱艾春，黄耀影，李义丰，胡方强，段国秀，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：