一种基于cGAN网络的人群计数方法及系统技术方案

本发明专利技术公开一种基于cGAN网络的人群计数方法及系统，步骤为：利用累加的高斯核函数矩阵生成人群的密度分布图；利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本；利用判别器判别密度图属于生成器生成或属于真实样本；交替训练生成器和判别器；利用训练完成的生成器，将场景图片输入，得到相应场景图片密度图；利用场景图片像素值累加表征图片的人群总数。本发明专利技术采用生成式模型，需要更少的训练数据，训练速度快，更加适合于实际的应用需求；同时采用更深度的神经网络，能进一步更好的剔除背景的干扰，生成高质量的人群密度分布图，为进一步的群体分析及视频监控中发挥更好决策支持作用。

【技术实现步骤摘要】
一种基于cGAN网络的人群计数方法及系统
本专利技术属于计算机视觉
，具体为一种基于cGAN网络的群体人数的统计方法及系统，尤其是涉及一种适合于快速训练，得到更清晰密度分布图的人群计数方案。
技术介绍
大型活动已经成为经济发展和文化交流的重要载体，而群体管理也成为社会管理中的重要方面。人群的数量是人群的重要属性，可以为管理者提供重要的决策信息，在近年来的计算机视觉应用领域受到广泛的关注和研究。人群计数可定义为:给定一张对应的图片统计出图片中的人群的总的数量。它是一种自动的人群计数技术，能在监控网络中快速的求取场景中人群的数量，是智能视频监控等应用中的重要的组成部分。人群的计数方案从现有的技术文献检索发现，整体来讲有两种主要的研究思路：思路之一是从传统的角度出发，通过手工设计的特征方案提取人群的对应特征，找寻特征和人数的关系，从而得到最后的人数结果(参见：Dollar,P.,Wojek,C.,Schiele,B.,Perona,P.:Pedestriandetection:anevaluationofthestateoftheart.IEEETrans.PatternAnal.Mach.Intell.34(4),743–761(2011)；Chan,A.B.,&Vasconcelos,N.(2012).Countingpeoplewithlow-levelfeaturesandBayesianregression.IEEETransactionsonImageProcessing,21(4),2160-2177)。但是，这类方法的性能受限于人工设计特征的有效性。从另一个角度说，手工设计的特征提取方案不能有效的应对各种场景条件。思路之二是利用深度学习的方案，实现端到端的人群技术。这类方法根据loss函数主要分为两种，分别利用总人数或密度分布图作为优化目标loss(参见：CongZhang,HongshengLi,XiaogangWang,andXiaokangYang,Cross-scenecrowdcountingviadeepconvolutionalneuralnetworks,inCVPR,2015.；Zhang,Y.,Zhou,D.,Chen,S.,Gao,S.,&Ma,Y.(2016).Single-imagecrowdcountingviamulti-columnconvolutionalneuralnetwork.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition(pp.589-597).)。然而，这类方法面临深度网络带来的各种训练问题。
技术实现思路
针对上述的计数存在的问题，本专利技术提供一种基于cGAN网络的人群计数方法及系统，需要的训练数据更少，训练速度快，能有效的应对各种场景条件。本专利技术是通过以下技术方案实现的：根据本专利技术的第一目的，提供一种基于cGAN网络的人群计数方法，包括：第一步：利用累加的高斯核函数矩阵生成人群的密度分布图；第二步：对cGAN网络进行训练，包括：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，混合第一和第二步得到的的密度分布图，抽样，利用判别器判别抽样得到密度分布图属于生成器生成或属于第一步得到的真实密度分布图的样本；得到训练完成的cGAN网络中的生成器；第三步：利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。优选地，所述第一步，包括：101：标注训练图片，在对应的行人头部标注点xi；102：计算整幅图像的人群密度分布图，以每个行人点坐标为中心，构造一个满足累加值为1的高斯核函数矩阵块δ(x-xi)*Gσ，进而通过对单个行人的累加作为整体密度其中δ(x-xi)代表位于xi处的单个行人，Gσ代表二维的高斯滤波算子。优选地，所述第二步，包括：201：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本；202：利用判别器判别密度分布图属于生成器生成或属于真实样本；203：固定生成器，训练判别器；固定判别器，训练生成器，交替训练迭代，得到最终的生成器模型，训练完成生成器。更优选地，所述生成器模型，该模型encoder(编码)网络获取源数据域的语义属性信息，decoder(解码)网络利用语义信息生成对应的数据样本，模型学习生成能与源数据域同概率数据分布的非线性生成函数。更优选地，所述判别器，对真实样本和生成样本进行分类，求取具有最佳分类效果的分类模型。优选地，所述生成器是一个深度编码解码网络，其中所述生成器编码网络是卷积神经网络(CNN)，提取输入图片的语义属性信息，所述生成器解码网络是反卷积神经网络，生成人群密度分布图样本。根据本专利技术的第二目的，提供一种基于cGAN网络的人群计数系统，包括：人群密度分布图生成模块，该模块利用累加的高斯核函数矩阵生成人群的密度分布图；cGAN网络训练摸，该模块利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，利用判别器判别密度分布图属于生成器生成或属于真实样本；得到训练完成的cGAN网络中的生成器；人群计数模块，该模块利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。本专利技术采用生成式模型，需要的训练数据更少，训练速度快，更加适合于实际的应用需求；同时采用更深度的神经网络，能进一步更好的剔除背景的干扰，生成高质量的人群密度分布图，为进一步的群体分析及视频监控中发挥更好决策支持作用。与现有技术相比，本专利技术的有益效果在于：1)本专利技术首次将cGAN网络引入到人群计数的解决方案中，从全新的生成式模型角度对问题进行求解；2)本专利技术具有训练时间短，训练简单，同时得到更优密度分布图的优点，更具有实际的应用价值。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术一实施例基于cGAN网络的人群计数方法总流程框图；图2为本专利技术一实施例中估计密度图生成的示意图；图3为本专利技术一实施例中得到人群计数的密度图。具体实施方式下面结合附图对本专利技术的实施例作详细说明：本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。实施例本实施采用的图像来自数据库Shanghaitech中的人群场景图片。该人群计数场景图片序列是由(InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，CVPR2016)提供的，以进行人群计数方法的分析和比较。本实施例涉及cGAN网络的人群计数方法，包括如下具体步骤：第一步：标注训练图片，在对应的行人头部标注点xi，对坐标位置进行放缩，放缩的比例为原图尺寸长宽和256的比值。当然，在其他实施例中，放缩的比例也可以根据实际需要进行选择。第二步：计算整幅图像的人群密度分布图，以每个行人点坐标为中心，构造一个满足累加值本文档来自技高网...

【技术保护点】
一种基于cGAN网络的人群计数方法，其特征在于包括：第一步：利用累加的高斯核函数矩阵生成人群的密度分布图；第二步：对cGAN网络进行训练，包括：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，混合第一和第二步得到的的密度分布图，抽样，利用判别器判别抽样得到密度分布图属于生成器生成或属于第一步得到的真实密度分布图的样本；得到训练完成的cGAN网络中的生成器；第三步：利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。

【技术特征摘要】
1.一种基于cGAN网络的人群计数方法，其特征在于包括：第一步：利用累加的高斯核函数矩阵生成人群的密度分布图；第二步：对cGAN网络进行训练，包括：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本，混合第一和第二步得到的的密度分布图，抽样，利用判别器判别抽样得到密度分布图属于生成器生成或属于第一步得到的真实密度分布图的样本；得到训练完成的cGAN网络中的生成器；第三步：利用训练完成的生成器，将场景图片输入，得到相应场景图片密度分布图，利用场景图片像素值累加表征图片的人群总数。2.根据权利要求1所述的基于cGAN网络的人群计数方法，其特征在于：所述第一步，包括：101：标注训练图片，在对应的行人头部标注点xi；102：计算整幅图像的人群密度分布图，以每个行人点坐标为中心，构造一个满足累加值为1的高斯核函数矩阵块δ(x-xi)*Gσ，进而通过对单个行人的累加作为整体密度其中δ(x-xi)代表位于xi处的单个行人，Gσ代表二维的高斯滤波算子。3.根据权利要求1所述的基于cGAN网络的人群计数方法，其特征在于：所述第二步，包括：201：利用生成器编码网络提取输入图片的语义属性信息，生成器解码网络生成人群密度分布图样本；202：利用判别器判别密度分布图属于生成器生成或属于真实样本；203：固定生成器，训练判别器；固定判别器，训练生成器，交替训练迭代，得到最终的生成器模型，训练完成生成器。4.根据权利要求3所述的基于cGAN网络的人群计数方法，其特征在于：所述生成器模型...

【专利技术属性】
技术研发人员：杨华，李嘉文，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31