基于生成图像的人群计数模型建立方法、计数方法及系统技术方案

本发明专利技术公开了基于生成图片的人群计数模型建立方法、计数方法及系统，该建立方法包括：对于训练集中的每张真实图片进行人群的人头点标注；判断每个标注点处的人头大小；根据标注点及人头大小，对于每张真实图片，生成一张生成图片，形成生成集；利用孪生特征编码网络对训练集及生成集进行编码形成真实图片及生成图片的特征；利用特征解码网络对真实图片及生成图片的特征进行解码得到真实图片及生成图片的预测密度图；计算损失函数；将损失函数计算为梯度，来更新整个模型；重复，直到获得最小化损失函数以及对应的模型参数值，即获得训练好的模型。该计数包括：利用训练好的模型对人群图片进行计数。通过本发明专利技术，改善了过拟合问题，预测更准确。

【技术实现步骤摘要】
基于生成图像的人群计数模型建立方法、计数方法及系统
本专利技术涉及图像处理
，特别涉及一种基于生成图像的人群计数模型建立方法、计数方法及系统。
技术介绍
人群计数是对于一个包含若干人数的人群监控图片，用某种方式去估计图片中包含的人数的一项计数。该项技术之前的方法常用两种方式去解决这个问题，一种是基于回归的方式，一种是基于检测的方式。基于回归的方式又分为整图回归和点回归的方式。整图回归的方式是利用全连神经网络，将输入的图像通过卷积和全连层的操作，将图像转化为一维的特征向量，再基于特征向量，直接预测整张图的人数。点回归的方式则是根据人群数据的标注，生成人群密度图，然后采用全卷积网络的形式，去回归人群密度图的每一个点，最后对于预测的人群密度图求积分，即可获得全图的预测人数，这是一种间接的人群回归方式。基于检测的方法则是采用目前通用的目标检测算法，比如Faster-RCNN，SSD，YOLO等，并专门在行人检测的数据集上进行训练，以便可以检测行人。目前，基于检测的方法主要的问题在于当人群密集的时候，严重的遮挡问题会引起检测的失效，从而导致检测预测本文档来自技高网...

【技术保护点】
1.一种基于生成图像的人群计数模型建立方法，其特征在于，包括：/nS11：数据准备；包括：/nS111：对于训练集中的每张真实图片进行人群的人头点标注；/nS112：判断所述S111中每个标注点处的人头大小；/nS113：根据所述S111中的标注点以及所述S112中的标注点处的人头大小，对于每张真实图片，生成一张生成图片，形成生成集；/nS12：模型训练；包括：/nS121：利用孪生特征编码网络对训练集以及生成集进行编码形成真实图片的特征以及生成图片的特征；/nS122：利用特征解码网络对所述S121中的真实图片的特征以及生成图片的特征进行解码得到真实图片的预测密度图以及生成图片的预测密度图；...

【技术特征摘要】
1.一种基于生成图像的人群计数模型建立方法，其特征在于，包括：
S11：数据准备；包括：
S111：对于训练集中的每张真实图片进行人群的人头点标注；
S112：判断所述S111中每个标注点处的人头大小；
S113：根据所述S111中的标注点以及所述S112中的标注点处的人头大小，对于每张真实图片，生成一张生成图片，形成生成集；
S12：模型训练；包括：
S121：利用孪生特征编码网络对训练集以及生成集进行编码形成真实图片的特征以及生成图片的特征；
S122：利用特征解码网络对所述S121中的真实图片的特征以及生成图片的特征进行解码得到真实图片的预测密度图以及生成图片的预测密度图；
S123：计算模型训练所需的损失函数；
S124：利用随机梯度下降算法将所述损失函数计算为梯度，来更新整个模型；
S125：重复S121～S124，直到获得最小化损失函数以及对应的模型参数值，即获得训练好的模型M。


2.根据权利要求1所述的基于生成图像的人群计数模型建立方法，其特征在于，所述S123进一步包括：预测密度图与真实密度图计算的点回归的平均平方误差损失函数和/或域自适应约束的损失函数。


3.根据权利要求2所述的基于生成图像的人群计数模型建立方法，其特征在于，所述S123中域自适应约束的损失函数包括：在特征层面和/或图像层面进行域自适应约束的损失函数。


4.根据权利要求3所述的基于生成图像的人群计数模型建立方法，其特征在于，所述预测密度图与真实密度图计算的点回归的平均平方误差损失函数LM的公式为：



其中，H、W分别表示特征f的宽和长，fr表示真实图片的特征，fs表示生成图片的特征；
所述特征层面域自适应约束采用内容损失函数Lc，其公式为：



其中，






其中，μ表示特征的均值，σ表示特征的方差或者协方差，C1和C2为常数，防止分母为0；
所述图像层面域自适应约束采用对抗损失函数Ladv，其公式为：
Ladv＝minGmaxDi(Er～R[log(Di(G(r)))+Es～s[log(1-Di(G(s)))])
其中，G表示生成器，Di表示判别器，r表示真实图片，s表示生成图片。


5.根据权利要求4所述的基于生成图像的人群计数模型建立方法，其特征在于，当损失函数包括LM以及Lc时，总的损失函数的公式为：
Ltotal＝αLM+βLC
当损失函数包括LM以及Ladv时，总的损失函数的公式为：
Ltotal＝αLM+βLadv
当损失函数包括Lc以及Ladv时，总的损失函数的公式为：
Ltotal＝αLc+βLadv
当损失函数包括LM、Lc以及Ladv时，总的损失函数的公式为：
Ltotal＝αLM+βLC+γLadv
其中，α、β、γ分别...

【专利技术属性】
技术研发人员：杨杰，曹志杰，黄晓霖，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31