基于子模技术和半监督学习的人群计数方法技术

本发明专利技术属于计算机视觉和机器学习领域，具体为一种基于子模技术和半监督学习的人群计数方法。本发明专利技术主要解决了人群计数在训练模型过程中样本稀缺的问题。对于连续的高频人群监控图像，首先对每帧图像进行预处理，并提取人群面积、纹理等特征；对该图像样本集合，使用子模样本选择算法抽取少量的最优样本，再进行人为标注；最后使用半监督回归算法训练模型，利用大量未标注的样本提升模型性能。相比于随机采样、基于聚类的样本选择方法，本发明专利技术能显著降低训练样本数量，并提升模型的预测性能。

Population counting method based on submodule and semi supervised learning

The invention belongs to the field of computer vision and machine learning, in particular to a crowd counting method based on submodule technology and semi supervised learning. The invention mainly solves the problem that sample counting is scarce in the training model process. For the high frequency continuous crowd monitoring image, firstly, each frame image preprocessing, and extract the texture feature of area and population; set the image sample, select the optimal sample extraction algorithm using a small amount of submodule samples, then the human annotation; finally use semi supervised regression algorithm for training model, enhance the performance of the model without the use of a large number of labeled samples. Compared with the random sampling and clustering based sample selection method, the invention can significantly reduce the number of training samples and improve the prediction performance of the model.

【技术实现步骤摘要】
基于子模技术和半监督学习的人群计数方法
本专利技术属于计算机视觉、机器学习、及智能交通
，具体涉及基于图像和视频的人群计数方法。
技术介绍
基于视频图像的人群计数问题是计算机视觉和机器学习领域研究的问题之一。当给定某场景人群图像，要求根据计算机视觉或机器学习算法输出行人数量。目前该领域已经有不少前人工作，其主要方法可以分为两大类：基于行人检测的方法、基于图像特征的回归方法。以下是这两类方法的一些参考文献：[1]A.B.Chan,Z.J.Liang,andN.Vasconcelos.Privacypre-servingcrowdmonitoring:Countingpeoplewithoutpeoplemodelsortracking.InConferenceonComputerVisionandPatternRecognition,pages1–7,2008.[2]B.ChanandN.Vasconcelos.Countingpeoplewithlow-levelfeaturesandbayesianregression.IEEETransactionsonImageProcessing,21(4):2160–2177,2012.[3]K.Chen,C.C.Loy,S.Gong,andT.Xiang.Featuremin-ingforlocalisedcrowdcounting.InBritishMachineVisionConference,2012.[4]C.C.Loy,S.Gong,andT.Xiang.Fromsemi-supervisedtotransfercountingofcrowds.InConferenceonComputerVisionandPatternRecognition,pages2256–2263,2013.[5]W.OuyangandX.Wang.Single-pedestriandetectionaidedbymulti-pedestriandetection.InConferenceonComputerVisionandPatternRecognition,pages3198–3205,2013.[6]B.Tan,J.Zhang,andL.Wang.Semi-supervisedelasticnetforpedestriancounting.PatternRecognition,44(10):2297–2304,2011.[7]W.Xia,J.Zhang,andU.Kruger.Semisupervisedpedes-triancountingwithtemporalandspatialconsistencies.IEEETransactionsonIntelligentTransportationSystems,16(4):1705–1715,2015.[8]Y.Zhang,D.Zhou,S.Chen,S.Gao,andY.Ma.Single-imagecrowdcountingviamulti-columnconvolutionalneu-ralnetwork.InConferenceonComputerVisionandPatternRecognition,pages589–597,2016。基于行人检测的人群计数法需要对图像的每个区域逐个检测，并识别出每个行人的外貌或动作，从而确定行人数量，如文献[5]所述方法。因为该方法需要识别出每一个行人，当行人与其他行人、建筑、树木等其他物体的遮挡十分严重时，识别性能会显著下降。另外，由于这种方法的复杂度与具体场景的人数有关，当人群高度密集时，该方法的识别速度会降低。第二类方法则不需要检测出每个行人。基于图像特征的回归法通过学习低维特征到人群数量之间的映射关系获得预测模型，这些低维特征通常采用图像纹理(texture)，人群区域面积，闵可夫斯基分形维度(Minkowskidimension)，图像边缘长度等。如[1]中使用高斯过程回归(GaussianProcessRegression，简称GPR)学习回归模型。方法[8]采用卷积神经网络(ConvolutionalNeuralNetwork,简称CNN)提取特征并使用深度神经网络(DeepNeuralNetwork，简称DNN)学习这样的映射关系。这种方法面临的主要问题之一是，需要标注大量的人群图像样本去学习这样的映射关系，然而现实中的标注都需要大量的人工操作。为了解决标注样本的稀缺以及人工标注代价太大的问题，目前已经有多种方法被提出。其中一个是设法利用无标签的样本提升模型的预测性能，如方法[4]采取的半监督回归(Semi-SupervisedRegression)。又例如方法[7]，通过提取更多的低维特征，获得所有样本之间的时间、空间一致性约束，从而提升性能。这类方法主要是从无标签样本上考虑的。另外一种方法，则是设法选取最优的样本集合进行人为标注，再训练回归模型。如方法[6]，首先对所有样本聚类，再从每个簇中选取一个样本进行标注，这样就可以减少标注样本的冗余信息。因为同一个簇中的样本，特征和标签都极为相似，相似的样本对模型的预测性能不会带来很大的提升，相反，从不同的簇中选取的样本会对模型参数产生较大影响，因此可以提升模型预测性能。然而这种方法只是避免了样本之间的信息冗余，但没有考虑到不同样本所包含的信息量也不同，因此无法从每个簇选取最有代表性的样本。本专利技术提出一种人群计数方法，同时考虑有标签样本和无标签样本。该专利技术解决了有标签样本的选择问题，不仅避免样本标注的冗余和重复，而且选取信息量最大的的样本集合进行标注；同时利用无标签样本训练半监督回归模型进一步提升模型的预测性能。
技术实现思路
本专利技术的目的在于提出一种识别速度快、计算精度高的人群计数方法。本专利技术提出的人群计数方法，是基于子模技术的，其同时考虑有标签样本和无标签样本，解决了有标签样本的选择问题，不仅避免样本标注的冗余和重复，而且选取信息量最大的的样本集合进行标注；同时利用无标签样本训练半监督回归模型进一步提升模型的预测性能。具体步骤为：(a)输入预先提取的图像特征，原图像为连续的高频人群视频图像，且未标记确切人数。该样本集合为：V＝{x1,x2,x3,…,xn}向量xi是单帧图像的所有特征，n是所有图像样本的数量；所有样本特征都已进行归一化；(b)计算样本集合V的时间空间相似度，构建k-近邻图，每个图像样本只与最相似的图像连接；再根据该图创建相似矩阵W，矩阵中的每个元素Wij对应于图像样本xi,xj的相似度，对于每个样本，只有对应的k个最相似的样本值不为0；(c)结合时间空间相似度矩阵,使用谱聚类将人群特征集合V聚类，得到K个簇{G1,G2,…,GK}；(d)使用子模样本选择算法，从V中选择样本子集S，该集合能充分代表原样本集合，且冗余信息量达到最小，最优子集S满足以下两项：(1)代表性(Representativeness)：该项衡量子集S与全集V的相似性：(2)差异性(Diversity)：该项衡量子集S中的样本再原集合中的分散性；差异性越大，则所选子集内的样本冗余则越低。其中，mk(S)代表本文档来自技高网...

【技术保护点】
基于子模技术和半监督学习的人群计数方法，其特征在于具体步骤为：(a)输入预先提取的图像特征，原图像为连续的高频人群视频图像，且未标记确切人数；该样本集合为：V＝{x

【技术特征摘要】
1.基于子模技术和半监督学习的人群计数方法，其特征在于具体步骤为：(a)输入预先提取的图像特征，原图像为连续的高频人群视频图像，且未标记确切人数；该样本集合为：V＝{x1,x2,x3,…,xn}向量xi是单帧图像的所有特征，n是所有图像样本的数量；所有样本特征都已进行归一化；(b)计算样本集合V的时间空间相似度，构建k-近邻图，每个图像样本只与最相似的图像连接；再根据该图创建相似矩阵W，矩阵中的每个元素Wij对应于图像样本xi,xj的相似度，对于每个样本，只有对应的k个最相似的样本值不为0；(c)结合时间空间相似度矩阵,使用谱聚类将人群特征集合V聚类，得到K个簇{G1,G2,…,GK}；(d)使用子模样本选择算法，从V中选择样本子集S，该集合能充分代表原样本集合，且冗余信息量达到最小，最优子集S满足以下两项：(1)代表性：该项衡量子集S与全集V的相似性：(2)差异性：该项衡量子集S中的样本再原集合中的分散性；其中，mk(S)代表子集S中包含的第k个簇中的样本数：(e)对子集S中的样本进行标注，标定该集合中图像的实际人数；(f)使用所有人群图像，包括标注和未标注的图像，训练回归模型。2.根据权利要求1所述的人群计数方法，其特征在于，所述的时间空间相似度矩阵W的构建步骤为：(a)计算V中所有样本的空间相似度:若样本xj是样本xi的k-近邻，则样本在空间上的相似度或距离表示为：否则(b)计算V中所有样本的时间相似度:若样本xj和xi在帧数上相差不超过t，则样本在时间上的相似度或距离被表示为：否则其中ti表示样本xi的图像序号；(c)任意两个样本的相似度表示为空间相似度和时间相似...

【专利技术属性】
技术研发人员：周齐，张军平，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31