一种密集人群计数的方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术公开了一种密集人群计数的方法、装置、设备及计算机可读存储介质，包括：将待测试图像输入包括多列平行的卷积神经网络的目标多尺度多列卷积神经网络模型中；每列卷积神经网络中包括多个卷积核大小和个数不同的卷积层。利用所述每列卷积神经网络中各个卷积层对待测试图像进行处理，并将所述每列卷积神经网络中预选卷积层输出的特征图进行融合，以便得到所述每列卷积神经网络输出的估计密度图；将所述每列卷积神经网络输出的估计密度图进行融合后，得到待测试图像的目标估计密度图；依据所述目标估计密度图，计算得到待测试图像中的人数。本发明专利技术所提供的方法、装置、设备及计算机可读存储介质，提高了密集人群图像预测结果的准确性。

A Method, Device, Equipment and Storage Medium for Dense Crowd Counting

The invention discloses a method, device, device and computer readable storage medium for dense crowd counting, which includes: input the image to be tested into a target multi-scale multi-column convolution neural network model including multi-column parallel convolution neural network; and each column of convolution neural network includes convolution layers with different convolution core sizes and numbers. The test image is processed by using the convolution layers in each column of the convolution neural network, and the feature maps of the pre-selected convolution layer output in each column of the convolution neural network are fused to obtain the estimated density maps of the output of each column of the convolution neural network. After fusing the estimated density maps of the output of each column of the convolution neural network, the target of the image to be tested is obtained. Estimate density map; according to the target estimation density map, the number of people in the image to be tested is calculated. The method, device, equipment and computer readable storage medium provided by the invention improve the accuracy of image prediction results of dense crowd.

【技术实现步骤摘要】
一种密集人群计数的方法、装置、设备以及存储介质
本专利技术涉及计算机视觉
，特别是涉及一种密集人群计数的方法、装置、设备以及计算机可读存储介质。
技术介绍
为了人群控制和公众安全，准确地估计来自图像或视频的人群已经成为计算机视觉技术越来越重要的应用。计算机视觉中的人群计数任务是自动计算图像或视频中的人数。为了在诸如公众集会和体育赛事等许多场景中帮助控制人群和公共安全，需要准确的人群计数。传统的密集人群计数方法包括两种：基于检测的方法和基于回归的方法。基于检测的方法将人群视为一组检测到的个体实体。但是，行人经常被密集的人群遮挡，这在静止图像中估计人群时尤其具有挑战性。基于回归的方法对从人群图像中提取的各种特征的标量值(如人数)或密度图进行回归。它们基本上有两个步骤：首先，从人群图像中提取有效特征；第二，利用各种回归函数来估计人群数量。但是，通过回归进行的人群计数容易受到视角和尺度的急剧变化的影响，而这种变化通常存在于人群图像中。与此同时，深度学习已经被成功地应用在密集人群图像的估计中。主流的估计方法采用密度图的思想，即设计一个神经网络，网络的输入为原始图像，而输出为人群的密度图。这类方法对密集人群图像处理的第一步，就是要通过一个高斯滤波器，根据图像的真实值ground-truth得到图像对应的密度图。Zhang等人在“Single-ImageCrowdCountingviaMulti-ColumnConvolutionalNeuralNetwork”中提出了一个多列卷积神经网络。该网络由三列平行的卷积神经网络组成，每一列使用感受野大小不同的卷积核，分别对应尺度大小不一样的人头；每一列除了卷积核大小和数量，其他构成都相同；采用大小为2×2的最大池化和ReLU激活函数；最后将三列的特征图在通道数上串联起来，用一个1×1的卷积核将其映射到估计的密度图输出。然而多列卷积神经网络结构偏简单，层数较少，前面的卷积层提取到的一些特征在后续过程中可能被丢弃且提取到的特征不够而影响到最终的结果。综上所述可以看出，如何提高密集人群图像预测结果的准确性是目前有待解决的问题。
技术实现思路
本专利技术的目的是提供一种密集人群计数的方法、装置、设备以及计算机可读存储介质，以解决现有技术中提供的密集人群计数的神经网络性能较差的问题。为解决上述技术问题，本专利技术提供一种密集人群计数的方法，包括：将待测试图像输入至预先完成训练的目标多尺度多列卷积神经网络模型中；其中，所述目标多尺度多列卷积神经网络模型包括多列平行的卷积神经网络，每列卷积神经网络中包括多个卷积核大小和个数不同的卷积层；将所述待测试图像分别输入至所述每列卷积神经网络中，利用所述每列卷积神经网络中各个卷积层对所述待测试图像进行处理，并将所述每列卷积神经网络中预选卷积层输出的特征图进行融合，以便于分别得到所述每列卷积神经网络输出的估计密度图；将所述每列卷积神经网络输出的估计密度图进行融合后，得到所述待测试图像的目标估计密度图；依据所述待测试图像的目标估计密度图，计算得到所述待测试图像中的人数。优选地，所述将待测试图像输入至预先完成训练的目标多尺度多列卷积神经网络模型中前包括：利用高斯滤波器对预先创建的人群图像数据集进行滤波处理后，获取所述人群图像数据集中每幅图像的密度图，从而构建目标训练集；采用所述目标训练集对多尺度多列卷积神经网络模型进行训练，得到完成训练后的目标多尺度多列卷积神经网络模型。优选地，所述利用高斯滤波器对预先创建的人群图像数据集进行滤波处理后，获取所述人群图像数据集中每幅图像的密度图，从而构建目标训练集包括：获取预先采集的人群图像数据集其中，Xi为所述人群图像数据集第i张图像，大小为m*n；Yi为所述第i张图像对应的人头坐标点图，大小为m*n，N为所述人群图像数据集中图像总数；利用高斯滤波器对所述人群图像数据集中的每幅图像Xi进行滤波处理后，得到所述每幅图像Xi的密度图Mi，利用所述每幅图像Xi的密度图Mi构建目标训练集优选地，所述采用所述目标训练集对多尺度多列卷积神经网络模型进行训练包括：将所述目标训练集中的当前人群图像分别输入至所述多尺度多列卷积神经网络模型的每列卷积神经网络中；其中，所述多尺度多列卷积神经网络模型中的每列卷积神经网络相互平行，所述每列卷积神经网络除卷积核大小和个数外，其他网络结构相同；将所述每列卷积神经网络输出的所述当前人群图像的估计密度图在通道数上串联后，经过一个卷积核大小为1*1的总卷积层，并将所述总卷积层输出的特征图映射为所述当前人群图像的目标估计密度图，以便于将所述当前人群图像的目标估计密度图作为所述多尺度多列卷积神经网络模型的网络输出。优选地，所述多尺度多列卷积神经网络模型的每列卷积神经网络包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、反卷积层、第六卷积层和第七卷积层；其中，所述第一卷积层和其他卷积层的卷积核大小不同，所述第二卷积层、所述第三卷积层、所述第四卷积层、所述第五卷积层和所述第六卷积层的卷积核大小相同，所述第三卷积层、所述第四卷积层、所述第五卷积层和所述第六卷积层的卷积核的个数相同；所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四个卷积层之间的池化层选用区域2*2，步长为2的最大池化；所述第四卷积层和所述第五卷积层之间的池化层选用3*3区域，步长为1的最大池化，以便于保持所述第四卷积层输出特征图和对所述第四卷积层输出特征池化后的特征图大小不变；所述各个卷积层的激活函数采用ReLU函数；所述第四卷积层输出的特征图和所述第五卷积层输出的特征图在通道数上串联后输入所述反卷积层，所述反卷积层输出的特征图和所述第三卷积层输出的特征图在通道数上串联后输入所述第六卷积层，所述第八卷积层输出所述待测试图像的估计密度图作为所述每列卷积神经网络模型的输出结果。优选地，所述依据所述待测试图像的目标估计密度图，计算得到所述待测试图像中的人数包括：将所述待测试图像T输入至所述目标多尺度多列卷积神经网络模型，得到所述待测试图像T的估计密度图后，计算所述估计密度图中所有像素值的和，得到所述待测试图像中的人数本专利技术还提供了一种密集人群计数的装置，包括：输入模块，用于将待测试图像输入至预先完成训练的目标多尺度多列卷积神经网络模型中；其中，所述目标多尺度多列卷积神经网络模型包括多列平行的卷积神经网络，每列卷积神经网络中包括多个卷积核大小和个数不同的卷积层；处理模块，用于将所述待测试图像分别输入至所述每列卷积神经网络中，利用所述每列卷积神经网络中各个卷积层对所述待测试图像进行处理，并将所述每列卷积神经网络中预选卷积层输出的特征图进行融合，以便于分别得到所述每列卷积神经网络输出的估计密度图；输出模块，用于将所述每列卷积神经网络输出的估计密度图进行融合后，得到所述待测试图像的目标估计密度图；计算模块，用于依据所述待测试图像的目标估计密度图，计算得到所述待测试图像中的人数。优选地，所述输出模块前包括：训练模块，用于利用高斯滤波器对预先创建的人群图像数据集进行滤波处理后，获取所述人群图像数据集中每幅图像的密度图，从而构建目标训练集；采用所述目标训练集对多尺度多列卷积神经网络模型进行训练，得到完成训练后的目标多尺度多列卷积神经网络模本文档来自技高网...

【技术保护点】
1.一种密集人群计数的方法，其特征在于，包括：将待测试图像输入至预先完成训练的目标多尺度多列卷积神经网络模型中；其中，所述目标多尺度多列卷积神经网络模型包括多列平行的卷积神经网络，每列卷积神经网络中包括多个卷积核大小和个数不同的卷积层；将所述待测试图像分别输入至所述每列卷积神经网络中，利用所述每列卷积神经网络中各个卷积层对所述待测试图像进行处理，并将所述每列卷积神经网络中预选卷积层输出的特征图进行融合，以便于分别得到所述每列卷积神经网络输出的估计密度图；将所述每列卷积神经网络输出的估计密度图进行融合后，得到所述待测试图像的目标估计密度图；依据所述待测试图像的目标估计密度图，计算得到所述待测试图像中的人数。

【技术特征摘要】
1.一种密集人群计数的方法，其特征在于，包括：将待测试图像输入至预先完成训练的目标多尺度多列卷积神经网络模型中；其中，所述目标多尺度多列卷积神经网络模型包括多列平行的卷积神经网络，每列卷积神经网络中包括多个卷积核大小和个数不同的卷积层；将所述待测试图像分别输入至所述每列卷积神经网络中，利用所述每列卷积神经网络中各个卷积层对所述待测试图像进行处理，并将所述每列卷积神经网络中预选卷积层输出的特征图进行融合，以便于分别得到所述每列卷积神经网络输出的估计密度图；将所述每列卷积神经网络输出的估计密度图进行融合后，得到所述待测试图像的目标估计密度图；依据所述待测试图像的目标估计密度图，计算得到所述待测试图像中的人数。2.如权利要求1所述的方法，其特征在于，所述将待测试图像输入至预先完成训练的目标多尺度多列卷积神经网络模型中前包括：利用高斯滤波器对预先创建的人群图像数据集进行滤波处理后，获取所述人群图像数据集中每幅图像的密度图，从而构建目标训练集；采用所述目标训练集对多尺度多列卷积神经网络模型进行训练，得到完成训练后的目标多尺度多列卷积神经网络模型。3.如权利要求2所述的方法，其特征在于，所述利用高斯滤波器对预先创建的人群图像数据集进行滤波处理后，获取所述人群图像数据集中每幅图像的密度图，从而构建目标训练集包括：获取预先采集的人群图像数据集其中，Xi为所述人群图像数据集第i张图像，大小为m*n；Yi为所述第i张图像对应的人头坐标点图，大小为m*n，N为所述人群图像数据集中图像总数；利用高斯滤波器对所述人群图像数据集中的每幅图像Xi进行滤波处理后，得到所述每幅图像Xi的密度图Mi，利用所述每幅图像Xi的密度图Mi构建目标训练集4.如权利要求2所述的方法，其特征在于，所述采用所述目标训练集对多尺度多列卷积神经网络模型进行训练包括：将所述目标训练集中的当前人群图像分别输入至所述多尺度多列卷积神经网络模型的每列卷积神经网络中；其中，所述多尺度多列卷积神经网络模型中的每列卷积神经网络相互平行，所述每列卷积神经网络除卷积核大小和个数外，其他网络结构相同；将所述每列卷积神经网络输出的所述当前人群图像的估计密度图在通道数上串联后，经过一个卷积核大小为1*1的总卷积层，并将所述总卷积层输出的特征图映射为所述当前人群图像的目标估计密度图，以便于将所述当前人群图像的目标估计密度图作为所述多尺度多列卷积神经网络模型的网络输出。5.如权利要求4所述的方法，其特征在于，所述多尺度多列卷积神经网络模型的每列卷积神经网络包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、反卷积层、第六卷积层和第七卷积层；其中，所述第一卷积层和其他卷积层的卷积核大小不同，所述第二卷积层、所述第三卷积层、所述第...

【专利技术属性】
技术研发人员：张莉，陆金刚，王邦军，周伟达，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32