一种基于卷积神经网络的人群计数方法技术

本发明专利技术公开了一种基于卷积神经网络的人群计数方法，包括以下步骤：(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；(4)对训练完毕的模型进行性能评估与测试。利用本发明专利技术，减少了模型需要训练的参数数量，简化了模型结构，在保证准确率的前提下，提升了模型的实时性，满足了实际应用的需求。

A Crowd Counting Method Based on Convolutional Neural Network

The invention discloses a crowd counting method based on convolution neural network, which includes the following steps: (1) real crowd density map is obtained by convolution operation with Gauss kernel after labeling training pictures, and is used as label for model training; (2) training pictures and corresponding real crowd density map are input into convolution neural network model. Training, optimize the parameters iteratively until the model converges; (3) make a new scene data set, fine-tune the model using model migration method, and the model is trained; (4) evaluate and test the performance of the trained model. The invention reduces the number of parameters needed to be trained in the model, simplifies the model structure, improves the real-time performance of the model and meets the practical application requirements on the premise of guaranteeing the accuracy.

【技术实现步骤摘要】
一种基于卷积神经网络的人群计数方法
本专利技术涉及计算机视觉
，尤其是涉及一种基于卷积神经网络的人群计数方法。
技术介绍
公共场景中的人数统计问题是机器视觉领域一个重要的分支，也是一个具有挑战性的问题。在公共场所的监控视频中进行人群计数具有重要的研究价值，例如在公共运输系统可以利用人数计数系统可以保证道路的畅通；大量人群聚集时，对人群进行合理分析，能够降低人群中的不安全因素并防止发生踩踏事件发生。目前人群计数的主要方法有：基于行人检测器的计数方法、基于特征回归的计数方法以及基于深度学习的计数方法。基于行人检测器的计数方法：该方法相对最直观，直接检测图像中行人来计数，当在很密集时出现大量遮挡时会受到很大影响。基于特征回归的计数方法：该方法将人群看作纹理进行处理，并对场景中的人群做了一定的先验假设，通过建立图像特征与人数之间回归模型来估计人数，该方法忽略了行人的空间信息，计数精度不高。基于深度学习的计数方法：利用卷积神经网络可以自动提取不同层级特征，无需人工设计，结合密度图可实现端到端的模型。但是由于模型复杂程度较大，实际应用中很有很多不足。公开号为CN104992223A的中国专利文献公开了一种基于深度学习的密集人数估计方法，包括以下步骤：选择一幅密集场景的图像作为测试图像，然后对测试图像进行分块操作，分块的比例要保证与原图像的宽高比近似相同；将分得的图像块进行归一化操作，归一化成32×32的像素块，作为我们的测试样本，并附上对应的真实人数标签；将像素块批量送入已经训练好的深度网络中，对于每个像素块，网络都会反馈一个预测结果；将每个像素块的预测结果求和，所得到的结果就是我们需要估计的测试图像中的总人数。该方法将深度学习的方法引入到了人数统计这一具体问题之中，可以估计出不同密度等级下的人数。然而，该方法对图片的清晰度要求较高，在图片清晰度下降时得到的人数估计值和真实值存在较大的偏差。
技术实现思路
本专利技术给提供一种基于卷积神经网络的人群计数方法，模型结构简单，准确率高，能够应用于实时性要求较高的实际场景中的监控设备。一种基于卷积神经网络的人群计数方法，包括以下步骤：(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；(4)对训练完毕的模型进行性能评估与测试。作为优选，步骤(1)中，得到真实人群密度图的具体步骤为：(1-1)将训练图片标注人头位置，得到0、1分布的标注图像；(1-2)将标注图像与带有扩展参数的高斯核进行卷积，得到真实人群密度图，具体公式如下：其中，M表示标注图像中的人数，x表示图像中每个像素的位置，xi表示第i个人的标注的位置，表示标准差为σi的高斯核，代表第i个人的标注位置和它周围最近的3个人的标注位置的平均距离，即在此记第i个人的标注位置到距它最近的3个人的距离为作为优选，步骤(2)中，所述卷积神经网络一共有12层结构，包括5个卷积层、3个池化层以及4个修正线性单元激活层。5个卷积层的结构分别是9×9×3×24、9×9×24×32、7×7×32×24、5×5×24×12、9×9×12×1，四个数字含义分别是滤波器的高度、宽度、输入通道数以及输出通道数。3个池化层都采用最大池化，尺寸都设为3×3，步长为2；除了最后一个卷积层外，其他卷积层之后使用修正线性单元激活层进行激活操作，之后再连接最大池化层。所述的卷积神经网络去掉了传统的全连接层，整个网络为全卷积网络，该网络可以输入任意尺寸的图片，输出估计的密度图。步骤(2)中，将训练图片和对应的真实人群密度图输入网络进行训练，网络模型将估计的人群密度图与真实的密度图进行对比，不断调整网络的参数，使模型的输出不断趋于真实的密度图，估计的密度图与真实密度图之间的损失函数定义为：其中，θ表示网络中的可学习的参数，N是训练图片的数量，Xi是输入图像，Di是输入图像的真实密度图。计算损失函数之后，采用随机梯度下降法和反向传播方法不断调整更新卷积神经网络的参数，直至损失函数收敛。步骤(3)中，利用模型迁移方法对得到的模型微调的具体操作为：(3-1)在现有的数据集上对模型进行预训练；(3-2)针对应用的实际场景，制作新的数据集；(3-3)固定预训练好的模型的前三层网络参数，使用新的数据集对后两层卷积层进行训练，直至模型收敛。步骤(4)中，对模型进行性能评估与测试具体方法如下：将测试集数据输入网络得到估计密度图，对估计密度图进行积分得到估计人数值，将估计人数值与真实人数值比较来评价模型性能，采用的评价指标为平均绝对误差，其公式为：其中，N表示测试集中训练图片的数量，gi表示第i张图中真实的人数，表示模型估计的人数。与现有技术相比，本专利技术的有益效果是：本专利技术通过使用简洁的卷积神经网络，减少了模型需要训练的参数数量，简化了模型结构，在保证准确率的前提下，提升了模型的实时性，满足了实际应用的需求。附图说明图1本专利技术一种基于卷积神经网络的人群计数方法整体流程示意图；图2为本专利技术提供的卷积神经网络结构示意图；图3为本专利技术使用高斯核生成真实密度图的过程示意图；图4为本专利技术的部分实验结果示意图；其中，a为原图，b为真实值，c为本专利技术模型估计结果。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述。如图1所示，一种基于卷积神经网络的人群计数方法，包括：步骤1，将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；步骤2，将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；步骤3，制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；步骤4，对训练完毕的模型进行性能评估与测试。首先，本专利技术的模型输出是估计的图像密度图，完成训练还需要为模型提供相应的“标签”，即图像的真实密度图，对于一张图像，用点标注出人头的中心得到标注图像，然后将标注图像与高斯核进行卷积操作即得到真实的密度图，为了增加真实密度图的可靠性，对高斯核引入一个扩展参数；如图3所示，为真实密度图的生成过程示意图。接着，利用MatconvNet深度学习框架建立卷积神经网络，搭建的卷积神经网络的结构如图2所示：本专利技术提出的卷积神经网络包括5个卷积层、3个池化层以及4个修正线性单元激活层；5个卷积层的结构分别是9×9×3×24、9×9×24×32、7×7×32×24、5×5×24×12、9×9×12×1，四个数字含义分别是滤波器的高度、宽度、输入通道数以及输出通道数；池化层都采用最大池化，尺寸都设为3×3，步长为2；除了最后一个卷积层外，其他卷积层之后先进行修正线性激活单元，之后再连接最大池化层；卷积神经网络去掉了传统的全连接层，整个网络为全卷积网络，该网络可以输入任意尺寸的图片，输出估计的密度图。将图像和对应的真实密度图输入网络进行训练，网络模型将估计的人群密度图与真实的密度图进行对比，不断调整网络的参数，使模型的输出不断趋于真实的密度图，使用欧式距离来表示模型输出与真实密度图之间的差距，具体的损失函数定义如下：本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人群计数方法，其特征在于，包括以下步骤：(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；(4)对训练完毕的模型进行性能评估与测试。

【技术特征摘要】
1.一种基于卷积神经网络的人群计数方法，其特征在于，包括以下步骤：(1)将训练图片标注后与高斯核进行卷积操作得到真实人群密度图，作为模型训练的标签；(2)将训练图片与对应的真实人群密度图输入卷积神经网络模型进行训练，每次优化迭代更新参数，直至模型收敛；(3)制作新的场景数据集，利用模型迁移方法对得到的模型进行微调，模型训练完毕；(4)对训练完毕的模型进行性能评估与测试。2.根据权利要求1所述的基于卷积神经网络的人群计数方法，其特征在于，步骤(1)的具体步骤为：(1-1)将训练图片标注人头位置，得到0、1分布的标注图像；(1-2)将标注图像与带有扩展参数的高斯核进行卷积，得到真实人群密度图，具体公式如下：其中，M表示标注图像中的人数，x表示图像中每个像素的位置，xi表示第i个人的标注的位置，表示标准差为σi的高斯核，代表第i个人的标注位置和它周围最近的3个人的标注位置的平均距离，即在此记第i个人的标注位置到距它最近的3个人的距离为3.根据权利要求1所述的基于卷积神经网络的人群计数方法，其特征在于，步骤(2)中，所述卷积神经网络模型的结构不含有全连接层，具体包括：5个卷积层、3个池化层以及4个修正线性单元激活层。4.根据权利要求3所述基于卷积神经网络的人群计数方法，其特征在于，所述的5个卷积层具有不同的尺寸，卷积核的大小依次为9×9、9×9、7×7、5×5、9×9，卷积核输入输出通道尺寸分别为3×24、24×32、32×24、24×12、12×1，除最后一个卷积层外，其余...

【专利技术属性】
技术研发人员：王曰海，仝飞飞，张肇阳，欧岳枫，王欢，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33