一种基于深度学习的人群计数模型及其实现方法技术

本发明专利技术公开了一种基于深度学习的人群计数模型及其实现方法，所述方法包括：步骤S1，获取人群图像，对获取的人群图像进行预处理并利用标注信息产生对应的人群密度图；步骤S2，将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；步骤S3，将多个子网络产生的特征结合，生成估计的人群密度图；步骤S4，利用估计的人群密度图与真实的人群密度图计算损失，更新模型参数；步骤S5，利用不同人群图像多次迭代式地进行步骤S1‑S4的训练过程，直到符合停止的条件。

A population counting model based on deep learning and its implementation

【技术实现步骤摘要】
一种基于深度学习的人群计数模型及其实现方法
本专利技术涉及基于深度学习的计算机视觉
，特别是涉及一种基于深度学习的人群计数模型及其实现方法。
技术介绍
人群计数是计算机视觉中的一个重要研究课题，其目标是根据人群图像自动生成人群密度图并估计场景中的人数。最近，由于其广泛的实际应用，例如视频监控、交通管理和人群流量预测，这项任务在学术界和工业界都受到越来越多的关注。传统的人群计数算法一般需要对图像进行复杂的预处理，并且需要人工设计和提取特征，在跨场景的情况下往往需要重新提取特征，适应性较差。近几年，卷积神经网络的成功运用为人群计数技术带来了重大突破，C.Zhang等人在2015年的研究工作“Cross-sceneCrowdCountingviaDeepConvolutionalNeuralNetworks”(IEEEConferenceonComputerVisionandPatternRecognition(CVPR),June2015)提出一个适用人群计数的卷积神经网络模型，其实现了端对端训练，无需进行前景分割以及人为地设计和提取特征，经过多层卷积之后得到高层特征，提高在跨场景人群计数的性能。然而，在不同的拥挤场景中，人群规模差异很大，同一图象中因距离摄像头距离不同人群的密度和分布也存在差异，该类方法无法捕捉如此巨大的规模变化。为了解决人群规模变化的问题，一些研究工作的关注点放在了提取多个不同尺度的特征以减少规模变化的影响，例如Y.Zhang等人在2016年的研究工作“Single-ImageCrowdCountingviaMulti-ColumnConvolutionalNeuralNetwork”(IEEEConferenceonComputerVisionandPatternRecognition(CVPR),June2016)和X.Cao等人在2018年的研究工作“ScaleAggregationNetworkforAccurateandEfficientCrowdCounting”(ProceedingsoftheEuropeanConferenceonComputerVision(ECCV),2018)，均通过提取多个不同尺度的特征以减少规模变化，然而，这些方法大多采用简单的策略来融合多个特征，不能很好地捕获不同尺度的特征之间的互补信息。人群在不同场景下的规模差异问题仍未得到完全解决。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于深度学习的人群计数模型及其实现方法，以解决现有技术在不同场景下的人群规模差异问题。为达上述目的，本专利技术提出一种基于深度学习的人群计数模型，包括：预处理单元，用于获取人群图像，对获取的人群图像进行预处理后输出至特征提取单元，并利用标注信息产生对应的人群密度图；特征提取单元，用于将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；估计人群密度图生成单元，用于将多个子网络产生的特征结合，生成估计的人群密度图；更新单元，用于使用所述估计人群密度图生成单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图计算损失，更新模型参数；迭代训练单元，用于多次迭代式地对不同人群图像进行所述预处理单元、特征提取单元、估计人群密度图生成单元以及更新单元的训练过程，直到满足设定的停止条件时停止训练。优选地，所述预处理单元进一步包括：图像裁剪模块，用于对获取的人群图像随机裁剪成固定大小的图像；人群密度图生成模块，用于利用标注的人头位置信息通过高斯核生成对应的人群密度图，将其作为标签图像。优选地，所述人群密度图生成模块通过如下公式生成人群密度图：其中，M代表所述人群图像中的人数，x代表图像中每个像素的位置，xi代表第i个人的标注位置，δ(x-xi)表示激活函数，表示标准差为σi的高斯核，β为一常数，代表第i个人的标注位置与其周边的m个人的标注位置的平均距离，优选地，所述特征提取单元进一步包括：子网络构建模块，用于构建多个并行的子网络，对输入的人群图像提取多个尺度的图像的特征；特征增强模块，用于在子网络各个下采样层前结合不同尺度的特征，增强各个尺度的特征。优选地，所述并行的子网络使用相同的网络结构并共享参数，由预训练的VGG-16模型的前十个卷积层组成，前十个卷积层分成四组，每一组卷积层之间都有一个下采样层，用于扩大感受野。优选地，所述特征增强模块设置在每一组卷积层后下采样层前，基于条件随机场对各个子网络中相同大小的特征进行互补增强，。优选地，所述特征增强模块基于条件随机场增强各个尺度的特征具体为根据如下公式：式中fi为第i个子网络的原特征，为迭代增强过程中的中间特征，为第i个子网络增强后的特征，为可学习的参数。优选地，所述估计人群密度图生成单元采用自顶向下的方式所述特征提取单元产生的多个特征组，将不同感受野、不同尺度的特征结合生成估计的人群密度图。优选地，所述更新单元利用所述估计人群密度图生成单元中生成的估计的人群密度图与预处理单元产生的真实人群密度图基于扩张卷积算法的多尺度结构相似性计算损失，并采用自适应矩估计优化算法更新模型参数。为达到上述目的，本专利技术还提供一种基于深度学习的人群计数模型的实现方法，包括如下步骤：步骤S1，获取人群图像，对获取的人群图像进行预处理并利用标注信息产生对应的人群密度图；步骤S2，将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；步骤S3，将多个子网络产生的特征结合，生成估计的人群密度图；步骤S4，使用估计的人群密度图与真实的人群密度图计算损失，更新模型参数；步骤S5，利用不同人群图像多次迭代式地进行步骤S1-S4的训练过程，直到符合停止的条件。与现有技术相比，本专利技术一种基于深度学习的人群计数模型及其实现方法通过对人群图像进行预处理并利用标注信息产生对应的人群密度图，然后将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用条件随机场模型增强各个尺度的特征，将多层子网络产生的特征结合，生成估计的人群密度图，使用估计密度图与真实密度图计算损失，更新模型参数，多次迭代进行训练过程直到符合停止的条件，最后得到最终的人群计数模型，可有效地解决在不同场景下的人群规模差异问题。附图说明图1为本专利技术一种基于深度学习的人群计数模型的系统架构图；图2为本专利技术具体实施例中包括三个并行的子网络的特征提取单元的结构图；图3为本专利技术具体实施例中扩张多尺度结构相似性算法的示意图；图4为本专利技术一种基于深度学习的人群计数模型的实现方法的步骤流程图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人群计数模型，包括：/n预处理单元，用于获取人群图像，对获取的人群图像进行预处理后输出至特征提取单元，并利用标注信息产生对应的人群密度图；/n特征提取单元，用于将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；/n估计人群密度图生成单元，用于将多个子网络产生的特征结合，生成估计的人群密度图；/n更新单元，用于根据所述估计人群密度图生成单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图计算损失，更新模型参数；/n迭代训练单元，用于多次迭代式地对不同人群图像进行所述预处理单元、特征提取单元、估计人群密度图生成单元以及更新单元的训练过程，直到满足设定的停止条件时停止训练。/n

【技术特征摘要】
1.一种基于深度学习的人群计数模型，包括：
预处理单元，用于获取人群图像，对获取的人群图像进行预处理后输出至特征提取单元，并利用标注信息产生对应的人群密度图；
特征提取单元，用于将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；
估计人群密度图生成单元，用于将多个子网络产生的特征结合，生成估计的人群密度图；
更新单元，用于根据所述估计人群密度图生成单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图计算损失，更新模型参数；
迭代训练单元，用于多次迭代式地对不同人群图像进行所述预处理单元、特征提取单元、估计人群密度图生成单元以及更新单元的训练过程，直到满足设定的停止条件时停止训练。


2.如权利要求1所述的一种基于深度学习的人群计数模型，其特征在于，所述预处理单元进一步包括：
图像裁剪模块，用于对获取的人群图像随机裁剪成固定大小的图像；
人群密度图生成模块，用于利用标注的人头位置信息通过高斯核生成对应的人群密度图，将其作为标签图像。


3.如权利要求2所述的一种基于深度学习的人群计数模型，其特征在于，所述人群密度图生成模块通过如下公式生成人群密度图：



其中，M代表所述人群图像中的人数，x代表图像中每个像素的位置，xi代表第i个人的标注位置，δ(x-xi)表示激活函数，表示标准差为σi的高斯核，β为一常数，代表第i个人的标注位置与其周边的m个人的标注位置的平均距离，


4.如权利要求1所述的一种基于深度学习的人群计数模型，其特征在于，所述特征提取单元进一步包括：
子网络构建模块，用于构建多个并行的子网络，对输入的人群图像提取多个尺度的图像的特征；
特征增强模块，用于在子网络各个下采样层前结合不同尺度的特征，增强各个尺度的特征。


5.如权利要求4所述的一种基于深度学习的人群...

【专利技术属性】
技术研发人员：林倞，甄家杰，刘凌波，李冠彬，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44