一种基于内容感知模块的人群密度估计方法及系统技术方案

本发明专利技术提供一种基于内容感知模块的人群密度估计方法及系统，涉及人群密度估算技术领域，包括：对待预测的图像数据进行预处理；根据处理后的所述图像数据提取深层语义信息和多层融合上下文信息；基于内容感知模块根据所述深层语义信息动态生成内容感知参数；将根据所述内容感知参数对人群密度估计模块卷积层的权重和偏移量进行初始化；将所述多层融合上下文信息输入初始化后的所述人群密度估计模块，得到人群密度图像。本发明专利技术在每次预测人群密度时，获取该图片数据的深层语义信息，进而动态生成人群密度估计模块卷积层的参数，更加灵活地、有针对性的进行人群密度估计，在复杂多变的场景下能够得到更好的预测结果。的场景下能够得到更好的预测结果。的场景下能够得到更好的预测结果。

【技术实现步骤摘要】
一种基于内容感知模块的人群密度估计方法及系统


[0001]本专利技术涉及人群密度估算
，尤其是涉及一种基于内容感知模块的人群密度估计方法及系统。

技术介绍

[0002]近年来人类人口增加、公共场所的人群密集程度在大幅提高，世界范围内都出现人群由于过度密集而导致的踩踏事故，造成了巨大的人身财产损失。随着计算机视觉领域技术的迅猛发展，根据监控图像、视频的人群计数任务对安保和交通控制有着至关重要的作用。同时，多变的环境、拍摄角度、密集人群的遮挡又给这项任务带了巨大的挑战。
[0003]随着深度学习、卷积神经网络(CNN)的发展，研究人员开始利用CNN从图像和视频中准确的估计人群的数量。当前绝大部分先进的CNN方法都是利用加载了预训练模型(VGG、ResNet)结合复杂的功能模块(注意力模块)来预测输入图像的人群密度图，此外还有一些方法设计了多列结构(MCNN)、多任务结构(PCCNET)来提升任务的准确度。但是当前应用在人群领域的网络都是在预测时加载固定参数不够灵活，很难应对人群图像拍摄视角多变、人群分布不规则、具有透视和遮挡的特点。

技术实现思路

[0004]针对上述问题，本专利技术提供了一种基于内容感知模块的人群密度估计方法及系统，设计基于内容感知模块的人群密度估计网络，通过内容感知模块根据图像语义信息动态生成参数加载到模型中，使模型能够在复杂多变的场景下得到更好的预测结果。
[0005]为实现上述目的，本专利技术提供了一种基于内容感知模块的人群密度估计方法，包括：
[0006]对待预测的图像数据进行预处理；
[0007]根据处理后的所述图像数据提取深层语义信息和多层融合上下文信息；
[0008]基于内容感知模块根据所述深层语义信息动态生成内容感知参数；
[0009]将根据所述内容感知参数对人群密度估计模块卷积层的权重和偏移量进行初始化；
[0010]将所述多层融合上下文信息输入初始化后的所述人群密度估计模块，得到人群密度图像。
[0011]作为本专利技术的进一步改进，将处理后的所述数据输入卷积神经网络模型；
[0012]所述卷积神经网络模型包括特征提取模块、内容感知模块和人群密度估计模块；
[0013]所述特征提取模块根据处理后的所述图像数据提取深层语义信息和多层融合上下文信息。
[0014]作为本专利技术的进一步改进，所述特征提取模块包括主干网络和特征融合网络；
[0015]所述主干网络包括一层卷积层和四层残差层，对处理后的所述图像数据进行一系列卷积、下采集、上采集，得到了所述深层语义信息；
[0016]所述特征融合网络采用特征金字塔网络，通过特征拼接方式融合所述主干网络中一层卷积层和四层残差层的输出特征，得到所述特征融合上下文信息。
[0017]作为本专利技术的进一步改进，所述卷积神经网络模型的训练过程包括：
[0018]对训练用图像数据进行数据预处理、数据增强处理和多尺度变换；
[0019]对主干网络、特征融合网络和内容感知模块的参数进行初始化；
[0020]将变换后的所述图像数据送入所述卷积神经网络模型，经特征提取模块获得深层语义信息和多层融合上下文信息；
[0021]经所述内容感知模块将所述深层语义信息转化为卷积层的权重和偏移量，并加载到所述人群密度估算模块的卷积层；
[0022]将多层融合上下文信息送入人群密度估算模块得到人群密度图像；
[0023]通过均方误差函数训练人群密度图像，得到主干网络、特征融合网络和内容感知模块的参数。
[0024]作为本专利技术的进一步改进，所述多尺度变化方法为：
[0025]利用自适应高斯核生成图像的真值人群密度图；
[0026]对图像和真值人群密度图每隔5个epoch进行一次双线性插值缩放；
[0027]对于缩放后的图像估计得到的所述人群密度图像，最后需通过公式进行像素值变换处理，公式为：
[0028][0029]其中，
[0030]Ratio为变换系数；
[0031]表示双线性插值缩放前人群密度图像像素值总和；
[0032]表示双线性插值缩放后人群密度图像像素值总和；
[0033]表示最终得到的人群密度图像的像素值。
[0034]作为本专利技术的进一步改进，所述数据增强处理包括对图像数据进行随机裁剪、随机平移、随机水平翻转、随机亮度和随机擦除。
[0035]作为本专利技术的进一步改进，所述内容感知模块包括三层1
×
1卷积和四组参数生成模块，每组所述参数生成模块包括3
×
3卷积和平均池化层；
[0036]所述深层语义信息经过三层1
×
1卷积和四组参数生成模块得到四组内容感知参数。
[0037]作为本专利技术的进一步改进，所述人群密度预测模块包括四组1
×
1卷积；
[0038]根据四组所述内容感知参数分别对人群密度预测模块的四组所述1
×
1卷积的权重和偏移量进行初始化。
[0039]作为本专利技术的进一步改进，所述人群密度预测模块的四组1
×
1卷积，通道数分别为512、256、128、2；
[0040]四组所述1
×
1卷积依次对所述多层融合上下文信息进行图像通道降维，得到通道
数为2的人群密度特征图；
[0041]对所述人群密度特征图进行热力图分析与整体积分，得到所述人群密度图像和图像中的人群总数。
[0042]本专利技术还提供了一种基于内容感知模块的人群密度估计系统，包括：图像数据处理模块、特征提取模块、内容感知模块和人群密度估计模块；
[0043]所述信息获取模块，用于：
[0044]对待预测的图像数据进行预处理；
[0045]所述特征提取模块，用于：
[0046]根据处理后的所述图像数据提取深层语义信息和多层融合上下文信息；
[0047]所述内容感知模块、用于：
[0048]根据所述深层语义信息动态生成内容感知参数；
[0049]所述人群密度估计模块，用于：
[0050]根据所述内容感知参数对卷积层的权重和偏移量进行初始化；
[0051]根据所述多层融合上下文信息进行人群密度估计，得到人群密度图像。
[0052]与现有技术相比，本专利技术的有益效果为：
[0053]本专利技术相较于传统的MCNN、CSRNET、PCCNET、CAN等人群密度估计方法在训练之后参数固定的情况，在每次预测人群密度时，获取该图片数据的深层语义信息，动态生成人群密度估计模块卷积层的参数，进而更加灵活地、有针对性的进行人群密度估计，在复杂多变的场景下能够得到更好的预测结果。
附图说明
[0054]图1为本专利技术一种实施例公开的基于内容感知模块的人群密度估计方法流程图；
[0055]图2为本专利技术一种实施例公开的基于内容感知模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内容感知模块的人群密度估计方法，其特征在于，包括：对待预测的图像数据进行预处理；根据处理后的所述图像数据提取深层语义信息和多层融合上下文信息；基于内容感知模块根据所述深层语义信息动态生成内容感知参数；将根据所述内容感知参数对人群密度估计模块卷积层的权重和偏移量进行初始化；将所述多层融合上下文信息输入初始化后的所述人群密度估计模块，得到人群密度图像。2.根据权利要求1所述的方法，其特征在于：将处理后的所述数据输入卷积神经网络模型；所述卷积神经网络模型包括特征提取模块、内容感知模块和人群密度估计模块；所述特征提取模块根据处理后的所述图像数据提取深层语义信息和多层融合上下文信息。3.根据权利要求2所述的方法，其特征在于：所述特征提取模块包括主干网络和特征融合网络；所述主干网络包括一层卷积层和四层残差层，对处理后的所述图像数据进行一系列卷积、下采集、上采集，得到了所述深层语义信息；所述特征融合网络采用特征金字塔网络，通过特征拼接方式融合所述主干网络中一层卷积层和四层残差层的输出特征，得到所述特征融合上下文信息。4.根据权利要求2所述的方法，其特征在于：所述卷积神经网络模型的训练过程包括：对训练用图像数据进行数据预处理、数据增强处理和多尺度变换；对主干网络、特征融合网络和内容感知模块的参数进行初始化；将变换后的所述图像数据送入所述卷积神经网络模型，经特征提取模块获得深层语义信息和多层融合上下文信息；经所述内容感知模块将所述深层语义信息转化为卷积层的权重和偏移量，并加载到所述人群密度估算模块的卷积层；将多层融合上下文信息送入人群密度估算模块得到人群密度图像；通过均方误差函数训练人群密度图像，得到主干网络、特征融合网络和内容感知模块的参数。5.根据权利要求4所述的方法，其特征在于，所述多尺度变化方法为：利用自适应高斯核生成图像的真值人群密度图；对图像和真值人群密度图每隔5个epoch进行一次双线性插值缩放；对于缩放后的图像估计得到的所述人群密度图像，最后需通过公式进行像素值变换处理...

【专利技术属性】
技术研发人员：王素玉，周伯翔，许凯焱，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：