一种基于高层语义引导的多阶段高效人群密度估计方法技术

本发明专利技术属于机器视觉及深度学习技术领域，涉及一种基于高层语义引导的多阶段高效人群密度估计方法，先通过主干网络提取底层卷积特征，再在不同的池化层后添加不同阶段的空洞卷积分支，其中不同阶段的分支使用来自主干网络的底层特征，减少了特征重复提取的计算消耗；并在不同阶段使用不同空洞因子的空洞卷积替换普通卷积，在增加计算量的基础上提高了网络对于不同尺度人群的感知能力；而且采用了逐点通道注意调制模块，每个空间位置的通道特征上下文分别聚合，提升了对于小目标的感知能力，解决了多尺度特征提取效率低的问题。解决了多尺度特征提取效率低的问题。解决了多尺度特征提取效率低的问题。

【技术实现步骤摘要】
一种基于高层语义引导的多阶段高效人群密度估计方法


[0001]本专利技术属于机器视觉及深度学习
，涉及一种人群计数方法，特别是一种基于高层语义引导的多阶段高效人群密度估计方法。

技术介绍

[0002]随着人工智能、物联网、5G等技术的迅速发展，智能视频监控在智慧城市中发挥了重要作用，人群密度估计在智能视频监控体系扮演了重要的角色。准确估计公共基础设施中人群密度的重要意义不言而喻，即准确的疏导人群统计数据防止了踩踏、骚乱等多种危险事故的发生，在管理控制和商业决策方面起着重要的作用。
[0003]目前，人头存在较大的尺度变化是阻碍对人群进行精准计数的主要挑战之一，引起这种现象的主要原因是不同的人头距离相机的远近不一，如果可以提供人群图片对应的透视信息，便可以将不同尺度的人头归一化为相同大小，但是如果人头之间密度较高，存在明显的重叠，这个时候透视图可能会失效，甚至带来严重的失真。现有的基于卷积神经网络的方法往往使用多个输入或多个网络模型来提取尺度相关特征，这对于模型优化尤为复杂，如MCNN在网络中结合不同尺度语义的人头信息，使用多列的深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高层语义引导的多阶段高效人群密度估计方法，其特征在于，包括如下步骤：（1）数据集预处理，生成密度图：使用Shanghai Tech 数据集PartA作为训练和测试数据集，并对训练数据集进行处理和训练；（2）底层特征提取：首先构建人群密度估计网络结构的主干网络，将步骤（1）生成的训练数据集图片输入到VGG16卷积神经网络中作为主干网络用于特征的提取，从VGG16卷积神经网络切割前13层，其中包含10层卷积层和3层池化层，三层池化层分别连接在第二层卷积之后、第四层卷积之后和第七层卷积之后，并在最后的卷积层输出底层特征；（3）多阶段特征提取：在主干网络第一个池化层和第二个池化层之后分支出两个阶段，使用空洞卷积来替代普通卷积，并且不断增大空洞卷积的空洞因子，使得该阶段获得的感受野比不同阶段的感受野更大，增加不同阶段之间感受野的差距，每一个阶段在经过两个卷积操作之后均使用最大池化对特征图进行操作，由此在两个阶段的最后一个卷积输出不同尺度的人群特征；（4）高层语义引导的权重分配模块：为了突出远距离小目标的细微细节，在步骤（3）的主干网络与不同阶段之间使用逐点通道权重分配模块进行关联，其中每个空间位置的通道特征上下文分别聚合，逐点通道权重模块以自下而上的方式传播上下文信息，用以丰富高层特征和底层特征的空间细节，通过将权重L(x)和底层特征Y进行矩阵运算，得到权重重分配后的底层语义特征，最终将高层语义引导的权重分配模块应用于不同的阶段之间，用于增强不同尺度特征之间的上下文关联，增强高层语义对于底层特征的语义引导；（5）多阶段特征融合：将步骤（3）提取的VGG16底层特征和步骤（4）得到的两个阶段的特征共三个阶段的特征使用Concat操作合并在一起，最后使用采用1
×
1的卷积运算将Channel维度降为1，得到预测的人群密度图；（6）训练网络结构，得到训练好的模型参数：使用步骤（1）Shanghai Tech 数据集PartA增广裁剪后的训练集图像，图片尺寸为512 5123，按照批次尺寸（B），依次输入到步骤（2）
‑
步骤（5）构建的网络结构中，整个主干网络的输入，输出密度图的分类置信度，通过计算人工标注密度图和预测密度图之间的距离来进行有监督的训练，经过设定次数完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，翟贵乾，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：