一种基于密度估计的人群计数方法及系统技术方案

本发明专利技术公开一种复杂场景下结合跨模态信息的人群计数方法及系统，涉及计算机视觉技术领域，包括：获取待计数复杂场景下人群的RGB图像和深度图像；将RGB图像和深度图像输入优化后的深度神经网络模型中，得到估计的人群密度图；其中，深度神经网络模型包括依次连接的低层特征提取层、第一跨模态循环注意力融合层、中层特征提取层、第二跨模态循环注意力融合层、高层特征提取层、第三跨模态循环注意力融合层和人群密度图估计层；将估计的人群密度图进行逐像素相加，得到人群中人数的估计值。本发明专利技术能够避免现有人群计数方法在人群任意分布的复杂场景中准确率下降的问题。布的复杂场景中准确率下降的问题。布的复杂场景中准确率下降的问题。

【技术实现步骤摘要】
一种基于密度估计的人群计数方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种基于密度估计的人群计数方法及系统。

技术介绍

[0002]人群计数对于许多现实世界的应用非常重要，例如视频监控和人群管理。研究人员提出了大量的人群计数方法，现有计数方法主要从基于检测的方法和基于回归的方法转变为基于密度估计的方法，后者可以为相关人群分析任务提供空间线索。
[0003]考虑到不同场景中人群状态的复杂性，估计准确的人群数量到目前为止仍然是困难和具有挑战性的，尤其是人群规模变化的存在。根据主要的尺度变化问题，即人群密度估计任务中图像多尺度导致的人群密度估计准确率下降的问题，最近的人群计数工作开发了许多解决方案来减少其负面影响(人群密度估计任务中图像多尺度导致的人群密度估计准确率下降的影响)，即主要采用具有不同核大小的多个纯卷积或具有不同膨胀速率的多个膨胀卷积。在使用多重纯卷积时引入大核纯卷积会增加计数模型的参数个数，导致冗余计算。与使用不同核大小的多个纯卷积相比，具有不同膨胀速率的多个膨胀卷积可以在一定程度上减少参数数量，但对于一些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于密度估计的人群计数方法，其特征在于，所述方法包括：获取待估计人群图像；将所述待估计人群图像输入优化后的深度神经网络模型中，得到估计的人群密度图；所述深度神经网络模型包括依次连接的低层语义特征图提取层、第一尺度感知金字塔注意力层，依次连接的中层语义特征图提取层、第二尺度感知金字塔注意力层，依次连接的高层语义特征图提取层、第三尺度感知金字塔注意力层，以及与所述第一尺度感知金字塔注意力层、第二尺度感知金字塔注意力层和所述第三尺度感知金字塔注意力层均连接的特征融合层，与所述特征融合层连接的人群密度图估计层；所述优化后的深度神经网络模型采用不同人群图像以及与所述图像对应的真实人群密度图对所述深度神经网络模型进行训练和优化得到；将所述估计的人群密度图进行逐像素相加，得到人群中人数的估计值；将所述待估计人群图像输入优化后的深度神经网络模型中，得到估计的人群密度图，具体包括：利用所述低层语义特征图提取层对所述待估计人群图像提取低层语义特征图；利用所述中层语义特征图提取层对所述低层语义特征图提取中层语义特征图；利用所述高层语义特征图提取层对所述中层语义特征图提取高层语义特征图；利用所述第一尺度感知金字塔注意力层对所述低层语义特征图提取尺度感知信息特征，得到低层多尺度语义特征图；利用所述第二尺度感知金字塔注意力层对所述中层语义特征图提取尺度感知信息特征，得到中层多尺度语义特征图；利用所述第三尺度感知金字塔注意力层对所述高层语义特征图提取尺度感知信息特征，得到高层多尺度语义特征图；利用所述特征融合层对所述低层多尺度语义特征图、所述中层多尺度语义特征图和所述高层多尺度语义特征图进行融合，得到多层次多尺度的融合特征图；利用所述人群密度图估计层对所述多层次多尺度的融合特征图进行人群密度估计，得到估计的人群密度图。2.根据权利要求1所述的基于密度估计的人群计数方法，其特征在于，所述第一尺度感知金字塔注意力层具体包括依次连接的第一两分支空间可分离卷积层、第一卷积层、第一Sigmoid函数变换层、第一按位相乘层，依次连接的第二两分支空间可分离卷积层、第二卷积层、第二Sigmoid函数变换层、第二按位相乘层，依次连接的第三两分支空间可分离卷积层、第三卷积层、第三Sigmoid函数变换层、第三按位相乘层，以及与所述第一按位相乘层、所述第二按位相乘层和所述第三按位相乘层均连接的第一融合层；所述第一按位相乘层还与所述第一两分支空间可分离卷积层连接；所述第二按位相乘层还与所述第二两分支空间可分离卷积层连接；所述第三按位相乘层还与所述第三两分支空间可分离卷积层连接；所述第一两分支空间可分离卷积层、所述第二两分支空间可分离卷积层和所述第三两分支空间可分离卷积层均与所述低层语义特征图提取层连接；所述第一两分支空间可分离卷积层、所述第二两分支空间可分离卷积层和所述第三两分支空间可分离卷积层均用于对所述低层语义特征图提取尺度感知信息特征，得到低层尺度感知信息特征；所述第一卷积层、所述第二卷积层和所述第三卷积层均用于对所述低层尺度感知信息
特征进行维度变换，得到低层尺度语义特征图；所述第一Sigmoid函数变换层、所述第二Sigmoid函数变换层和所述第三Sigmoid函数变换层均用于对所述低层尺度语义特征图进行非线性变换，得到变换后的低层尺度语义特征图；所述第一按位相乘层、所述第二按位相乘层和所述第三按位相乘层均用于对所述变换后的低层尺度语义特征图和所述低层尺度感知信息特征进行按位相乘操作，得到按位相乘后的低层尺度语义特征图；所述第一融合层用于对所述按位相乘后的低层尺度语义特征图进行逐元素累加操作，得到低层多尺度语义特征图。3.根据权利要求2所述的基于密度估计的人群计数方法，其特征在于，所述第一两分支空间可分离卷积层包括第一分支和第二分支；所述第二两分支空间可分离卷积层包括第三分支和第四分支；所述第三两分支空间可分离卷积层包括第五分支和第六分支；所述第一分支包括依次连接的卷积核尺寸为5*1的卷积层、卷积核尺寸为1*5的卷积层；所述第二分支包括依次连接的卷积核尺寸为1*5的卷积层、卷积核尺寸为5*1的卷积层；所述第一分支中卷积核尺寸为5*1的卷积层与所述第二分支中卷积核尺寸为1*5的卷积层均与所述低层语义特征图提取层连接；所述第一分支中卷积核尺寸为1*5的卷积层与所述第二分支中卷积核尺寸为5*1的卷积层均与所述第一卷积层和所述第一按位相乘层连接；所述第三分支包括依次连接的卷积核尺寸为7*1的卷积层、卷积核尺寸为1*7的卷积层；所述第四分支包括依次连接的卷积核尺寸为1*7的卷积层、卷积核尺寸为7*1的卷积层；所述第三分支中卷积核尺寸为7*1的卷积层与所述第四分支中卷积核尺寸为1*7的卷积层均与所述低层语义特征图提取层连接；所述第三分支中卷积核尺寸为1*7的卷积层与所述第四分支中卷积核尺寸为7*1的卷积层均与所述第二卷积层和所述第二按位相乘层连接；所述第五分支包括依次连接的卷积核尺寸为9*1的卷积层、卷积核尺寸为1*9的卷积层；所述第六分支包括依次连接的卷积核尺寸为1*9的卷积层、卷积核尺寸为9*1的卷积层；所述第五分支中卷积核尺寸为9*1的卷积层与所述第六分支中卷积核尺寸为1*9的卷积层均与所述低层语义特征图提取层连接；所述第五分支中卷积核尺寸为1*9的卷积层与所述第六分支中卷积核尺寸为9*1的卷积层均与所述第三卷积层和所述第三按位相乘层连接；所述第一分支中卷积核尺寸为5*1的卷积层和卷积核尺寸为1*5的卷积层，所述第二分支中卷积核尺寸为1*5的卷积层和卷积核尺寸为5*1的卷积层，所述第三分支中卷积核尺寸为7*1的卷积层和卷积核尺寸为1*7的卷积层，所述第四分支中卷积核尺寸为1*7的卷积层和卷积核尺寸为7*1的卷积层，所述第五分支中卷积核尺寸为9*1的卷积层和卷积核尺寸为1*9的卷积层以及所述第六分支中卷积核尺寸为1*9的卷积层和卷积核尺寸为9*1的卷积层均用于对所述低层语义特征图提取尺度感知信息特征，得到低层尺度感知信息特征。4.根据权利要求1所述的基于密度估计的人群计数方法，其特征在于，所述第二尺度感知金字塔注意力层具体包括依次连接的第四两分支空间可分离卷积层、第四卷积层、第四Sigmoid函数变换层、第四按位相乘层，依次连接的第五两分支空间可分离卷积层、第五卷
积层、第五Sigmoid函数变换层、第五按位相乘层，依次连接的第六两分支空间可分离卷积层、第六卷积层、第六Sigmoid函数变换层、第六按位相乘层，以及与所述第四按位相乘层、所述第五按位相乘层和所述第六按位相乘层均连接的第二融合层；所述第四按位相乘层还与所述第四两分支空间可分离卷积层连接；所述第五按位相乘层还与所述第五两分支空间可分离卷积层连接；所述第六按位相乘层还与所述第六两分支空间可分离卷积层连接；所述第四两分支空间可分离卷积层、所述第五两分支空间可分离卷积层和所述第六两分支空间可分离卷积层均与所述中层语义特征图提取层连接；所述第四两分支空间可分离卷积层、所述第五两分支空间可分离卷积层和所述第六两分支空间可分离卷积层均用于对所述中层语义特征图提取尺度感知信息特征，得到中层尺度感知信息特征；所述第四卷积层、所述第五卷积层和所述第六卷积层均用于对所述中层尺度感知信息特征进行维度变换，得到中层尺度语义特征图；所述第四Sigmoid函数变换层、所述第五Sigmoid函数变换层和所述第六Sigmoid函数变换层均用于对所述中层尺度语义特征图进行非线性变换，得到变换后的中层尺度语义特征图；所述第四按位相乘层、所述第五按位相乘层和所述第六按位相乘层均用于对所述变换后的低层尺度语义特征图和所述中层尺度感知信息特征进行按位相乘操作，得到按位相乘后的中层尺度语义特征图；所述第二融合层用于对所述按位相乘后的中层尺度语义特征图进行逐元素累加操作，得到中层多尺度语义特征图。5.根据权利要求4所述的基于密度估计的人群计数方法，其特征在于，所述第四两分支空间可分离卷积层包括第七分支和第八分支；所述第五两分支空间可分离卷积层包括第九分支和第十分支；所述第六两分支空间可分离卷积层包括第十一分支和第十二分支；所述第七分支包括依次连接的卷积核尺寸为5*1的卷积层、卷积核尺寸为1*5的卷积层；所述第八分支包括依次连接的卷积核尺寸为1*5的卷积层、卷积核尺寸为5*1的卷积层；所述第七分支中卷积核尺寸为5*1的卷积层与所述第八分支中卷积核尺寸为1*5的卷积层均与所述中层语义特征图提取层连接；所述第七分支中卷积核尺寸为1*5的卷积层与所述第八分支中卷积核尺寸为5*1的卷积层均与所述第四卷积层和所述第四按位相乘层连接；所述第九分支包括依次连接的卷积核尺寸为7*1的卷积层、卷积核尺寸为1*7的卷积层；所述第十分支包括依次连接的卷积核尺寸为1*...

【专利技术属性】
技术研发人员：张世辉，李贺，李群鹏，赵维勃，
申请(专利权)人：燕山大学，
类型：发明
国别省市：