基于注意力机制与标准化密集空洞空间多尺度融合网络的人群计数方法技术

本发明专利技术公开了一种基于SDA

【技术实现步骤摘要】
基于注意力机制与标准化密集空洞空间多尺度融合网络的人群计数方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于注意力机制与标准化 密集空洞空间多尺度融合网络(Multi
‑
Scale Fusion Network with Attentionand Standard Dense Atrous Spatial Pyramid Pooling，缩略为SDA
‑
SFAnet) 的人群计数方法，应用于城市、道路、景区等有监控的公共场所进行人群计数 统计监控。

技术介绍

[0002]近年来，视频监控技术已经取得了长足的发展，全天候监控摄像头已基本 遍布在城市的各个角落。考虑到人工监察的不足，有学者提出结合计算机视觉 技术进行人群计数，并将其应用于人群密集的场景中，逐步代替人工筛查和监 控，使其能够较大程度地提高人群检测精度与效率。
[0003]结合深度学习中的目标检测方法，基于全天候监控的视频监控技术已经广 泛地应用于智能视频监控跟踪、人流量和车流量管控以及公共区域安全维护等 领域中，但是在需要人群计数的场景中，由于人群中个体尺度不一、透视失真 以及光线不均等问题，对人群计数的精度影响较大。针对人群密集的场景中需 要实时监控管理的需求，构建基于深度学习且适用于不同场景下的模型，可以 有效解决人群所在场景中由于个体尺度不一、遮挡以及光照不均等情况造成的 精度下降问题，能够实现对人群进行密度图输出，并将预测值输出上报给相应 监管人员。因此，研究开发能够实现人群密集场所智能化的自动实时计数算法， 通过预警机制保障人群密集场所的安全性具有十分重要的意义。
[0004]人群计数的实现方法是通过计算机将人群图像或视频对场景中的人群进行 密度图输出，将遮挡及光照等问题进行处理，将尺度变化较大的场景进行感知， 针对固定场景设置阈值，以此判断人群是否因过密而存在潜在风险隐患，并将 该风险隐患进行上报。该任务本质上属于计算机视觉技术中的分割与统计任务， 通过相应的算法模型对人群进行密度图输出，依此来预测场景中人的数量。人 群计数方法的实现不仅需要具有较高的检测速度，同时还必须要保证计数具有 较高的精度，这样才能够满足应用场所的需要，真正实现实时预测潜在的风险 隐患，及时消除存在的风险隐患，实时保障应用场所的安全性。

技术实现思路

[0005]本专利技术的目的在于提供一种基于注意力机制与标准化密集空洞空间多尺度 融合网络(SDA
‑
SFANet)的人群计数方法，该方法具有较高的检测速度和精度。
[0006]为实现上述目的，本专利技术所采取的技术方案为：
[0007]一种基于注意力机制与标准化密集空洞空间多尺度融合网络(SDA
‑
SFANet) 的人群计数方法，其内容包括：
[0008]步骤1：获取人群计数数据集，并在训练过程中对数据进行预处理；采用图 像增强策略处理较短边小于512的图像，首先将图像的短边调整为512；在随机 位置将图像裁剪为
400
×
400固定大小的图像块，然后以概率0.5对图像随机水平翻转，并将数据增强的概率设定为0.3；对于带有灰度图像的数据集，以0.1的概率将彩色图像随机更改为灰度图像；
[0009]步骤2：建立多尺度感知的人群计数网络模型，将VGG网络中的VGG16及VGG19进行截断，选取VGG16网络的前13层的卷积层和VGG19网络的前16层的卷积层作为提取器，提取图像多尺度特征信息；在VGG网络中融入注意力机制模块(ConvolutionalBlockAttentionModule，缩略为CBAM)；在VGG网络中加入多尺度感知模块对人群图像进行多尺度感知；所述多尺度感知模块包括上下文感知模块(Context
‑
AwareNetwork，简称CAN模块)和密集空洞空间金字塔池化模块(AtrousSpatialPyramidPoolingModule，简称ASPP模块)；在VGG网络中融入密集空洞空间金字塔池化模块，能够实现系统性能约3％的平均绝对误差(MeanAbsoluteError，缩略为MAE)的下降，以提升本方法在尺度变化较大尤其是稀疏场景中的性能；建立融入注意力机制与密集空洞空间多尺度融合网络(SDA
‑
SFANet)模型；
[0010]步骤3：根据人群计数的特点，引入混合空洞卷积(HybridDilatedConvolution，缩略为HDC)标准化设计对密集空洞空间金字塔池化模块进行优化改进，使用空洞率组合为[2,3,7,17,2,3,7,17]的标准化的密集空洞空间金字塔池化模块(StandardDenseAtrousSpatialPyramidPoolingModule，简称SDASPP模块)，解决空洞卷积组合时产生的网格效应，解决始终无法参与运算的像素点能够参与运算和局部信息丢失的问题，得到标准化的密集空洞空间金字塔池化模块(SDASPP模块)，进而得到改进的融入注意力机制与标准化密集空洞空间多尺度融合网络(SDA
‑
SFANet)模型；
[0011]步骤4：利用所收集的Shanghaitech数据集与UCF
‑
QNRF数据集对步骤3中所述的改进的融入注意力机制与标准化密集空洞空间池化模块的多尺度融合网络(SDA
‑
SFANet)模型进行训练；
[0012]步骤5：使用双线性插值对来自SDASPP模块的输出特征图进行2倍上采样，然后与来自上下文感知模块的输出特征图连接；再将连接的特征图通过1*1*256和3*3*256卷积层，并与conv3
‑
3和上采样的特征连接；在通过1*1*128和3*3*128卷积层之前，将来自SDASPP模块的特征图乘以4；再将128个融合特征按因子2上采样并与conv2
‑
2连接，然后分别通过1*1*64、3*3*64和3*3*32卷积层，使用级联的方式将这些输出的特征图连接起来，得到最终密度图；由于使用了3个上采样层，使得SDA
‑
SFANet模型能够检索出原始输入尺寸1/2大小的高分辨率特征图；
[0013]步骤6：将步骤5中级联和上采样输出的最终密度图使用具有固定标准偏差内核的高斯方法生成groudtruthD(x)，并跟据图片中每个人和与其相邻人的平均距离来自适应地确定每个人的传播参数δ；该最终密度图通过与高斯核卷积来构建，该过程被表述为：
[0014][0015]其中C代表总人数，G
σ
代表高斯核，x
i
表示一个人头注释；
[0016]步骤7：使用贝叶斯损失函数L
Bayes
对预测的人群计数进行损失值计算，并将该损失值反馈到基于注意力机制与标准化密集空洞空间多尺度融合网络模型中；贝叶斯损失函数L
Bayes
可以表示为：
[0017][0018]其中L
...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制与标准化密集空洞空间多尺度融合网络的人群计数方法，其特征在于：所述方法内容包括如下步骤：步骤1：获取人群计数数据集，并在训练过程中对数据进行预处理；采用图像增强策略处理较短边小于512的图像，首先将图像的短边调整为512；在随机位置将图像裁剪为400
×
400固定大小的图像块，然后以概率0.5对图像随机水平翻转，并将数据增强的概率设定为0.3；对于带有灰度图像的数据集，以0.1的概率将彩色图像随机更改为灰度图像；步骤2：建立多尺度感知的人群计数网络模型，将VGG网络中的VGG16及VGG19进行截断，选取VGG16网络的前13层的卷积层和VGG19网络的前16层的卷积层作为提取器，提取图像多尺度特征信息；在VGG网络中融入注意力机制模块；在VGG网络中加入多尺度感知模块对人群图像进行多尺度感知；所述多尺度感知模块包括上下文感知模块和密集空洞空间金字塔池化模块；在VGG网络中融入密集空洞空间金字塔池化模块，能够实现系统性能约3％的平均绝对误差的下降，以提升本方法在尺度变化较大尤其是稀疏场景中的性能；建立融入注意力机制与密集空洞空间的多尺度融合网络模型；步骤3：根据人群计数的特点，引入混合空洞卷积标准化设计对密集空洞空间金字塔池化模块进行优化改进，使用空洞率组合为[2,3,7,17,2,3,7,17]的标准化的密集空洞空间金字塔池化模块，解决空洞卷积组合时产生的网格效应，解决始终无法参与运算的像素点能够参与运算和局部信息丢失的问题，得到标准化的密集空洞空间金字塔池化模块，进而得到改进的融入注意力机制与标准化密集空洞空间多尺度融合网络模型；步骤4：利用所收集的Shanghaitech数据集与UCF
‑
QNRF数据集对步骤3中所述的改进的融入注意力机制与标准化的密集空洞空间池化模块的多尺度融合网络模型进行训练；步骤5：使用双线性插值对来自标准化的密集空洞空间金字塔池化模块模块的输出特征图进行2倍上采样，然后与来自上下文感知模块的输出特征图连接；再将连接的特征图通过1*1*256和3*3*256卷积层，并与conv3
‑
3和上采样的特征连接；在通过1*1*128和3*3*128卷积层之前，将来自标准化的密集空洞空间金字塔池化模块模块的特征图乘以4；再将128个融合特征按因子2上采样并与conv2
...

【专利技术属性】
技术研发人员：王巍，孟佳娜，刘爽，云健，张建新，刘勇奎，多俊杰，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：