基于多分支递进强化注意力人群计数方法技术

本发明专利技术提供了一种基于多分支递进强化注意力人群计数方法，该方法具体步骤如下：S1：读取数据集，预处理数据；S2：构建多分支递进强化注意力神经网络；S3：训练多分支递进强化注意力神经网络并测试；S4：获取摄像头图像，输入训练好的神经网络进行测试，得到该图片的预测人数。通过上述方式，本发明专利技术能够适用于大规模密集人群场景时的人群数量检测，有效提高检测人数结果的准确性。

【技术实现步骤摘要】
基于多分支递进强化注意力人群计数方法
本专利技术涉及一种基于多分支递进强化注意力人群计数方法。
技术介绍
随着国家城市化步伐的加快和城市经济的迅猛发展，旅游事业和人群集会场景增多的同时，伴随而来的还有安全隐患。2014年上海外滩就因人数众多，发生踩踏事件。而另一方面，随着景点集会的人数越来越多，现有的空间又不足以容纳非常多的人数时，通过限制人流量来达到对安全情况的控制，已成为了一种必要手段。因此通过一种人群计数方法，预测人群数量，对高度拥挤的场景进行预警，可以帮助相关人员进行突发事件事前预警和事后决策，人们的生命和财产安全就可得到保障。目前已有的人群计数主要分为两种：1)基于传统方法的方法，例如支持向量机、决策树等；2)基于深度学习的方法，如MSCNN、CSRNet等网神经络方法。以上基于深度学习的人群计数方法均存在一定的局限性。方法1)使用传统方法，复杂度高，精度差；方法2)使用现有神经网络，精度较低等问题。
技术实现思路
本专利技术的目的在于提供一种基于多分支递进强化注意力人群计数方法。为解决上述问题，本专利技术提供一种基于多分支递进强化注意力人群计数方法，包括：S1：读取数据集并进行数据预处理，得到预处理的数据；S2：构建多分支递进强化注意力神经网络的主干；S3：基于所述预处理的数据和多分支递进强化注意力神经网络的主干，训练所述多分支递进强化注意力神经网络并测试网络准确性，以得到训练好的神经网络；S4：获取视频中的人群图像，输入进训练好的神经网络测试，得到该图片的预测人数。进一步的，在上述方法中，S1包括：S11：下载公开数据集；S12：将公开数据集，分为数据集和训练集；S13：分别将数据集和训练集的图像数据宽高像素补充为8的倍数，并按比例调整定位图的位置，以分别得到数据集的定位图和训练集的定位图；S14：利用高斯核大小为25的高斯函数将数据集的定位图处理为数据集的密度图，利用高斯核大小为25的高斯函数将训练集的定位图处理为训练集的定位图。进一步的，在上述方法中，所述S2包括：S21：设置前端网络部分提取特征的结构：以VGG16的feature层作为特征提取层，卷积核大小为3，采用Pytorch的Conv2d卷积，每个卷积层后都加上Relu激活函数，每层的通道数为64，64，128，128，MaxPooling(kernel＝2)，256，256，256，MaxPooling(kernel＝2)，512，512，512，用所述结构提取到总体特征；S22：基于提取到的总体特征，加载VGG16网络结构的预训练参数；S23：后端网络设计。进一步的，在上述方法中，所述步骤S23包括：S231：后端主干网络为：二维卷积Conv2d，卷积核大小为3，输入到网络的通道数为512，输出网络层数为128，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM1；最近邻插值上采样，上采样倍数为原数图像2倍；二维卷积Conv2d，卷积核大小为3，输入网络层数为128，输出网络层数为64，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM2；最近邻插值上采样，上采样倍数为原数图像2倍；二维卷积Conv2d，卷积核大小为3，输入网络层数为64，输出网络层数为16，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM3；最近邻插值上采样，上采样倍数为原数图像2倍；最后一层为二维卷积Conv2d输入通道数为16，输出网络层数为1，卷积核大小为1的全卷积网络，后接Relu激活函数，输出预测密度图；S232：构建多分支递进强化注意力模块网络，其中，共前后两个阶段：将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为1，填充大小为1，得到卷积结果con1，后将con1输入强化注意力模块处理得到out1；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为2，填充大小为2，得到卷积结果con2，后将con2加上out1输入强化注意力模块得到out2；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为3，填充大小为3，得到卷积结果con3，后将con3加上out2输入强化注意力模块得到out3；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为5，填充大小为5，得到卷积结果con4，后将con4加上out3输入强化注意力模块得到out4；将out4作为第二阶段的输入图像in2，将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为5，填充大小为5，得到卷积结果con5，后将con5输入强化注意力模块得到out5；将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为3，填充大小为3，得到卷积结果con6，后将con6加上out5输入强化注意力模块得到out6；将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为2，填充大小为2，得到卷积结果con7，后将con7加上out6输入强化注意力模块得到out7；将输入图像in2做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为1，填充大小为1，得到卷积结果con8，后将con8加上out7输入强化注意力模块得到out8；S233：构建自定义强化注意力模块：将特征图x输入二维卷积，输入通道等于输出通道，卷积核大小为3，后接Relu激活函数得到特征图x1；将特征图x1输入二维分离卷积，输入通道等于输出通道，卷积核大小为3，分组数groups等于通道数，得到特征图x2；将特征图x2输入全通道注意力模块，得到的结果再加上x2得到特征图x3；将特征图x3输入交叉通道注意力模块，得到的结果再加上x3得到特征图x4；将特征图x4输入二维卷积，输入通道等于输出通道，卷积核大小为3，后接Relu激活函数得到特征图x5，最后将特征图x5加上x得到强化注意力结果F。进一步的，在上述方法中，所述S233还包括：S2331：构建自定义全通道注意力模块：将特征图f输入全通道注意力模块中，获取其通道数c和批处理数b；再将b和c输入进平均池化层和Softmax层中，拉伸为一维的张量avg，再将avg经过Linear层、Relu层、Linear层和Sigmod层中，强化需要注意的区域，再用reshape功能将其恢复成f的维度，形成新的特征图f’；S2332：构建自定义交叉通道注意力模块：将特征图g输入交叉通道注意力模块中，获取其通道数c和批处理数b，分别形成横向的张量h和纵向的张量w；再将h和w输入进平均池化层和Softmax层中，拉伸为两个一维的张量avg_h和avg_w，再将avg_h和avg_w经过一个Sigmod层中，强化需要注意的区域，再用reshape功能分别将两个维度的张量恢复成h和w的维度，接着再用concat功能形成新的特征图g’。进一步的，在上述方法中，所述步骤S3包括：S本文档来自技高网...

【技术保护点】
1.一种基于多分支递进强化注意力人群计数方法，其特征在于，包括：/nS1：读取数据集并进行数据预处理，得到预处理的数据；/nS2：构建多分支递进强化注意力神经网络的主干；/nS3：基于所述预处理的数据和多分支递进强化注意力神经网络的主干，训练所述多分支递进强化注意力神经网络并测试网络准确性，以得到训练好的神经网络；/nS4：获取视频中的人群图像，输入进训练好的神经网络测试，得到该图片的预测人数。/n

【技术特征摘要】
1.一种基于多分支递进强化注意力人群计数方法，其特征在于，包括：
S1：读取数据集并进行数据预处理，得到预处理的数据；
S2：构建多分支递进强化注意力神经网络的主干；
S3：基于所述预处理的数据和多分支递进强化注意力神经网络的主干，训练所述多分支递进强化注意力神经网络并测试网络准确性，以得到训练好的神经网络；
S4：获取视频中的人群图像，输入进训练好的神经网络测试，得到该图片的预测人数。


2.如权利要求1所述的基于多分支递进强化注意力人群计数方法，其特征在于，S1包括：
S11：下载公开数据集；
S12：将公开数据集，分为数据集和训练集；
S13：分别将数据集和训练集的图像数据宽高像素补充为8的倍数，并按比例调整定位图的位置，以分别得到数据集的定位图和训练集的定位图；
S14：利用高斯核大小为25的高斯函数将数据集的定位图处理为数据集的密度图，利用高斯核大小为25的高斯函数将训练集的定位图处理为训练集的定位图。


3.如权利要求1所述的基于多分支递进强化注意力人群计数方法，其特征在于，所述S2包括：
S21：设置前端网络部分提取特征的结构：以VGG16的feature层作为特征提取层，卷积核大小为3，采用Pytorch的Conv2d卷积，每个卷积层后都加上Relu激活函数，每层的通道数为64，64，128，128，MaxPooling(kernel＝2)，256，256，256，MaxPooling(kernel＝2)，512，512，512，用所述结构提取到总体特征；
S22：基于提取到的总体特征，加载VGG16网络结构的预训练参数；
S23：后端网络设计。


4.如权利要求3所述的基于多分支递进强化注意力人群计数方法，其特征在于，所述步骤S23包括：
S231：后端主干网络为：二维卷积Conv2d，卷积核大小为3，输入到网络的通道数为512，输出网络层数为128，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM1；最近邻插值上采样，上采样倍数为原数图像2倍；二维卷积Conv2d，卷积核大小为3，输入网络层数为128，输出网络层数为64，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM2；最近邻插值上采样，上采样倍数为原数图像2倍；二维卷积Conv2d，卷积核大小为3，输入网络层数为64，输出网络层数为16，后接Relu激活函数；自定义的多分支递进强化注意力模块CPM3；最近邻插值上采样，上采样倍数为原数图像2倍；最后一层为二维卷积Conv2d输入通道数为16，输出网络层数为1，卷积核大小为1的全卷积网络，后接Relu激活函数，输出预测密度图；
S232：构建多分支递进强化注意力模块网络，其中，共前后两个阶段：将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为1，填充大小为1，得到卷积结果con1，后将con1输入强化注意力模块处理得到out1；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为2，填充大小为2，得到卷积结果con2，后将con2加上out1输入强化注意力模块得到out2；将输入图像in1做二维卷积，输入通道等于输出通道，卷积核大小为3，扩张率为3，填充大小为3，得到卷积结果con3，后将con3加上out2输入强化注意力模块得到out3；将输入图像in1做二维卷积，输入通道等于...

【专利技术属性】
技术研发人员：沈世晖，黄良军，祝鲁宁，张亚妮，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：上海;31