一种人群计数系统及方法、设备及存储介质技术方案

本发明专利技术公开了一种人群计数系统及方法、设备及存储介质。该系统包括：编码器，设置为获取人群图像，提取所述人群图像的初级特征，得到所述人群图像的初级特征图；多尺度特征残差融合模块，与所述编码器连接，设置为基于所述初级特征图，以残差融合的方式，迭代提取所述人群图像的多尺度特征，得到所述人群图像的细节特征图；解码器，与所述多尺度特征残差融合模块连接，设置为对所述细节特征图像进行分辨率恢复和降维，得到所述人群图像的人群密度图。本发明专利技术利用细节增强模块提取人群细节特征，提升网络的特征表达能力。升网络的特征表达能力。升网络的特征表达能力。

【技术实现步骤摘要】
一种人群计数系统及方法、设备及存储介质


[0001]本专利技术实施例涉及计算机视觉领域，尤其涉及一种人群计数系统及方法、设备及存储介质。

技术介绍

[0002]随着城市化的不断推进，城市中的人口密度持续增加。交通枢纽、大型活动现场及大型商场等公共场所发生人群拥挤、人群拥堵等现象也越来越多，由于人群过度的拥挤拥堵造成的隐患也越来越多。人流密度和公共安全息息相关，人流量越大，踩踏以及其他危险事情发生概率就越高。同时，国家对社会公共安全的重视程度不断提升，各种监控摄像头被布局在公共场合的每个角落。海量的监控视频数据随着而来，但是仅仅依靠人工的方式去统计实时的人群信息是非常不现实的。近些年来，随着计算机视觉和深度学习技术的快速发展，深度学习在目标检测、图像分类以及图像分割等领域取得较为出色的效果。将深度学习和人群计数相结合不仅可以减少人力物力成本，做到实时统计，为实时决策提供支撑，还可以进一步挖掘其背后的商业价值和其他社会学研究价值并且对当前国家推进智慧城市具有重要意义。
[0003]大型集会不断增多，人群规模逐渐增大，人群计数方法在处理密集场景时容易受到人群相互遮挡的影响，尤其是在人群密集区域。同时，为了监控大规模人群，需要监控摄像头等视频采集设备安放在距离人群目标更远的位置和更高的高度。这加剧了采集设备固有的透视效应，导致采集的人群视频或图像中行人尺度近大远小的问题更加凸出。行人尺度差异大，这给模型准确统计人数带来的极大的挑战。

技术实现思路

[0004]本专利技术提供一种人群计数系统和方法，以解决现有技术中存在的上述问题。
[0005]第一方面，本专利技术实施例提供了一种人群计数系统，包括：编码器，设置为获取人群图像，提取所述人群图像的初级特征，得到所述人群图像的初级特征图；多尺度特征残差融合模块，与所述编码器连接，设置为基于所述初级特征图，以残差融合的方式，迭代提取所述人群图像的多尺度特征，得到所述人群图像的细节特征图；解码器，与所述多尺度特征残差融合模块连接，设置为对所述细节特征图像进行分辨率恢复和降维，得到所述人群图像的人群密度图。
[0006]在一实施例中，所述多尺度特征残差融合模块包括：N个残差连接的密集感受野模块，其中，第一个密集感受野模块与所述编码器连接，所述第一个密集感受野模块的输入为所述初级特征图，第i个密集感受野模块的输入是第（i
‑
1）个密集感受野模块的输出和所述第（i
‑
1）个密集感受野模块的输入之间的残差，N和i均为整数，N≥2，2≤i≤N；所述N个密集感受野模块的感受野随着网络深度的增加而变大。
[0007]LReLu激活单元，与第N个密集感受野模块连接，设置为对所述第N个密集感受野模块的输出进行LReLu激活，得到所述细节特征图。
[0008]在一实施例中，每个密集感受野模块包括：M个密集连接的多尺度模块MSM，其中，前（M
‑
1）个MSM后各自连接有一个LReLu激活单元，M为整数，M≥2，所述M个MSM的感受野随着网络深度的增加而变大。
[0009]在一实施例中，每个MSM为并行排列的五分支结构，包括：第一分支，包括串行排列的1
×
1卷积和空洞率为1的3
×
3空洞卷积；第二分支，包括串行排列的1
×
1卷积、1
×
3卷积和空洞率为2的3
×
3空洞卷积；第三分支，包括串行排列的1
×
1卷积、3
×
1卷积和空洞率为2的3
×
3空洞卷积；第四分支，包括串行排列的1
×
1卷积、1
×
3卷积、3
×
1卷积和空洞率为3的3
×
3空洞卷积；第五分支，包括1
×
1卷积；融合模块，与所述第一分支、所述第二分支、所述第三分支和所述第四分支连接；所述融合模块包括串行排列的拼接模块和1
×
1卷积，其中，所述拼接模块设置为将所述第一分支、所述第二分支、所述第三分支和所述第四分支的输出进行通道维度的拼接，所述1
×
1卷积设置为对拼接结果进行通道维度的降维；相加模块，设置为将所述降维后的结果与所述第五分支的输出相加，其中，所述降维后的结果与所述第五分支的输出在空间维度和通道维度上的维数均相同；其中，每个MSM的上一层的输出同时输入所述每个MSM的所述第一分支、所述第二分支、所述第三分支、所述第四分支和所述第五分支，进行并行处理；所述第一分支、所述第二分支、所述第三分支、所述第四分支和所述第五分支所提取的特征尺度不同。
[0010]在一实施例中，所述编码器为去掉所有批正则化层和最后三层全连接层的VGG
‑
16网络，所述VGG
‑
16网络加载预训练参数。
[0011]在一实施例中，所述解码器包括：串行排列的多组空洞卷积和上采样单元，其中，每组空洞卷积和上采样单元包括串联排布的一个空洞卷积和一个上采样单元，第一组空洞卷积和上采样单元与所述多尺度特征残差融合模块连接；所述多组空洞卷积和上采样单元设置为对所述细节特征图进行分辨率恢复，其中，所述细节特征图在解码器中的分辨率的变化过程与所述人群图像在所述编码器中的分辨率的变化过程相对称；1x1卷积，与最后一组空洞卷积和上采样单元连接，用于对分辨率恢复后的细节特征图进行通道维度的降维。
[0012]第二方面，本专利技术实施例还提供了一种人群计数方法，包括：S10：获取多个训练人群图像；在每个训练人群图像中标注人头的位置，并采用固定参数的二维高斯分布拟合人头，得到所述每个训练人群图像的真值图；S20：构建如权利要求1
‑
6任意一项所述的人群计数系统；S30：以所述多个训练人群图像为训练集，以对应的多个真值图像为监督信息，对所述人群计数系统进行训练；S40：获取待计数人群图像；将所述待计数人群图像输入到训练好的人群计数系统中，得到所述待计数人群图像的人群密度图。
[0013]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例所述的人群计数方法。
[0014]第四方面，本专利技术实施例还提供了一种存储介质，其上存储有计算机可读的程序，所述程序被执行时实现上述实施例所述的人群计数方法。
[0015]本专利技术具有如下有益效果：1. 本专利技术实施例使用MSM模块进行密集连接组成密集感受野模块，可以复用大量的特征，从而使用较少的卷积便可以提取到大量的特征；同时，使用的小尺寸卷积核更有利于提取人群的细节特征，尤其是线条特征，例如行人的边缘特征等。这样可以更好地应对密集人群相互遮挡，导致人群计数误差增大的问题；2. 本专利技术实施例将多个密集感受野模块以残差的方式组合，大大加深了网络的深度，使得计数网络具有更强大的特征提取能力和非线性拟合能力，同时增大了网络的感受野，使网络对大尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人群计数系统，其特征在于，包括：编码器，设置为获取人群图像，提取所述人群图像的初级特征，得到所述人群图像的初级特征图；多尺度特征残差融合模块，与所述编码器连接，设置为基于所述初级特征图，以残差融合的方式，迭代提取所述人群图像的多尺度特征，得到所述人群图像的细节特征图；解码器，与所述多尺度特征残差融合模块连接，设置为对所述细节特征图像进行分辨率恢复和降维，得到所述人群图像的人群密度图；其中，所述多尺度特征残差融合模块包括：N个残差连接的密集感受野模块，其中，第一个密集感受野模块与所述编码器连接，所述第一个密集感受野模块的输入为所述初级特征图，第i个密集感受野模块的输入是第（i
‑
1）个密集感受野模块的输出和所述第（i
‑
1）个密集感受野模块的输入之间的残差，N和i均为整数，N≥2，2≤i≤N；所述N个密集感受野模块的感受野随着网络深度的增加而变大；LReLu激活单元，与第N个密集感受野模块连接，设置为对所述第N个密集感受野模块的输出进行LReLu激活，得到所述细节特征图；其中，每个密集感受野模块包括：M个密集连接的多尺度模块MSM，其中，前（M
‑
1）个MSM后各自连接有一个LReLu激活单元，M为整数，M≥2，所述M个MSM的感受野随着网络深度的增加而变大；其中，每个MSM为并行排列的五分支结构，包括：第一分支，包括串行排列的1
×
1卷积和空洞率为1的3
×
3空洞卷积；第二分支，包括串行排列的1
×
1卷积、1
×
3卷积和空洞率为2的3
×
3空洞卷积；第三分支，包括串行排列的1
×
1卷积、3
×
1卷积和空洞率为2的3
×
3空洞卷积；第四分支，包括串行排列的1
×
1卷积、1
×
3卷积、3
×
1卷积和空洞率为3的3
×
3空洞卷积；第五分支，包括1
×
1卷积；融合模块，与所述第一分支、所述第二分支、所述第三分支和所述第四分支连接；所述融合模块包括串行排列的拼接模块和1
×
...

【专利技术属性】
技术研发人员：杨光远，孟令灿，牛德奎，孔妍，王子璇，张梅玉，
申请(专利权)人：广东众聚人工智能科技有限公司，
类型：发明
国别省市：