一种复杂场景的人群计数方法及设备技术

本申请公开了一种复杂场景的人群计数方法及设备，包括如下步骤：将图像输入编码器分支，以利用编码器分支对输入图像进行编码；将编码的结果输入解码器分支，以利用解码器分支确定图像中的人群密度；编码器分支包括包括多个子分支的基础特征提取单元和选择性融合单元，且各子分支的基础特征提取单元均输出特征图给选择性融合单元，以利用选择性融合单元进行筛选和融合；解码器分支包括解码器模块，用以基于自适应多尺度特征提取器输出的编码特征图，进行特征融合和语义分割，以确定图像中的人群密度。本申请实施例设计的编码器分支和解码器分支提取丰富的多尺度人头特征，提高网络对多尺度人头的检测能力，从而提高人群计数算法的精度。算法的精度。算法的精度。

【技术实现步骤摘要】
一种复杂场景的人群计数方法及设备


[0001]本申请涉及神经网络应用
，尤其涉及一种复杂场景的人群计数方法及设备。

技术介绍

[0002]目前的人群计数算法根据算法输出的类型可分为回归人群数量或人群密度图两种方式。回归人群数量的算法仅输出对应图像或视频中的人群数量，不适用于需要对人群分布进行分析的场景；回归人群密度图的算法，根据输入图片输出对应的人群密度图，密度图不仅可以反映人群的空间分布信息，并且在对密度图上的所有像素值求和后即可获得人群数量。
[0003]目前的人群计数算法存在以下几个缺陷：
[0004]由于图像采集设备摆放的高度、角度以及与行人目标距离的差异，使得图像中人群个体之间存在较大的尺度差异。
[0005]视频监控被广泛应用在人类活动区域，因此其拍摄的场景具有丰富的多样性。通常在室外场景拍摄的图片都具有复杂背景，部分背景与人群或人头特征相似，容易造成混淆。
[0006]在人群高度密集的场景中，由于摄像头摆放的高度、角度固定，造成行人被部分遮挡或完全遮挡。

技术实现思路

[0007]本申请实施例提供一种复杂场景的人群计数方法及设备，用以提取丰富的多尺度人头特征，提高网络对多尺度人头的检测能力，从而提高人群计数算法的精度。
[0008]本申请实施例提供一种复杂场景的人群计数方法，包括如下步骤：
[0009]将图像输入编码器分支，以利用编码器分支对输入图像进行编码；
[0010]将编码的结果输入解码器分支，以利用所述解码器分支确定所述图像中的人群密度；
[0011]其中所述编码器分支包括自适应多尺度特征提取器，所述自适应多尺度特征提取器，用以提取输入图片的人头特征，所述自适应多尺度特征提取器包括多个子分支的基础特征提取单元和选择性融合单元，且各子分支的基础特征提取单元均输出特征图给所述选择性融合单元，以利用所述选择性融合单元进行筛选和融合；
[0012]所述解码器分支包括解码器模块，所述解码器模块用以基于所述自适应多尺度特征提取器输出的编码特征图，进行特征融合和语义分割，以确定所述图像中的人群密度。
[0013]可选的，所述自适应多尺度特征提取器具体包括四个并行子分支的基础特征提取单元，其中第一分支由1
×
1的卷积构成，第二子分支由3
×
3的卷积构成，第三子分支由空洞率为2的3
×
3的卷积构成，第四子分支由空洞率为3的3
×
3的卷积构成，各子分支的基础特征提取单元均输出数量相同的特征图给所述选择性融合单元。
[0014]可选的，所述选择性融合单元包括选择子分支和融合子分支，所述融合子分支用于：
[0015]对基础特征提取单元获取的各尺度特征图L1、L2、L3和L4，以对应位置相加的方式进行预融合，得到第一特征图L＝L1+L2+L3+L4，L∈R
H
×
W
×
C
；
[0016]使用全局均值池化对所述第一特征图L在空间维度上进行压缩，得到第二特征图L
mean
∈R1×1×
C
；
[0017]通过一个1
×
1卷积对第二特征图L
mean
在通道维度进行压缩，得到第三特征Z∈R1×1×
d
，d＝C/8；
[0018]所述选择子分支用于：
[0019]将第三特征Z输入到四个并行子分支中进行通道升维，以获得通道升维后的特征描述符V1、V2、V3和V4，且每个特征描述符的大小相同；
[0020]对各特征描述符，在对应位置做SoftMax操作计算出注意力值S1、S2、S3和S4；
[0021]利用个注意力值对基础特征提取单元获取的各尺度特征图进行自适应校准融合，以获得编码特征图Fout＝L1*S1+L2*S2+L3*S3+L4*S4。
[0022]可选的，所述编码器分支和所述解码器分支之间还设置有上下文信息增强模块，所述上下文信息增强模块包括三路子分支，其中：
[0023]第一路子分支：
[0024]使用全局平均池化将第一输入特征图压缩到与特征描述符同等大小，以获得全局上下文信息；
[0025]对所述全局上下文信息使用1
×
1卷积进行跨通道信息交互和整合，并使用双线性插值对其上采样；
[0026]第二路子分支：
[0027]将第一输入特征图使用自适应最大值池化层沿高度维度压缩到K
×
W
×
C大小，K代表人群尺度层级的数量；
[0028]将压缩的特征图在高度维度上进行拆分，以获得K个子特征图l
k
∈R1×
W
×
C
；
[0029]将各子特征图分别输入至对应的同类上下文模块进行处理，以获得局部上下文信息；
[0030]第三路子分支：
[0031]将第一输入特征图利用1
×
1卷积压缩通道维度上的特征，仅保留所述第一输入特征图中的代表性信息；
[0032]将三路子分支输出的特征图在通道维度上拼接，以获得增强的特征图。
[0033]可选的，所述解码器模块包括预融合子分支、特征融合子分支和语义分割子分支，其中
[0034]利用所述预融合子分支的1
×
1卷积和3
×
3卷积对第二输入特征图进行预设操作，并将操作获得的特征信息分别输入并行的所述特征融合子分支和所述语义分割子分支；
[0035]利用所述特征融合子分支和所述语义分割子分支分别执行信息整合和预测前景掩膜；
[0036]将所述特征融合子分支和所述语义分割子分支的输出结果在对应位置相乘，作为所述解码器模块的输出。
[0037]可选的，所述编码器分支包括多级顺序连接的所述自适应多尺度特征提取器，所述解码器分支包括多级顺序连接的所述解码器模块；
[0038]其中相邻的自适应多尺度特征提取器之间设置有池化结构，任一所述自适应多尺度特征提取器的输出还同级解码器模块的输入；
[0039]位于末级的所述自适应多尺度特征提取器的输出与所述上下文信息增强模块连接。
[0040]可选的，所述所述编码器分支包括4级顺序连接的所述自适应多尺度特征提取器，所述解码器分支包括3级顺序连接的所述解码器模块。
[0041]本申请实施例还提出一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如前述的复杂场景的人群计数方法的步骤。
[0042]本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的复杂场景的人群计数方法的步骤。
[0043]本申请实施例设计的编码器分支和解码器分支提取丰富的多尺度人头特征，提高网络对多尺度人头的检测能力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景的人群计数方法，其特征在于，包括如下步骤：将图像输入编码器分支，以利用编码器分支对输入图像进行编码；将编码的结果输入解码器分支，以利用所述解码器分支确定所述图像中的人群密度；其中所述编码器分支包括自适应多尺度特征提取器，所述自适应多尺度特征提取器，用以提取输入图片的人头特征，所述自适应多尺度特征提取器包括多个子分支的基础特征提取单元和选择性融合单元，且各子分支的基础特征提取单元均输出特征图给所述选择性融合单元，以利用所述选择性融合单元进行筛选和融合；所述解码器分支包括解码器模块，所述解码器模块用以基于所述自适应多尺度特征提取器输出的编码特征图，进行特征融合和语义分割，以确定所述图像中的人群密度。2.如权利要求1所述的复杂场景的人群计数方法，其特征在于，所述自适应多尺度特征提取器具体包括四个并行子分支的基础特征提取单元，其中第一分支由1
×
1的卷积构成，第二子分支由3
×
3的卷积构成，第三子分支由空洞率为2的3
×
3的卷积构成，第四子分支由空洞率为3的3
×
3的卷积构成，各子分支的基础特征提取单元均输出数量相同的特征图给所述选择性融合单元。3.如权利要求2所述的复杂场景的人群计数方法，其特征在于，所述选择性融合单元包括选择子分支和融合子分支，所述融合子分支用于：对基础特征提取单元获取的各尺度特征图L1、L2、L3和L4，以对应位置相加的方式进行预融合，得到第一特征图L＝L1+L2+L3+L4，L∈R
H
×
W
×
C
；使用全局均值池化对所述第一特征图L在空间维度上进行压缩，得到第二特征图L
mean
∈R1×1×
C
；通过一个1
×
1卷积对第二特征图L
mean
在通道维度进行压缩，得到第三特征Z∈R1×1×
d
，d＝C/8；所述选择子分支用于：将第三特征Z输入到四个并行子分支中进行通道升维，以获得通道升维后的特征描述符V1、V2、V3和V4，且每个特征描述符的大小相同；对各特征描述符，在对应位置做SoftMax操作计算出注意力值S1、S2、S3和S4；利用个注意力值对基础特征提取单元获取的各尺度特征图进行自适应校准融合，以获得编码特征图Fout＝L1*S1+L2*S2+L3*S3+L4*S4。4.如权利要求3所述的复杂场景的人群计数方法，其特征在于，所述编码器分支和所述解码器分支之间还设置有上下文信...

【专利技术属性】
技术研发人员：左健豪，朱金华，李鹏飞，周俊宇，刘加，潘明远，
申请(专利权)人：中国电子系统技术有限公司，
类型：发明
国别省市：