一种基于点框架的高精度人群计数方法技术

本发明专利技术涉及高密度人群计数领域，提出了一种基于点框架的高精度人群计数方法：对高密度人群图像数据进行增强处理，将增强后的图像数据输入高精度人群计数模型中进行预测。所述模型包括FasterNet模型，包含EVC模块、第一CSPlayer模块、第二CSPlayer模块和CBAM模块的特征融合模型以及检测头模型。将增强后的图像数据在FasterNet模型中进行特征提取，得到不同尺寸的特征图，将所述不同尺寸的特征图分别输入到特征融合模型中，对输入的不同尺寸的特征图进行不同层次的特征融合。将融合后的特征输入到检测头模型，由检测头模型输出所预测的图像中待测人群的目标位置，根据所预测的目标位置完成对人群的计数。位置完成对人群的计数。位置完成对人群的计数。

【技术实现步骤摘要】
一种基于点框架的高精度人群计数方法


[0001]本专利技术涉及人群计数
，尤其是指一种基于点框架的高精度人群计数方法。

技术介绍

[0002]人群计数在计算机视觉领域扮演着越来越重要的角色，其主要任务是输出图像或视频中人群的个体数量。该技术广泛应用于商场客流量统计、公共场所的安全监控、活动现场管理、应急管理、城市交通管理等多个领域。随着深度学习的发展，许多卓越的人群计数模型被提出，人群计数技术的速度和鲁棒性也大幅提升。然而，绝大多数模型处理高密度的场景的结果并不理想。因此，对高密度人群的高精度计数算法迫在眉睫。
[0003]目前常用的一种高精度的人群密度检测网络，在多个数据集上取得了不错的结果，但因其使用ResNet50的结构，对于高密度场景中存在的人群遮挡问题、远景人像模糊问题的预测效果较差，不能准确还原图像。

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于克服现有技术在高密度场景处理过程中针对人群遮挡、远景人像模糊，预测结果不理想的问题。
[0005]为解决上述技术问题，本专利技术提供了一种基于点框架的高精度人群计数方法，包括：
[0006]步骤1：获取高密度人群图像，对输入的高密度人群图像数据进行增强处理；将增强处理后的图像数据输入训练完成的高精度人群计数模型中进行计数；
[0007]所述高精度人群计数模型包括FasterNet模型、特征提取模型、检测头模型；其中特征提取模型包括EVC模块、第一CSPlayer模块、第二CSPlayer模块和CBAM模块；
[0008]步骤2：采用具有4层结构的FasterNet模型对增强后的图像数据进行特征的提取；将增强后的图像数据输入所述FasterNet模型中，将FasterNet模型中第4层、第3层、第2层提取到的特征图分别作为输入，进行特征融合；
[0009]步骤3：将上述第4层提取到的特征图输入EVC模块进行融合；将融合后的新特征通过二倍上采样后与第3层提取到的特征进行拼接；将拼接后的特征输入第一CSPlayer模块中进行融合；将融合后的新特征通过二倍上采样后与第2层提取到的特征进行拼接；将拼接后的特征输入第二CSPlayer模块进行融合；将融合后的特征图输入至CBAM模块进行融合；CBAM输出的结果即为特征融合后的结果；
[0010]步骤4：将特征融合后的数据输入检测头模型，由检测头输出所预测的图像中待测人群的目标位置，根据目标位置得出人群计数的结果。
[0011]在本专利技术的一个实施例中，对于所述高精度人群计数模型进行训练过程包括：
[0012]获取高密度人群图像训练数据集，定义数据集为标签为标签为表示，N为数据集中图片的数量；
[0013]其中，X
i
为数据集中第i张高密度人群图像，大小为m
×
n，P
i
为数据集中第i张高密度人群图像的标签，N
′
为P
i
中的标记点个数，(x
j
,y
j
)表示图像中第j个标记点的横坐标与纵坐标；
[0014]对训练数据集中的高密度人群图像及标签进行增强处理；将处理后的图像样本输入高精度人群计数模型，得到图像样本的预测点及置信度，使用匈牙利算法将预测点与GroundTruth点进行匹配，得到匹配结果，根据匹配结果和置信度定义损失函数，训练模型，直至损失函数收敛。
[0015]在本专利技术的一个实施例中，所述对训练数据集中的高密度人群及标签进行增强处理包括：读入高密度人群图像X
i
后，以0.7至1.3的比例对图像进行随机缩放，再进行128
×
128大小的随机剪裁，最后用0.5的概率对图像进行水平翻转；
[0016]对图像标签P
i
进行点回归，首先对P
i
进行0.7至1.3比例的缩放，其次选择剪裁出图像中对应的坐标的P
i
，最后与图像同步翻转。
[0017]在本专利技术的一个实施例中，所述使用匈牙利算法将预测点与GroundTruth点进行匹配，得到匹配结果包括：
[0018]高精度人群计数模型输出的预测点的个数为M，GroundTruth点的个数为N
′
，M>N
′
，用ξ表示算法的匹配结果：
[0019][0020]其中，P
i
为Ground Truth点，为预测点，为匹配后的预测点，表示匹配为正样本的个数，表示匹配为负样本的个数。
[0021]在本专利技术的一个实施例中，所述高精度人群计数模型的损失函数包括分类损失、回归损失以及目标数量损失；分类损失为加权的CE损失函数，回归损失为Smooth L1损失函数，目标数量损失为Focal L1损失函数；
[0022]加权的CE损失函数表达式为：
[0023][0024]回归损失函数表达式为：
[0025][0026][0027]Focal L1损失函数表达式为：
[0028][0029]总体损失函数表达式为：
[0030]L＝λ1L
cls
+λ2L
loc
+λ3L
num
；
[0031]其中，为第i个预测点的置信度，α为正样本的权值，ε>0为防止分母为0的非零项，λ1，λ2，λ3分别为加权损失函数、回归损失函数和目标数量损失函数的融合权重系数。
[0032]在本专利技术的一个实施例中，所述EVC模块包括轻量级MLP与可学习视觉中心机制即LVC两个并行的模块；EVC模块读入所述步骤2的输出，将轻量级MLP与LVC两个模块的结果特征映射沿着通道维度连接在一起，作为EVC模块的输出。
[0033]在本专利技术的一个实施例中，所述第一CSPLayer模块包括一个BaseConv块，其中BaseConv块包括一个1
×
1的卷积层、一个BN层以及一个SiLU激活函数；
[0034]第二CSPLayer模块包括一个BaseConv模块和若干个BottleNeck块，其中BottleNeck包括一个BaseConv块和Depthwise Conv；Depthwise Conv包括两个BaseConv块，其中第一个BaseConv块groups为输入特征图通道数。
[0035]在本专利技术的一个实施例中，所述CBAM模块包括CAM与SAM两部分；CAM模块包括全局平均池化和全连接层，首先通过全局平均池化将输入的特征图在通道维度上进行池化，得到每个通道的全局池化值，然后将所述全局池化值通过全连接层进行处理，得到每个通道的权重向量；所述权重向量用于对输入的特征图的通道维度进行加权。
[0036]在本专利技术的一个实施例中，所述CBAM模块中，SAM模块包括一个压缩
‑
激励操作和一个空间门控操作；压缩
‑
激励操作利用全局平本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点框架的高精度人群计数方法，其特征在于，包括：步骤1：获取高密度人群图像，对输入的高密度人群图像数据进行增强处理；将增强处理后的图像数据输入训练完成的高精度人群计数模型中进行计数；所述高精度人群计数模型包括FasterNet模型、特征提取模型、检测头模型；其中特征提取模型包括EVC模块、第一CSPlayer模块、第二CSPlayer模块和CBAM模块；步骤2：采用具有4层结构的FasterNet模型对增强后的图像数据进行特征的提取；将增强后的图像数据输入所述FasterNet模型中，将FasterNet模型中第4层、第3层、第2层提取到的特征图分别作为输入，进行特征融合；步骤3：将上述第4层提取到的特征图输入EVC模块进行融合；将融合后的新特征通过二倍上采样后与第3层提取到的特征进行拼接；将拼接后的特征输入第一CSPlayer模块中进行融合；将融合后的新特征通过二倍上采样后与第2层提取到的特征进行拼接；将拼接后的特征输入第二CSPlayer模块进行融合；将融合后的特征图输入至CBAM模块进行融合；CBAM输出的结果即为特征融合后的结果；步骤4：将特征融合后的数据输入检测头模型，由检测头输出所预测的图像中待测人群的目标位置，根据目标位置得出人群计数的结果。2.根据权利要求1所述的一种基于点框架的高精度人群计数方法，其特征在于：对于所述高精度人群计数模型进行训练过程包括：获取高密度人群图像训练数据集，定义数据集为标签为标签为表示，N为数据集中图片的数量；其中，X
i
为数据集中第i张高密度人群图像，大小为m
×
n，P
i
为数据集中第i张高密度人群图像的标签，N'为P
i
中的标记点个数，(x
j
,y
j
)表示图像中第j个标记点的横坐标与纵坐标；对训练数据集中的高密度人群图像及标签进行增强处理；将处理后的图像样本输入高精度人群计数模型，得到图像样本的预测点及置信度，使用匈牙利算法将预测点与GroundTruth点进行匹配，得到匹配结果，根据匹配结果和置信度定义损失函数，训练模型，直至损失函数收敛。3.根据权利要求2所述的一种基于点框架的高精度人群计数方法，其特征在于：所述对训练数据集中的高密度人群及标签进行增强处理包括：读入高密度人群图像X
i
后，以0.7至1.3的比例对图像进行随机缩放，再进行128
×
128大小的随机剪裁，最后用0.5的概率对图像进行水平翻转；对图像标签P
i
进行点回归，首先对P
i
进行0.7至1.3比例的缩放，其次选择剪裁出图像中对应的坐标的P
i
，最后与图像同步翻转。4.根据权利要求2所述的一种基于点框架的高精度人群计数方法，其特征在于：所述使用匈牙利算法将预测点与GroundTruth点进行匹配，得到匹配结果包括：高精度人群计数模型输出的预测点的个数为M，GroundTruth点的个数为N'，M>N'，用ξ表示算法的匹配结果：
其中，P
i
为GroundTruth点，为预测点，为匹配后的预测点，表示匹配为正样本的个数，表示...

【专利技术属性】
技术研发人员：张莉，马浩远，赵雷，王邦军，
申请(专利权)人：苏州大学，
类型：发明
国别省市：