一种双分支联合型目标密集预测方法及系统技术方案

本发明专利技术涉及目标密集预测技术领域，公开了本发明专利技术提供了一种双分支联合型目标密集预测方法及系统。该双分支联合型目标密集预测方法，包括以下步骤：S1，利用待预测目标的图像生成特征图；S2，利用特征图中的计数特征生成预测密度图，以及，利用特征图中的定位特征生成预测位置图；S3，利用生成预测位置图的过程信息对生成的预测密度图进行更新优化，和/或，利用生成预测密度图的过程信息对生成的预测位置图进行更新优化。本发明专利技术解决了现有技术存在的密度图位置信息衰减以及对目标位置预测不准确等问题。准确等问题。准确等问题。

【技术实现步骤摘要】
一种双分支联合型目标密集预测方法及系统


[0001]本专利技术涉及目标密集预测
，具体是一种双分支联合型目标密集预测方法及系统。

技术介绍

[0002]在目标密集预测
中，人群密集预测是典型的应用场景。人群计数和人群定位是人群分析中两个相似但又不同的研究任务，他们都基于行人头部中心点的标注来分析密集场景。人群计数目标是预测密度图并计算图像中行人的数量，而人群定位倾向于估计每个人的位置等信息。
[0003]主流人群计数方法通过对预测密度图的积分来估计行人数量。因此，如何生成高质量的密度图成为人群计数中的一个关键问题。一些研究工作采用多柱结构、多尺度结构和扩张卷积生成高质量的密度图。然而，由于均方误差损失难以学习预测的密度图和真实标注图像之间的空间差异，这些方法存在密度图中位置信息衰减以及对行人位置预测不准确的问题。通过观察，预测的密度图通常缺乏足够强的位置信息来区分前景和背景区域，这严重影响了预测的准确性。主要有两种情况：(i)由于背景噪声，某些背景区域被高估；(ii)图像中的某些人群前景区域被识别为背景导致低估。为了解决这个问题，注意力模块被用来减轻背景噪声,利用像素损失的最大过量来保留密度的高频空间变化。然而，这些方法中用于增强网络空间意识的特征或密度图针对人群计数进行了优化，这使得这些特征和密度图对位置信息不敏感，限制了改进。因此，更应该学习准确的位置信息以更好地表达空间分布以促进人群计数。
[0004]人群定位方法根据监督的不同,大致可以分为两类：框监督方法和点监督方法。框监督方法经常检测头部或面部用于定位行人的目标检测模型。这些方法受到小物体和严重遮挡的影响，导致召回率低。而且，边界框标注是劳动密集型的，尤其是在人群密集的场景中。点监督方法尝试回归位置图或二值图，并通过后处理估计人头中心的位置地图。与密度图相比，位置图具有更准确的对象实例位置，同时缺乏密度信息，因此容易重复或遗漏局部密集区域的物体。

技术实现思路

[0005]为克服现有技术的不足，本专利技术提供了一种双分支联合型目标密集预测方法及系统，解决现有技术存在的密度图位置信息衰减以及对目标位置预测不准确等问题。
[0006]本专利技术解决上述问题所采用的技术方案是：
[0007]一种双分支联合型目标密集预测方法，包括以下步骤：
[0008]S1，利用待预测目标的图像生成特征图；
[0009]S2，利用特征图中的计数特征生成预测密度图，以及，利用特征图中的定位特征生成预测位置图；
[0010]S3，利用生成预测位置图的过程信息对生成的预测密度图进行更新优化，和/或，
利用生成预测密度图的过程信息对生成的预测位置图进行更新优化。
[0011]作为一种优选的技术方案，步骤S3包括以下步骤：
[0012]S31，构建具备训练功能的位置感知模块，使位置感知模块利用来自特征图中的定位特征生成预测掩码图；
[0013]S32，使位置感知模块利用预测掩码图对生成的预测密度图进行更新优化。
[0014]作为一种优选的技术方案，步骤S31中，生成预测掩码图过程中，还将标注位置图转换为标注掩码图用以监督位置感知模块的训练。
[0015]作为一种优选的技术方案，还包括以下步骤：
[0016]S33，利用MSE损失函数来衡量预测密度图与标注密度图之间的差异，并利用MSE损失函数对生成的预测密度图进行更新优化，MSE损失函数的公式为：
[0017][0018]其中，L
MSE
(D
rf
，D
gt
)表示预测密度图与标注密度图之间的MSE损失函数，N表示输入的待预测目标的图像数量，N≥1且为整数，D
rf
表示预测密度图，D
gt
表示标注密度图，i表示待预测目标的图像的编号，1≤i≤N且i为正整数，p表示待预测目标的图像的像素点编号，表示第i张预测密度图的第p个像素点的像素值，表示第i张标注密度图的第p个像素点的像素值。
[0019]作为一种优选的技术方案，步骤S3还包括以下步骤：
[0020]S34，构建具备训练功能的自适应密度感知模块，使自适应密度感知模块利用来自特征图中的计数特征来生成预测注意力图；
[0021]S35，使位置感知模块利用预测注意力图对对生成的预测位置图进行更新优化。
[0022]作为一种优选的技术方案，步骤S3还包括以下步骤：
[0023]S36，利用预测注意力图找到密度图中的密集区域，在定位损失函数中逐像素调整不同密度级别区域的权重，监督自适应密度感知模块。
[0024]作为一种优选的技术方案，步骤S36中，利用密度感知定位损失函数作为定位损失函数，密度感知定位损失函数的公式为：
[0025][0026]其中，L
dal
表示密度感知定位损失函数，M表示正样本的数量，A
p
表示预测注意力图的前景图的第p个像素点的像素值，Y
p
表示标注位置图的前景图的第p个像素点的像素值，P
pr
是预测位置图的中心点图，表示预测位置图的中心点图的第p个像素点的像素值，γ、δ均表示超参数，γ、δ均为正实数。
[0027]作为一种优选的技术方案，步骤S32中，利用焦点损失函数监督位置感知模块的训练，焦点损失函数的公式为：
[0028][0029]其中，L
mask
表示掩码损失函数，H表示预测掩码图的高度，W表示预测掩码图的宽
度，M
pr
表示预测掩码图，表示预测掩码图的第p个像素点的像素值，表示标注掩码图的第p个像素点的像素值。
[0030]一种双分支联合型目标密集预测系统，基于所述的一种双分支联合型目标密集预测方法，包括以下模块：
[0031]特征图生成模块：用以利用待预测目标的图像生成特征图；
[0032]密度图生成模块：用以利用特征图中的计数特征生成预测密度图；
[0033]位置图生成模块：用以利用特征图中的定位特征生成预测位置图；
[0034]位置感知模块：用以利用生成预测位置图的过程信息对生成的预测密度图进行更新优化。
[0035]作为一种优选的技术方案，还包括以下模块：
[0036]自适应密度感知模块：用以利用生成预测密度图的过程信息对生成的预测位置图进行更新优化。
[0037]本专利技术相比于现有技术，具有以下有益效果：
[0038](1)本专利技术缓解密度图的位置信息衰减问题，降低了密集区域位置图误差，从而提高了目标密集预测准确率；
[0039](2)本专利技术集成了定位分支和位置感知模块，以提供互补特征和细化密度图，在NWPU
‑
Crowd和JHU
‑
Crowd++数据集上以较大的间隔优于人群计数方法；
[0040](3)本专利技术直接使用定位分支生成的位置图来细化计数分支生成的密度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双分支联合型目标密集预测方法，其特征在于，包括以下步骤：S1，利用待预测目标的图像生成特征图；S2，利用特征图中的计数特征生成预测密度图，以及，利用特征图中的定位特征生成预测位置图；S3，利用生成预测位置图的过程信息对生成的预测密度图进行更新优化，和/或，利用生成预测密度图的过程信息对生成的预测位置图进行更新优化。2.根据权利要求1所述的一种双分支联合型目标密集预测方法，其特征在于，步骤S3包括以下步骤：S31，构建具备训练功能的位置感知模块，使位置感知模块利用来自特征图中的定位特征生成预测掩码图；S32，使位置感知模块利用预测掩码图对生成的预测密度图进行更新优化。3.根据权利要求2所述的一种双分支联合型目标密集预测方法，其特征在于，步骤S31中，生成预测掩码图过程中，还将标注位置图转换为标注掩码图用以监督位置感知模块的训练。4.根据权利要求3所述的一种双分支联合型目标密集预测方法，其特征在于，还包括以下步骤：S33，利用MSE损失函数来衡量预测密度图与标注密度图之间的差异，并利用MSE损失函数对生成的预测密度图进行更新优化，MSE损失函数的公式为：其中，L
MSE
(D
rf
，D
gt
)表示预测密度图与标注密度图之间的MSE损失函数，N表示输入的待预测目标的图像数量，N≥1且为整数，D
rf
表示预测密度图，D
gt
表示标注密度图，i表示待预测目标的图像的编号，1≤i≤N且i为正整数，p表示待预测目标的图像的像素点编号，表示第i张预测密度图的第p个像素点的像素值，表示第i张标注密度图的第p个像素点的像素值。5.根据权利要求4所述的一种双分支联合型目标密集预测方法，其特征在于，步骤S3还包括以下步骤：S34，构建具备训练功能的自适应密度感知模块，使自适应密度感知模块利用来自特征图中的计数特征来生成预测注意力图；S35，使位置感知模块利用预测注意力图对对生成的预测位置图进行更...

【专利技术属性】
技术研发人员：吴晓，张基，谭舒月，李威，彭强，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：