基于视角贡献加权的人群检测方法及相关装置制造方法及图纸

本申请公开了一种基于视角贡献加权的人群检测方法及相关装置，方法包括获取目标场景的多个视角图像，控制人群检测模型提取各视角图像的单视角特征图，将各单视角特征图投影至预设平面以得到各单视角投影特征图；对各单视角投影特征图进行解码以得各单视角预测概率图；确定各单视角预测概率图的单视角权重图，并基于各单视角权重图将各单视角投影特征图融合以得到多视角特征图；对多视角特征图进行解码以得到多视角预测概率图。本申请基于各单视角投影特征图来确定各视角的单视角权重图，然后基于各视角权重图将各视角投影特征图按照视角贡献进行融合，有效的利用多视角的特征信息，可以很好的解决遮挡问题，提高了人群检测位置信息的准确性。测位置信息的准确性。测位置信息的准确性。

【技术实现步骤摘要】
基于视角贡献加权的人群检测方法及相关装置


[0001]本申请涉及计算机视觉
，特别涉及一种基于视角贡献加权的人群检测方法及相关装置。

技术介绍

[0002]针对人群检测的研究通常是在场景的场景地平面上进行检测，可以服务于多种不同的实际应用，如公共安全、自动驾驶以及智慧城市等。其中，遮挡始终是一个难以逾越的问题，许多方法为了解决遮挡造成的误差做出了努力。这些方法尝试在图像中提取一些人为定义的特征以检测每个人的位置，例如，通过提取图像的概率占据图来表示被检测人群在场景地面网格上所占据的位置。然而，这些方法需要依赖背景抠除预处理等，这极大抑制了它们的性能和应用场景。
[0003]为了解决上述问题，卷积神经网络模型被用于进行人群检测，其中，卷积神经网络的输入是相机在某个场景下所拍摄的图片，输出则是该场景的人群检测位置信息。但是，对于一个比较拥挤的场景，会存在非常严重的遮挡问题，比如被检测对象之间的遮挡或场景障碍物对被检测对象的遮挡等，采用卷积神经网络对单视角图像进行特征提取来确定人群检测位置信息仍然会受遮挡问题影响，进而会影响人群检测位置信息的准确性。
[0004]因而现有技术还有待改进和提高。

技术实现思路

[0005]本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于视角贡献加权的人群检测方法及相关装置。
[0006]为了解决上述技术问题，本申请实施例第一方面提供了一种基于视角贡献加权的人群检测方法，应用经过训练的人群检测模型，所述方法包括：获取目标场景的多个视角图像，其中，每个视角图像均包含若干人；通过人群检测模型提取各视角图像各自对应的单视角特征图，并将各单视角特征图投影至预设平面，以得到各单视角特征图各自对应的单视角投影特征图，其中，所述预设平面平行于所述目标场景中的场景地平面；通过人群检测模型对各单视角投影特征图进行解码，以得各单视角投影特征图各自对应的单视角预测概率图；通过人群检测模型确定各单视角预测概率图各自对应的单视角权重图，并基于各单视角权重图将各单视角投影特征图融合，以得到多视角特征图；通过人群检测模型对所述多视角特征图进行解码以得到多视角预测概率图。
[0007]所述的基于视角贡献加权的人群检测方法，其中，所述基于各单视角权重图将各单视角投影特征图融合，以得到多视角特征图具体包括：将各单视角权重图与各自对应的单视角投影特征图相乘，以得到各单视角投影特征图各自对应的单视角目标特征图；
将各单视角目标特征图相加，以得到多视角特征图。
[0008]所述的基于视角贡献加权的人群检测方法，其中，所述通过人群检测模型确定各单视角预测概率图各自对应的单视角权重图具体包括：通过人群检测模型计算各单视角预测概率图各自对应的单视角权重，并将各单视角权重与各单视角的掩膜图相乘，以得到各单视角预测概率图各自对应的单视角候选权重图；通过人群检测模型对各单视角候选权重图进行归一化处理，以得到各单视角预测概率图各自对应的单视角权重图。
[0009]所述的基于视角贡献加权的人群检测方法，其中，所述人群检测模型包括单视角特征提取模块、单视角投影解码模块、视角贡献加权融合模块和多视角特征解码模块，其中，所述单视角特征提取模块与所述单视角投影解码模块相连接，所述单视角投影解码模块与所述视角贡献加权融合模块相连接，所述单视角特征解码模块与所述视角贡献加权融合模块相连接，所述视角贡献加权融合模块与所述多视角特征解码模块相连接。
[0010]所述的基于视角贡献加权的人群检测方法，其中，所述人群检测模型的训练过程具体包括：将预设训练集中的训练图像组输入所述人群检测模型对应的初始检测模型，通过所述初始检测模型确定各单视角训练概率图和多视角训练概率图；基于各单视角训练概率图和多视角训练概率图确定第一损失函数，并基于所述第一损失函数对所述初始检测模型进行训练，以得到经过训练的人群检测模型。
[0011]所述的基于视角贡献加权的人群检测方法，其中，所述第一损失函数的表达式为：；；；其中，表示第一损失函数，表示场景级损失项，表示单视角预测损失项，表示视角图像的数目，表示单视角训练概率图，表示多视角训练概率图，表示场景真实概率图；表示均方差损失函数，表示第i个视角的掩膜图，用于反映第i个视角在场景中的可见范围，表示权重超参数。
[0012]所述的基于视角贡献加权的人群检测方法，其中，当将所述人群检测模型应用于目标场景之前，所述方法还包括：将基于预设训练集训练的人群检测模型作为预训练人群检测模型；将预设训练集中的训练图像组输入预训练人群检测模型，通过预训练人群检测模型确定训练图像组对应的多视角训练特征图以及训练场景预测概率图；将目标场景对应的测试集中的测试图像组输入预训练人群检测模型，通过预训练人群检测模型确定测试图像组对应的多视角测试特征图；
通过预设判别器确定多视角训练特征图对应的第一预测场景，以及多视角测试特征图对应的第二预测场景；基于所述训练场景预测概率图、第一预测场景和所述第二预测场景确定第二损失函数，并基于所述第二损失函数对所述预训练人群检测模型进行训练，以得到所述目标场景对应的人群检测模型。
[0013]本申请实施例第二方面提供了一种基于视角贡献加权的人群检测装置，应用经过训练的人群检测模型，所述的人群检测装置包括：获取模块，用于获取目标场景的多个视角图像，其中，每个视角图像均包含若干人；控制模块，用于控制人群检测模型提取各视角图像各自对应的单视角特征图，并将各单视角特征图投影至预设平面，以得到各单视角特征图各自对应的单视角投影特征图；对各单视角投影特征图进行解码，以得各单视角投影特征图各自对应的单视角预测概率图；确定各单视角预测概率图各自对应的单视角权重图，并基于各单视角权重图将各单视角投影特征图融合，以得到多视角特征图；对所述多视角特征图进行解码以得到多视角预测概率图，其中，所述预设平面平行于所述目标场景中的场景地平面。
[0014]本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于视角贡献加权的人群检测方法中的步骤。
[0015]本申请实施例第四方面提供了一种电子设备，其包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如上任一所述的基于视角贡献加权的人群检测方法中的步骤。
[0016]有益效果：与现有技术相比，本申请提供了一种基于视角贡献加权的人群检测方法及相关装置，方法包括获取目标场景的多个视角图像，控制人群检测模型提取各视角图像各自对应的单视角特征图，并将各单视角特征图投影至预设平面，以得到各单视角特征图各自对应的单视角投影特征图；对各单视角投影特征图进行解码，以得各单视角投影特征图各自对应的单视角预测概率图；确定各单视角预测概率图各自对应的单视角权重图，并基于各单视角权重图将各单视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视角贡献加权的人群检测方法，其特征在于，应用经过训练的人群检测模型，所述方法包括：获取目标场景的多个视角图像，其中，每个视角图像均包含若干人；通过人群检测模型提取各视角图像各自对应的单视角特征图，并将各单视角特征图投影至预设平面，以得到各单视角特征图各自对应的单视角投影特征图，其中，所述预设平面平行于所述目标场景中的场景地平面；通过人群检测模型对各单视角投影特征图进行解码，以得各单视角投影特征图各自对应的单视角预测概率图；通过人群检测模型确定各单视角预测概率图各自对应的单视角权重图，并基于各单视角权重图将各单视角投影特征图融合，以得到多视角特征图；通过人群检测模型对所述多视角特征图进行解码以得到多视角预测概率图。2.根据权利要求1所述的基于视角贡献加权的人群检测方法，其特征在于，所述基于各单视角权重图将各单视角投影特征图融合，以得到多视角特征图具体包括：将各单视角权重图与各自对应的单视角投影特征图相乘，以得到各单视角投影特征图各自对应的单视角目标特征图；将各单视角目标特征图相加，以得到多视角特征图。3.根据权利要求1所述的基于视角贡献加权的人群检测方法，其特征在于，所述通过人群检测模型确定各单视角预测概率图各自对应的单视角权重图具体包括：通过人群检测模型计算各单视角预测概率图各自对应的单视角权重，并将各单视角权重与各单视角的掩膜图相乘，以得到各单视角预测概率图各自对应的单视角候选权重图；通过人群检测模型对各单视角候选权重图进行归一化处理，以得到各单视角预测概率图各自对应的单视角权重图。4.根据权利要求1所述的基于视角贡献加权的人群检测方法，其特征在于，所述人群检测模型包括单视角特征提取模块、单视角投影解码模块、视角贡献加权融合模块和多视角特征解码模块，其中，所述单视角特征提取模块与所述单视角投影解码模块相连接，所述单视角投影解码模块与所述视角贡献加权融合模块相连接，所述单视角特征解码模块与所述视角贡献加权融合模块相连接，所述视角贡献加权融合模块与所述多视角特征解码模块相连接。5.根据权利要求1
‑
4任意一项所述的基于视角贡献加权的人群检测方法，其特征在于，所述人群检测模型的训练过程具体包括：将预设训练集中的训练图像组输入所述人群检测模型对应的初始检测模型，通过所述初始检测模型确定各单视角训练概率图和多视角训练概率图；基于各单视角训练概率图和多视角训练概率图确定第一损失函数，并基于所述第一损失函数对所述初始检测模型进行训练，以得到经过训练的人群检测模型。6.根据权利要求5所述的基于视角贡献加权的人群检测方法...

【专利技术属性】
技术研发人员：张琦，黄惠，龚云飞，
申请(专利权)人：深圳大学，
类型：发明
国别省市：