一种跨模态人群计数方法及系统技术方案

本发明专利技术涉及一种跨模态人群计数方法及系统。所述方法包括：获取包括待计数人群的RGB图像和红外热图像；根据RGB图像得到RGB图像的跨模态人群分布信息注意力掩膜；分别对RGB图像和红外热图像进行特征提取操作得到RGB图像的特征表示和红外热图像的特征表示；根据跨模态人群分布信息注意力掩膜和RGB图像的特征表示得到RGB图像特征图；根据RGB图像特征图和红外热图像的特征表示得到特征图；对特征图进行卷积操作得到人群密度估计图；根据人群密度估计图得到待计数人群的总人数。本发明专利技术可以提高人群计数的准确率。群计数的准确率。群计数的准确率。

【技术实现步骤摘要】
一种跨模态人群计数方法及系统


[0001]本专利技术涉及计数领域，特别是涉及一种跨模态人群计数方法及系统。

技术介绍

[0002]人群计数被广泛用于社会距离监测，考虑到不同场景中人群状态的复杂性，估计准确的人群数量到目前为止仍然是困难和具有挑战性的，尤其是无约束场景中背景信息对计数的干扰，现有的大多数方法仅利用了从RGB图像中提取的光学信息，在无约束场景下可能无法准确识别语义对象，例如，行人在较差的光照条件下(如背光和夜间)几乎是看不见的，并且很难从RGB图像中直接检测到行人，此外，一些人形物体(例如，微小的柱子和模糊的红绿灯)与行人的外观相似，仅依靠光学特征很容易被误认为是人，所以，根据RGB图像进行人群计数得到的结果并不准确。

技术实现思路

[0003]本专利技术的目的是提供一种跨模态人群计数方法及系统，可以提高人群计数的准确率。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种跨模态人群计数方法，包括：
[0006]获取包括待计数人群的RGB图像和红外热图像；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态人群计数方法，其特征在于，包括：获取包括待计数人群的RGB图像和红外热图像；根据所述RGB图像得到所述RGB图像的跨模态人群分布信息注意力掩膜；分别对所述RGB图像和所述红外热图像进行特征提取操作得到所述RGB图像的特征表示和所述红外热图像的特征表示；根据所述跨模态人群分布信息注意力掩膜和所述RGB图像的特征表示得到RGB图像特征图；根据所述RGB图像特征图和所述红外热图像的特征表示得到特征图；对所述特征图进行卷积操作得到人群密度估计图；根据所述人群密度估计图得到所述待计数人群的总人数。2.根据权利要求1所述的一种跨模态人群计数方法，其特征在于，所述根据所述RGB图像得到所述RGB图像的跨模态人群分布信息注意力掩膜，具体包括：对所述RGB图像进行特征提取操作得到所述RGB图像的跨模态区分特征表示；对所述跨模态区分特征表示进行掩模操作得到跨模态人群分布信息注意力掩膜。3.根据权利要求2所述的一种跨模态人群计数方法，其特征在于，所述对所述RGB图像进行特征提取操作得到所述RGB图像的跨模态区分特征表示，具体包括：将所述RGB图像输入第一子网络模型得到所述RGB图像的跨模态区分特征表示；所述第一子网络模型由上至下依次为两个卷积层，一个池化层，两个卷积层，一个池化层，三个卷积层，一个池化层和三个卷积层。4.根据权利要求1所述的一种跨模态人群计数方法，其特征在于，所述分别对所述RGB图像和所述红外热图像进行特征提取操作得到所述RGB图像的特征表示和所述红外热图像的特征表示，具体包括：将所述RGB图像输入RGB图像特征图提取模型得到所述RGB图像的特征表示，所述RGB图像特征图提取模型由上至下依次为两个卷积层，一个池化层，两个卷积层，一个池化层，三个卷积层，一个池化层和三个卷积层；将所述红外热图像输入红外热图像特征提取模型得到所述红外热图像的特征表示；所述红外热图像特征提取模型由上至下依次为两个卷积层，一个池化层，两个卷积层，一个池化层，三个卷积层，一个池化层和三个卷积层。5.根据权利要求2所述的一种跨模态人群计数方法，其特征在于，所述对所述跨模态区分特征表示进行掩模操作得到跨模态人群分布信息注意力掩膜，具体包括：将所述跨模态区分特征表示针对通道进...

【专利技术属性】
技术研发人员：张世辉，李贺，赵维勃，李群鹏，
申请(专利权)人：燕山大学，
类型：发明
国别省市：