一种基于跨模态间尺度注意聚合特征的计数系统及方法技术方案

本发明专利技术公开一种基于跨模态间尺度注意聚合特征的计数系统及方法，属于图像处理领域。所述方法包括：获取包括待计数可见光和红外热图像；将可见光图像进行初始特征提取；将红外热图像进行初始特征提取；将可见光初始特征进行尺度通道注意聚合，得到可见光尺度通道聚合特征；将红外热初始特征进行尺度通道注意聚合，得到红外热尺度通道聚合特征；将可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意聚合，得到跨模态尺度空间聚合特征；将跨模态尺度空间聚合特征进行密度图回归，将密度图像素值进行求和，得到人群计数结果。本发明专利技术能够有效解决人群尺度变换对跨模态特征融合的负面影响，从而提高跨模态人群计数性能。人群计数性能。人群计数性能。

【技术实现步骤摘要】
一种基于跨模态间尺度注意聚合特征的计数系统及方法


[0001]本专利技术涉及图像处理领域，尤其是一种基于跨模态间尺度注意聚合特征学习的人群计数方法及系统。

技术介绍

[0002]近年来，智能视频监控技术为社会公共安全管理提供了很大的保障。人群计数作为智能视频监控应用中的人群分析和人群异常检测等现实场景应用的核心算法之一，受到了学术界和工业界的广泛关注。现有大部分人群计数方法主要利用可见光图像(RGB图像)作为场景信息进行人群数量预测。虽然可见光图像能够较好描述强光线及白天场景的场景细节信息，但由于其自身依靠光线反射的成像原理在弱光线及夜间场景下常常无法提供足够的场景信息，少量的一些人群计数方法引入面向热源体敏感的红外热图像作为人群计数过程中可见光图像的互补数据源，形成跨模态人群计数解决方案。现有面向可见光
‑
红外热图像的跨模态人群计数方法主要侧重于将可见光图像和红外热图像进行不同模态信息融合的过程设计，忽视了人群场景中由于“远小近大”产生的尺度变换现象对跨模态特征有效融合的负面影响，这种负面影响将导致跨模态人群计数的准确率剧烈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态间尺度注意聚合特征的计数系统，其特征在于包括：获取模块、可见光初始特征提取模块、红外热初始特征提取模块、可见光尺度通道聚合特征提取模块、红外热尺度通道聚合特征提取模块、跨模态尺度感知特征融合模块、人群密度图回归模块和人群计数模块；获取模块用于获取待计数人群的场景可见光图像和红外热图像；所述可见光初始特征提取模块用于将可见光图像进行可见光模态初始特征提取；所述红外热初始特征提取模块将红外热图像进行红外热模态初始特征提取；所述可见光尺度通道聚合特征提取模块用于将可见光初始特征进行可见光模态尺度通道注意聚合；红外热尺度通道聚合特征提取模块用于将红外热初始特征进行红外热模态尺度通道注意聚合；跨模态尺度感知特征融合模块用于将可见光尺度通道聚合特征和红外热尺度通道聚合特征进行跨模态间尺度空间注意聚合；人群密度图回归模块将跨模态尺度空间聚合特征进行密度图回归；人群计数模块用于将人群密度图的像素值进行求和。2.根据权利要求1所述一种基于跨模态间尺度注意聚合特征的计数系统，其特征在于所述各模块具体组成为：可见光初始特征提取模块：从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层，每个卷积层的卷积核尺寸均为3
×
3，各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，各所述池化层均为步长为2的最大池化层；红外热初始特征提取模块：从输入到输出方向依次为两个卷积层、一个池化层、两个卷积层、一个池化层、四个卷积层、一个池化层、四个卷积层、一个池化层和四个卷积层，每个卷积层的卷积核尺寸均为3
×
3，各所述卷积层生成的特征图通道数由输入至输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，各所述池化层均为步长为2的最大池化层；可见光尺度通道聚合特征提取模块：包括可见光初始第一尺度卷积层至可见光初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层；六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3
×
3、5
×
5、7
×
7、9
×
9、11
×
11和13
×
13，全局平均池化层特征图空间方向的窗口尺寸为1
×
1；红外热尺度通道聚合特征提取模块：包括红外热初始第一尺度卷积层至红外热初始第六卷积层等六个卷积层、一个全局平均池化层、两个全连接层和一个Softmax层；六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3
×
3、5
×
5、7
×
7、9
×
9、11
×
11和13
×
13，全局平均池化层特征图空间方向的窗口尺寸为1
×
1；跨模态尺度感知特征融合模块：包括可见光第一尺度卷积层至可见光第六尺度卷积层等六个尺度卷积层，第一全局平均池化层、可见光空间注意变换卷积层、Sigmoid层、红外热第一尺度卷积层至红外热第六尺度卷积层，六个尺度卷积层、第二全局平均池化层和红外热空间注意变换卷积层；所述可见光第一至第六尺度卷积层，六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3
×
3、5
×
5、7
×
7、9
×
9、11
×
11和13
×
13，所述红外热第一至第六尺度卷积层，六个卷积层输出通道数均为512，各所述卷积层卷积核尺寸由第一至第六依次为3
×
3、5
×
5、7
×
7、9
×
9、11
×
11和13
×
13，所述第一平均池化
层和第二平均池化层均为特征图通道方向的窗口尺寸为1
×
1的全局平均池化层；所述可见光空间注意变换卷积层和红外热空间注意变换卷积层均为一个卷积核尺寸为7
×
7和输出通道数为1的卷积层；人群密度图回归模块：从输入到输出方向依次为三个卷积层，卷积核尺寸均为3
×
3，生成的特征图通道数依次为256、128和1。3.一种基于跨模态间尺度注意聚合特征的计数方法，其特征在于基于权利要求1或2所述一种基于跨模态间尺度注意聚合特征的计数系统，步骤如下：步骤一：获取包括待计数人群的场景可见光图像和红外热图像；步骤二：将所述可见光图像进行可见光模态初始特征提取，得到可见光初始特征；步骤三：将所述红外热图像进行红外热模态初始特征提取，得到红外热初始特征；步骤四：将所述可见光初始特征进行可见光模态尺度通道注意聚合，得...

【专利技术属性】
技术研发人员：李贺，张俊歌，孔维航，
申请(专利权)人：燕山大学，
类型：发明
国别省市：