一种面向跨模态特征融合的人群计数方法和装置制造方法及图纸

技术编号:40545625 阅读:19 留言:0更新日期:2024-03-05 19:03
一种面向跨模态特征融合的人群计数方法和装置,其方法包括:获取RGB可见光图像和对应的热红外图像;分别将RGB图像和热红外图像输入VGG16网络的五组卷积阶段,通过每一阶段的特征提取,得到RGB图像的特征图和热红外图像的特征图;根据热红外图像的特征图得到前景注意力掩膜图;利用前景注意力掩膜图得到细化的RGB图像的特征图;分别提取RGB图像特征图的权值和热红外图像特征图的权值;利用权值激活RGB图像的特征图和热红外图像的特征图;利用通道注意力和空间注意力,融合RGB图像和热红外图像的增强特征图,得到最终特征图;最终特征图通过卷积操作和激活函数得到密度估计图,根据密度估计图得到人群的计数结果。本发明专利技术可提高人群计数的准确率和鲁棒性。

【技术实现步骤摘要】

本专利技术属于人群计数领域,涉及了一种基于rgb图像和热红外图像的跨模态的人群计数方法和装置。背景介绍随着城市化进程的快速推进,人口密集区域的人群数量不断增加,如火车站、演唱会等。当公共场合人群过于密集时,容易发生不可控的事故,因此需要对人群数量进行实时监测和计数,以确保公共安全,防范潜在的安全风险。人群计数是通过图像或视频,预测场景中人数的任务。为了实现拥堵避免、公共安全和流量分析,人群计数领域开始在城市规划、公共安防、交通流量监控等领域广泛应用。因此,人群计数研究在促进城市发展、提升公共服务水平以及推动科技创新方面具有重要的意义。随着深度学习的发展,基于卷积神经网络以及通过密度图计数的方法能够快速高效地获取图像信息。一般的rgb可见光图像善于感知人物的形状和纹理,可以保存丰富的细节和纹理信息。但在光线不足、烟雾、复杂背景干扰等场景下,传统单模态人群计数往往无法有效地区分目标与背景。此外,由于图像中存在不同景深的人物,人物尺度变化多样,进而引发了尺度变化问题。传统卷积方法采用固定的核大小来提取特征,这种方法往往难以实现高精度的特征提取。且存在网络深层次的感受野有限,导致部分全局本文档来自技高网...

【技术保护点】

1.一种面向跨模态特征融合的人群计数方法,其特征在于,包括:

2.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述S2,具体包括:

3.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述S3,具体包括:

4.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述S4,具体包括:

5.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述S5,具体包括:

6.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述S6,具体...

【技术特征摘要】

1.一种面向跨模态特征融合的人群计数方法,其特征在于,包括:

2.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述s2,具体包括:

3.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述s3,具体包括:

4.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述s4,具体包括:

5.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述s5,具体包括:

6.根据权利要求1所述的一种面向跨模态特征融合的人群计数方法,其特征在于,所述s6,具体包括:

【专利技术属性】
技术研发人员:董天阳胡克凡
申请(专利权)人:浙江工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1