当前位置: 首页 > 专利查询>淮阴工学院专利>正文

一种基于跨模态特征分解的多光谱行人检测方法技术

技术编号:39930213 阅读:20 留言:0更新日期:2024-01-08 21:45
本发明专利技术公开了一种基于跨模态特征分解的多光谱行人检测方法,包括以下步骤:(1)获取可见光和红外图片构成配对的多光谱行人数据集;(2)采用两路YOLOv8的骨干网络构建双流网络,分别提取可见光模态特征和红外模态特征;(3)获取不同尺度的包含低频信息和高频信息的可见光‑红外融合特征;(4)将得到的低频全局信息特征和高频局部信息特征进行低频和高频特征进行融合;(5)将聚合高低频融合特征进行多尺度融合;(6)输出预测框和相对应的置信度得分;本发明专利技术能够利用Transformer和精心设计的CNN结构提取不同的模态之间高频和低频信息,并进行有效融合;采用邻近注意力机制,进一步提高低光照环境下行人检测的准确度。

【技术实现步骤摘要】

本专利技术涉及计算机数字图像处理,具体涉及一种基于跨模态特征分解的多光谱行人检测方法


技术介绍

1、行人检测是自动驾驶、自动视频监控和机器人等领域中的重要技术,随着深度卷积神经网络(cnn)在目标检测领域的发展,多光谱行人检测方面也取得了相当大的进步。然而,由于可见光摄像机对光照条件敏感,即使是优秀的检测器也无法在低光照的环境条件下准确检测行人,这限制了许多技术方案的实际应用。为了解决这个问题,目前已经引入热红外相机来捕捉物体发出的红外辐射,它们对光照和天气变化不敏感,因此可以在不利的光照条件下提供环境补充信息。

2、目前,已经提出了一些基于深度学习的多光谱行人检测方法,例如基于卷积神经网络(cnn)的方法、基于自动编码器(ae)的方法、基于生成对抗性网络(gan)的方法和基于transformers的方法。但是基于深度学习的方法在大多数光照不足场景中都能产生可观的结果,但仍存在一些缺点。首先,基于卷积神经网络的方法只在相对较小的感受野中提取局部信息,很难提取全局信息来生成高质量的图像特征。其次,基于transformers的方法采用自注意力本文档来自技高网...

【技术保护点】

1.一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(1)中获取的数据集为:可见光-红外配对数据集LLVIP。

3.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(2)具体如下:将可见光和红外图片对送入双流网络中提取特征;双流网络采用堆叠卷积层的方式提取多模态特征;将双流网络的可见光支路中输出特征图大小为80×80×256、40×40×512、20×20×1024的三处特征图作为可见光输出特征将红外支路中输出特征图大...

【技术特征摘要】

1.一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(1)中获取的数据集为:可见光-红外配对数据集llvip。

3.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(2)具体如下:将可见光和红外图片对送入双流网络中提取特征;双流网络采用堆叠卷积层的方式提取多模态特征;将双流网络的可见光支路中输出特征图大小为80×80×256、40×40×512、20×20×1024的三处特征图作为可见光输出特征将红外支路中输出特征图大小为80×80×256、40×40×512、20×20×1024的三处特征图作为红外输出特征

4.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(3)具体如下:将i=1、2、3处的可见光输出特征和红外输出特征按照不同的层分别输入到三个ctf模块中处理;其中,ctf模块包括:特征分解模块fd和高-低频信息特征融合模块两个部分。

5.根据权利要求4所述的一种基于跨模态特征分解的多光谱行人检测...

【专利技术属性】
技术研发人员:项靖姜明新杜强洪远黄俊闻王杰
申请(专利权)人:淮阴工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1