【技术实现步骤摘要】
本专利技术涉及计算机数字图像处理,具体涉及一种基于跨模态特征分解的多光谱行人检测方法。
技术介绍
1、行人检测是自动驾驶、自动视频监控和机器人等领域中的重要技术,随着深度卷积神经网络(cnn)在目标检测领域的发展,多光谱行人检测方面也取得了相当大的进步。然而,由于可见光摄像机对光照条件敏感,即使是优秀的检测器也无法在低光照的环境条件下准确检测行人,这限制了许多技术方案的实际应用。为了解决这个问题,目前已经引入热红外相机来捕捉物体发出的红外辐射,它们对光照和天气变化不敏感,因此可以在不利的光照条件下提供环境补充信息。
2、目前,已经提出了一些基于深度学习的多光谱行人检测方法,例如基于卷积神经网络(cnn)的方法、基于自动编码器(ae)的方法、基于生成对抗性网络(gan)的方法和基于transformers的方法。但是基于深度学习的方法在大多数光照不足场景中都能产生可观的结果,但仍存在一些缺点。首先,基于卷积神经网络的方法只在相对较小的感受野中提取局部信息,很难提取全局信息来生成高质量的图像特征。其次,基于transformer
...【技术保护点】
1.一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(1)中获取的数据集为:可见光-红外配对数据集LLVIP。
3.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(2)具体如下:将可见光和红外图片对送入双流网络中提取特征;双流网络采用堆叠卷积层的方式提取多模态特征;将双流网络的可见光支路中输出特征图大小为80×80×256、40×40×512、20×20×1024的三处特征图作为可见光输出特征将红
...【技术特征摘要】
1.一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(1)中获取的数据集为:可见光-红外配对数据集llvip。
3.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(2)具体如下:将可见光和红外图片对送入双流网络中提取特征;双流网络采用堆叠卷积层的方式提取多模态特征;将双流网络的可见光支路中输出特征图大小为80×80×256、40×40×512、20×20×1024的三处特征图作为可见光输出特征将红外支路中输出特征图大小为80×80×256、40×40×512、20×20×1024的三处特征图作为红外输出特征
4.根据权利要求1所述的一种基于跨模态特征分解的多光谱行人检测方法,其特征在于,所述步骤(3)具体如下:将i=1、2、3处的可见光输出特征和红外输出特征按照不同的层分别输入到三个ctf模块中处理;其中,ctf模块包括:特征分解模块fd和高-低频信息特征融合模块两个部分。
5.根据权利要求4所述的一种基于跨模态特征分解的多光谱行人检测...
【专利技术属性】
技术研发人员:项靖,姜明新,杜强,洪远,黄俊闻,王杰,
申请(专利权)人:淮阴工学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。