一种基于图像融合的行人检测方法、设备和介质技术

技术编号:40645582 阅读:23 留言:0更新日期:2024-03-13 21:25
本发明专利技术涉及一种基于图像融合的行人检测方法、设备和介质,包括以下步骤:S1、获取实时可见光图像和热红外图像并进行预处理;S2、对预处理后的可见光图像和热红外图像分别进行若干次多尺度特征提取,生成多个可见光特征图和热红外特征图;S3、将所述可见光特征图和热红外特征图进行加权融合,获得类激活图;S4、将所述类激活图输入特征金字塔网络进行多尺度特征融合,生成融合特征图;S5、对所述融合特征图执行检测任务,输出行人检测结果,所述检测任务包括行人预测边界框回归和行人预测边界框框选对象分类。与现有技术相比,本发明专利技术提高了行人检测结果的精确性和实时性。

【技术实现步骤摘要】

本专利技术属于目标检测,尤其是涉及一种基于图像融合的行人检测方法、设备和介质


技术介绍

1、工业中通常采用人工驾驶运输车辆,但夜间车间环境的复杂性以及驾驶人员可能发生操作失误给行车安全带来了不确定性因素,严重威胁到行人的生命安全和生产效率。目标检测是计算机视觉领域的关键任务之一,作为目标检测的重要分支,行人检测取得了令人瞩目的发展,但其检测结果很大程度上依赖于输入图像的质量。在光照条件复杂或低光照情况下,光学成像传感器难以提供足够的信息来清晰勾勒目标轮廓,传统的单模态目标检测技术难以获得理想的成像结果,直接影响了行人检测算法输出结果的准确性和可靠性。

2、在这一背景下,多模态目标检测技术应运而生,其旨在通过联合使用不同传感器获得多源数据,以获取更全面的目标信息。目前的多模态目标行人检测方法,通常使用多个骨干网络分别从输入模态中提取特征图,然后利用算法将这些特征图进行融合,融合部分允许检测模型从每个输入中提取详细信息,从而实现更好的性能。例如,lee等提出级联融合的方法,对两种模态特征图进行级联操作使其通道数加倍,然后使用nin层输出重要特征,本文档来自技高网...

【技术保护点】

1.一种基于图像融合的行人检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于图像融合的行人检测方法,其特征在于,步骤S1中,所述预处理过程包括:

3.根据权利要求1所述的一种基于图像融合的行人检测方法,其特征在于,步骤S2中,所述多尺度特征提取的具体过程如下:

4.根据权利要求3所述的一种基于图像融合的行人检测方法,其特征在于,步骤S202中,所述卷积网络包括卷积层、空间金字塔池化层SPP和残差块层。

5.根据权利要求1所述的一种基于图像融合的行人检测方法,其特征在于,步骤S3的具体过程如下:

6.根据权利要...

【技术特征摘要】

1.一种基于图像融合的行人检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于图像融合的行人检测方法,其特征在于,步骤s1中,所述预处理过程包括:

3.根据权利要求1所述的一种基于图像融合的行人检测方法,其特征在于,步骤s2中,所述多尺度特征提取的具体过程如下:

4.根据权利要求3所述的一种基于图像融合的行人检测方法,其特征在于,步骤s202中,所述卷积网络包括卷积层、空间金字塔池化层spp和残差块层。

5.根据权利要求1所述的一种基于图像融合的行人检测方法,其特征在于,步骤s3的具体过程如下:

6.根据权利要求5所述的一种基于图像融合...

【专利技术属性】
技术研发人员:陈明轩叶逸航
申请(专利权)人:上海工程技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1