一种基于多模态信息聚合的行人检测方法技术

技术编号:43672443 阅读:30 留言:0更新日期:2024-12-18 20:57
本发明专利技术公开了基于多模态信息聚合的行人检测方法,包括:构建具有VGG16网络模块结构的L‑Det网络模型,通过VGG16网络模块分别获得红外图像的池化特征、可见光图像的池化特征,将在VGG16网络模块中获取的早期特征信息以及中期特征信息通过早中期特征融合模块融合分别得到早期融合特征的池化特征和中期融合特征的池化特征,将两个池化特征通过池化特征加权融合模块进行加权特征融合获得加权后的池化特征,将早期融合特征的池化特征、中期融合特征的池化特征以及加权后的池化特征进行级联后通过全链层输出行人检测结果。本发明专利技术实现多阶段融合,弥补了在单一阶段融合的局限性,使得特征信息可以多次重复利用,减少了特征信息丢失,提高了鲁棒性。

【技术实现步骤摘要】

本专利技术设计行人检测,尤其涉及一种基于多模态信息聚合的行人检测方法


技术介绍

1、由于对于自动驾驶汽车、机器人和监控系统的安全问题,高鲁棒性行人检测在计算机视觉领域越显重要。尽管目前该领域已经取得一定进展,但是由于真实的世界中存在大量不可预测的情况,以及行人姿态、行人遮挡和照明环境的影响,高鲁棒性在行人检测领域仍然是一个具有挑战性的问题。

2、如今,全天候的传感器探测已经成为必然,进行传感器的数据融合也成了势在必行。行人检测一般采用波长为390-750nm的可见光波范围,该区段的电磁波可被人类感知。而现实生活中往往会存在恶劣天气或者环境,如照明条件较差,烟雾,灰尘,雨天等,这些情况很容易导致行人目标信息丢失,然而对于自动驾驶、智慧监控这些应用来说,恶劣环境和天气在所难免的,一旦出现检测鲁棒性较低的情况是十分危险的,对行人安全会造成极大威胁。

3、目前现有的一些多光谱行人检测算法往往只对某个特征层的特征进行红外光和可见光的融合,如此其他特征层的特征就会浪费,就会影响行人检测的精度,此外目前大多数红外光和可见光两模态直接堆叠属于粗糙本文档来自技高网...

【技术保护点】

1.一种基于多模态信息聚合的行人检测方法,其特征在于,包括如下步骤:

2.如权利要求1所述的基于多模态信息聚合的行人检测方法,其特征在于,所述步骤3的具体过程为:

3.如权利要求2所述的基于多模态信息聚合的行人检测方法,其特征在于,所述步骤3中,VGG16网络模块中还包括:区域注意力网络;红外图像特征信息和可见光图像特征信息经过VGG16网络模块中卷积处理后,分别经过区域注意力网络进行优化,再生成优化后的候选区域,获取红外图像的池化特征、可见光图像的池化特征。

4.如权利要求1所述的基于多模态信息聚合的行人检测方法,其特征在于,所述步骤4的具体步骤如下...

【技术特征摘要】

1.一种基于多模态信息聚合的行人检测方法,其特征在于,包括如下步骤:

2.如权利要求1所述的基于多模态信息聚合的行人检测方法,其特征在于,所述步骤3的具体过程为:

3.如权利要求2所述的基于多模态信息聚合的行人检测方法,其特征在于,所述步骤3中,vgg16网络模块中还包括:区域注意力网络;红外图像特征信息和可见光图像特征信息经过vgg16网络模块中卷积处理后,分别经过区域注意力网络进行优化,再生成优化后的候选区域,获取红外图像的池化特征、可见光图像的池...

【专利技术属性】
技术研发人员:王逊刘畅源杨康孙成勇
申请(专利权)人:江苏科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1