一种基于多模态交叉指导学习的多光谱目标检测方法技术

本发明专利技术公开了一种基于多模态交叉指导学习的多光谱目标检测方法，属于多模态信息处理技术领域。所述方法包括：将成对多模态图片送入特征生成模块生成高低层特征，从中间层特征开始，成对多模态特征送入权重感知网络。权重感知网络输出各模态的加权特征，并将其分别返回另一模态的特征生成模块，从而将加权信息以联合交叉指导的方式逐步传输到下一层，建立模态间的长期依赖关系；然后融合特征输入下一阶段的权重感知网络，以加强不同阶段融合特征之间的联系，获得更具判别力的特征；最后提取不同尺度的特征层送入检测层，生成目标的位置和得分。该方法在KAIST数据集上获得77.16％的行人检测精度，行人平均漏检率下降至25.03％。行人平均漏检率下降至25.03％。行人平均漏检率下降至25.03％。

【技术实现步骤摘要】
一种基于多模态交叉指导学习的多光谱目标检测方法


[0001]本专利技术涉及一种基于多模态交叉指导学习的多光谱目标检测方法，属于多模态信息处理


技术介绍

[0002]多光谱目标检测算法是无人驾驶，智慧视频监控等全天候应用的关键技术。区别于传统目标检测算法只使用可见光图像作为输入源，多光谱目标检测算法同时使用可见光和红外图像作为输入源，利用可见光和红外图像的互补性，有效应对光照变化及恶劣天气的影响。
[0003]多光谱目标检测算法的关键问题是红外和可见光的信息融合问题。根据融合方式的不同，现有的多光谱目标检测算法可分为基于像素级、特征级、决策级。其中，像素级方法发生在数据层，获得的信息过于原始，一般是应用在传统方法中，较少能集成在神经网络的优化训练中；单纯基于决策级的融合大多是在测试阶段对目标检测框进行处理，缺少网络训练过程中的交互，也较少单独使用。近几年，深度学习的飞速发展，深度特征显现出明显优势，因此目前大多方法都集中在特征级融合这一类，通过多模态特征间的交互，提升多光谱目标检测的性能。
[0004]然而当前一些特征级本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态交叉指导学习的多光谱目标检测方法，其特征在于，所述方法包括：构建基于多模态交叉指导学习的多光谱目标检测网络，所述基于多模态交叉指导学习的多光谱目标检测网络包括多模态特征交叉指导生成模块和检测模块；其中多模态特征交叉指导生成模块包含红外特征生成单元、可见光特征生成单元和权重感知单元；将成对的红外和可见光图片经由多模态特征交叉指导生成模块生成各级红外特征、可见光特征和融合特征，送入检测模块，得到行人目标的分类分数和定位框。2.根据权利要求1所述的方法，其特征在于，所述将成对的可见光和红外图片送入多模态特征交叉指导生成模块生成各级红外特征、可见光特征和融合特征，送入检测模块，得到行人目标的分类分数和定位框，包括：将成对的可见光和红外图片送入多模态特征交叉指导生成模块生成各级红外特征、可见光特征和融合特征；从中间层特征开始，成对的红外特征和可见光特征经过权重感知单元，获得各自的加权特征以及融合特征，然后可见光加权特征返回红外特征生成单元，而红外加权特征返回可见光特征生成单元，交叉指导下一阶段的特征生成，同时融合特征也输入下一阶段的权重感知单元，最后提取不同尺度的特征送入检测模块，生成行人目标的分类分数和定位框。3.根据权利要求2所述的方法，其特征在于，所述外特征生成单元和可见光特征生成单元分别由结构相同的特征提取网络组成，所述特征提取网络由Conv1
‑
Conv5层、Conv6层、Conv7层，以及卷积层Conv8
‑
Conv12组成；其中Conv6层、Conv7层分别为3*3的带孔卷积和1*1的卷积，所述卷积层Conv8
‑
Conv12用于提取不同尺寸的特征。4.根据权利要求3所述的方法，其特征在于，所述权重感知单元包含一个两输入、三输出的多模态权重感知网络和三个三输入、三输出的多模态权重感知网络；其中，两输入、三输出的多模态权重感知网络用于融合中间层红外特征Conv4
‑
3_T和中间层可见光特征Conv4
‑
3_V，剩余用于融合的红外和可见光特征对：Conv6_T、Conv6_V，Conv7_T、Conv7_V，Conv8
‑
2_T、Conv8
‑
2_V皆输入三输入、三输出的多模态权重感知网络获得各模态的加权特征以及融合特征。5.根据权利要求4所述的方法，其特征在于，所述两输入、三输出的多模态权重感知网络由2个级联层、2组3*3的卷积、Sigmoid激活函数以及1*1的卷积层组成；将中间层特征对红外特征可见光特征先通过第一个级联层进行特征堆叠，再用两个并行的3*3卷积层分离出两个特征，然后用Sigmoid门函数获取各个模态特征的对应权值，再将权值与中间层红外特征可见光特征相乘，输出加权红外特征加权可见光特征加权红外特征加权可见光特征再通过第二个级联层进行特征堆叠，再通过1*1的卷积层进行特征的降维和信息交互，得到融合特征将所述两输入、三输出的多模态权重感知网络输出的加权红外特征返回可见光特征生成网络，生成下一阶段可见光特征同样将所述两输入、三输出的多模态权重感知网络输出的可见光特征返回红外特征生成网络，生成下一阶段红外特征6.根据权利要求5所述的方法，其特征在于，所述三输入、三输出的多模态权重感知网
...

【专利技术属性】
技术研发人员：陈莹，朱宇，化春键，李祥明，胡蒙，裴佩，
申请(专利权)人：江南大学，
类型：发明
国别省市：