【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种基于特征反馈的多模态图像融合目标检测方法。
技术介绍
1、基于深度学习的目标检测方法主要以可见光图像作为输入源，但随着检测场景的复杂化和多元化(如低光照)，仅靠单一的可见光图像作为输入，无法有效获取图像中各目标信息，使目标检测在复杂场景下的应用效果较差。红外成像仪主要利用目标反射的红外辐射能量进行成像，与可见光相比，红外图像可有效降低光照等外部因素对目标的影响，但却存在对比度较低、目标纹理缺失严重等情况。
技术实现思路
1、本专利技术所要解决的技术问题是提供一种基于特征反馈的多模态图像融合目标检测方法，提高低照度场景下目标检测的抗干扰能力。
2、本专利技术解决其技术问题所采用的技术方案是：提供一种基于特征反馈的多模态图像融合目标检测方法，包括以下步骤：
3、接收可见光图像和红外光图像；
4、将所述可见光图像和红外光图像输入至多模态图像融合目标检测模型，得到目标检测结果；其中，所述多模态图像融合目标检测模型包括：
5、特征提取部分，用于对所述可见光图像和红外光图像分别进行特征提取，得到可见光图像深度特征信息和红外光图像深度特征信息；
6、多模态融合部分，用于将所述可见光图像深度特征信息和红外光图像深度特征信息进行特征融合，得到多尺度融合特征；所述多尺度融合特征反馈至所述特征提取部分以指导所述特征提取部分进行特征提取；
7、目标预测部分，用于根据得到的多尺度融合特征预测目标类
8、所述特征提取部分包括：
9、可见光图像特征提取模块，用于从所述可见光图像提取出深度特征信息，得到可见光深度特征信息；
10、红外光图像特征提取模块，用于从所述红外光图像提取出深度特征信息，得到红外光深度特征信息。
11、所述可见光图像特征提取模块和红外光图像特征提取模块的网络结构相同，均包括多层特征提取层。
12、所述多模态融合部分包括依次连接的若干融合模块，所述融合模块用于将所述特征提取部分中第n层特征提取层提取出的可见光深度特征信息和红外光深度信息进行融合，得到融合特征，并将融合特征分别输送至所述目标预测部分和所述特征提取部分中的第n+1层特征提取层，其中，n≥2。
13、所述融合模块包括依次设置的用于对输入特征进行加权求和的加权融合单元、用于计算通道重要性的通道注意力单元和用于自适应学习不同区域的空间注意力单元。
14、所述目标预测部分包括若干检测头模块，所述若干检测头模块并行布置，并与所述多模态融合部分输出的多尺度融合特征相对应，所述检测头模块用于从多尺度融合特征中得到不同尺度上的预测信息，并根据不同尺度上的预测信息生成目标类别集坐标位置，得到目标检测结果。
15、有益效果
16、由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术将提取到的可见光图像的特征和红外图像的特征进行融合，并将融合后的特征再反馈至特征提取网络中以指导特征提取网络获取到更为有效的特征信息，从而有效提高目标检测的抗干扰能力，提升检测结果的准确性，更好地应用于实际监控场景。
本文档来自技高网...【技术保护点】
1.一种基于特征反馈的多模态图像融合目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述特征提取部分包括：
3.根据权利要求2所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述可见光图像特征提取模块和红外光图像特征提取模块的网络结构相同，均包括多层特征提取层。
4.根据权利要求1所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述多模态融合部分包括依次连接的若干融合模块，所述融合模块用于将所述特征提取部分中第N层特征提取层提取出的可见光深度特征信息和红外光深度信息进行融合，得到融合特征，并将融合特征分别输送至所述目标预测部分和所述特征提取部分中的第N+1层特征提取层，其中，N≥2。
5.根据权利要求4所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述融合模块包括依次设置的用于对输入特征进行加权求和的加权融合单元、用于计算通道重要性的通道注意力单元和用于自适应学习不同区域的空间注意力单元。
6.根据权利要求1所述
...【技术特征摘要】
1.一种基于特征反馈的多模态图像融合目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述特征提取部分包括：
3.根据权利要求2所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述可见光图像特征提取模块和红外光图像特征提取模块的网络结构相同，均包括多层特征提取层。
4.根据权利要求1所述的基于特征反馈的多模态图像融合目标检测方法，其特征在于，所述多模态融合部分包括依次连接的若干融合模块，所述融合模块用于将所述特征提取部分中第n层特征提取层提取出的可见光深度特征信息和红外光深度信息进行融合，得到融合特征，并将融合特征分别输送至...
【专利技术属性】
技术研发人员：罗珊珊，刘建坡，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。