基于模态差异特征引导的红外可见光融合识别系统和方法技术方案

本发明专利技术公开了一种基于模态差异特征引导的红外可见光融合识别系统，包括双流骨干网络模块、光照热度感知模块和级联区域提议模块，其中，所述双流骨干网络模块包括红外特征提取单元、可见光特征提取单元以及特征引导单元，其中，红外特征提取单元获取原始红外图像的不同尺度红外特征，可见光特征提取单元获取可见光图像的不同尺度可见光特征；特征引导单元获得加权的红外特征和加权的可见光特征；光照热度感知模块获取可见光特征的可信度权值和红外特征的可信度权值；级联区域提议模块用于获得目标的识别结果。本发明专利技术采用模态间特征差异引导补充学习的层级间特征生成方式，提升了模态间特征表示的依赖性，并提高了网络系统的泛化能力。化能力。化能力。

【技术实现步骤摘要】
基于模态差异特征引导的红外可见光融合识别系统和方法


[0001]本专利技术属于多光谱图像识别
，具体涉及一种基于模态差异特征引导的红外可见光融合检测识别方法。

技术介绍

[0002]红外图像可捕捉到清晰的目标轮廓信息，而可见光图像可以呈现出目标精细的视觉信息，包括颜色、纹理、结构等。在光照不足的情况下，有效利用两波段互补的信息实现目标检测必不可少。
[0003]在红外可见光融合目标检测领域的早期探索中，许多学者专注于研究成像硬件及校准获取成对红外可见光图像序列，并采用机器学习的检测方法设计双波段融合检测器对数据集效果进行验证。Hwang S,Park J,Kim N等人搭建了由彩色摄像机、热像仪、分束器和三轴摄像机夹具组成的红外可见光配对成像系统，设计了基于ACF(可见光通聚合道特征)+T(像素强度)+THOG(梯度方向直方图)特征和Adaboost分类器组成的双波段目标检测器，通过提取ACF和红外像素强度以及THOG特征并进行融合，继而得到分类结果。
[0004]随着深度神经网络在可见光图像检测领域的快速发展，研究者致力于将深度神经网络应用于双波段特征融合检测。针对红外与可见光两种模态存在视场和模态差异的问题，Zhang L,Zhu X,Chen X等人设计了一种新的对齐区域CNN网络来端到端的处理弱对齐数据。对于输入的一组彩色图和热图，经过特征提取后用过数量预测和感兴趣区域匹配给输入区域特征对齐，再对对齐后的图像特征进行合并，再进行置信度融合。以上方法中对模态间差异进行了缓解，但未进一步从不同特征层出发，通过模态间特征的差异性进行互相补充，引导当前特征的生成。同时，在特征融合过程中，当前方法未建立完备的融合指导策略，导致融合检测精度较低。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于模态差异特征引导的红外可见光融合检测识别方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术提供了一种基于模态差异特征引导的红外可见光融合识别系统，包括双流骨干网络模块、光照热度感知模块和级联区域提议模块，其中，
[0007]所述双流骨干网络模块包括红外特征提取单元、可见光特征提取单元以及特征引导单元，其中，所述红外特征提取单元用于获取原始红外图像的不同尺度红外特征，所述可见光特征提取单元用于获取与所述红外图像为同一场景的可见光图像的不同尺度可见光特征；所述特征引导单元用于对当前尺度的红外特征和可见光特征进行融合和加权，获得加权的红外特征和加权的可见光特征，以交叉引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成；
[0008]所述光照热度感知模块用于根据原始红外图像的图像热度值、原始可见光图像的图像照明值，获得可见光特征的可信度权值和红外特征的可信度权值；
[0009]所述级联区域提议模块用于根据不同尺度的红外特征、不同尺度的可见光特征、以及可见光特征的可信度权值和红外特征的可信度权值，获得目标的识别结果。
[0010]在本专利技术的一个实施例中，所述红外特征提取单元包括多个级联的红外特征提取卷积层，以获得不同尺度的红外光特征，所述可见光特征提取单元包括多个级联的可见光特征提取单元，以获得不同尺度的可见光特征，所述特征引导单元包括多个级联的模态差异引导子单元，其中，
[0011]所述模态差异引导子单元利用当前尺度的红外光特征和可见光特征以及上一个模态差异引导子单元获取的红外可见光融合向量，获得加权的红外特征、加权的可见光特征以及红外可见光融合向量，并将加权的红外特征传输至下一尺度的可见光特征提取单元，将加权的可见光特征传输至下一尺度的红外特征提取单元，以引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成；并且将所述红外可见光融合向量传输至下一个模态差异引导子单元。
[0012]在本专利技术的一个实施例中，所述模态差异引导子单元具体用于：
[0013]对当前可见光特征、当前红外特征以及前一模态差异引导子单元输出的可见光红外融合特征进行融合，并通过三个并行的3
×
3卷积层进行特征分离，以获得包括更多语义信息的可见光特征、红外特征以及可见光红外融合特征；随后利用Sigmoid激活函数得到当前可见光特征和当前红外特征对应的权值，从而形成带权值的可见光特征和带权值的红外特征。
[0014]在本专利技术的一个实施例中，所述红外特征提取单元具体包括第一基础层、第一密集融合层、第二密集融合层、第三密集融合层和第四密集融合层，所述可见光特征提取单元具体包括第二基础层、第五密集融合层、第六密集融合层、第七密集融合层和第八密集融合层，所述特征引导单元包括第一模态特征差异引导子单元、第二模态特征差异引导子单元、第三模态特征差异引导子单元、第四模态特征差异引导子单元，其中，
[0015]所述第一基础层用于输入原始可见光图像并获得第一尺度可见光特征，所述第二基础层用于输入原始红外图像并获得第一尺度红外特征，所述第一模态特征差异引导子单元用于对所述第一尺度可见光特征和所述第一尺度红外特征进行融合，并获得第一尺度红外可见光融合向量、第一加权红外特征和第一加权可见光特征；
[0016]所述第一密集融合层用于利用所述第一加权红外特征和第一尺度可见光特征，获得第二尺度可见光特征；所述第五密集融合层用于利用所述第一加权可见光特征和第一尺度红外特征，获得第二尺度红外特征；所述第二模态特征差异引导子单元用于对所述第二尺度可见光特征、所述第二尺度红外特征以及第一尺度红外可见光融合向量进行融合，获得第二尺度红外可见光融合向量、第二加权红外特征和第二加权可见光特征；
[0017]所述第二密集融合层用于利用所述第二加权红外特征和第二尺度可见光特征，获得第三尺度可见光特征；所述第六密集融合层用于利用所述第二加权可见光特征和第二尺度红外特征，获得第三尺度红外特征；所述第三模态特征差异引导子单元用于对所述第三尺度可见光特征、所述第三尺度红外特征以及第二尺度红外可见光融合向量进行融合，获得第三尺度红外可见光融合向量、第三加权红外特征和第三加权可见光特征；
[0018]所述第三密集融合层用于利用所述第三加权红外特征和第三尺度可见光特征，获得第四尺度可见光特征；所述第七密集融合层用于利用所述第三加权可见光特征和第三尺
度红外特征，获得第四尺度红外特征；所述第四模态特征差异引导子单元用于对所述第四尺度可见光特征、所述第四尺度红外特征以及第三尺度红外可见光融合向量进行融合，获得第四尺度红外可见光融合向量、第四加权红外特征以及第四加权可见光特征；
[0019]所述第四密集融合层用于利用所述第四加权红外特征和第四尺度可见光特征，获得第五尺度可见光特征；所述第八密集融合层用于利用来自所述第四加权可见光特征和第四尺度红外特征，获得第五尺度红外特征。
[0020]在本专利技术的一个实施例中，所述第一基础层和所述第二基础层均由步长为1的5
×
5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态差异特征引导的红外可见光融合识别系统，其特征在于，包括双流骨干网络模块、光照热度感知模块和级联区域提议模块，其中，所述双流骨干网络模块包括红外特征提取单元、可见光特征提取单元以及特征引导单元，其中，所述红外特征提取单元用于获取原始红外图像的不同尺度红外特征，所述可见光特征提取单元用于获取与所述红外图像为同一场景的可见光图像的不同尺度可见光特征；所述特征引导单元用于对当前尺度的红外特征和可见光特征进行融合和加权，获得加权的红外特征和加权的可见光特征，以交叉引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成；所述光照热度感知模块用于根据原始红外图像的图像热度值、原始可见光图像的图像照明值，获得可见光特征的可信度权值和红外特征的可信度权值；所述级联区域提议模块用于根据不同尺度的红外特征、不同尺度的可见光特征、以及可见光特征的可信度权值和红外特征的可信度权值，获得目标的识别结果。2.根据权利要求1所述的基于模态差异特征引导的红外可见光融合识别系统，其特征在于，所述红外特征提取单元包括多个级联的红外特征提取卷积层，以获得不同尺度的红外光特征；所述可见光特征提取单元包括多个级联的可见光特征提取单元，以获得不同尺度的可见光特征；所述特征引导单元包括多个级联的模态差异引导子单元，其中，所述模态差异引导子单元利用当前尺度的红外光特征和可见光特征以及上一个模态差异引导子单元获取的红外可见光融合向量，获得加权的红外特征、加权的可见光特征以及红外可见光融合向量，并将加权的红外特征传输至下一尺度的可见光特征提取单元，将加权的可见光特征传输至下一尺度的红外特征提取单元，以交叉引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成，同时将所述红外可见光融合向量传输至下一个模态差异引导子单元。3.根据权利要求2所述的基于模态差异特征引导的红外可见光融合识别系统，其特征在于，所述模态差异引导子单元具体用于：对当前可见光特征、当前红外特征以及前一模态差异引导子单元输出的可见光红外融合特征进行融合，并通过三个并行的3
×
3卷积层进行特征分离，获得包括更多语义信息的可见光特征、红外特征以及可见光红外融合特征，随后利用Sigmoid激活函数得到当前可见光特征和当前红外特征对应的权值，从而形成加权的可见光特征和加权的红外特征。4.根据权利要求1所述的基于模态差异特征引导的红外可见光融合识别系统，其特征在于，所述红外特征提取单元具体包括第一基础层、第一密集融合层、第二密集融合层、第三密集融合层和第四密集融合层，所述可见光特征提取单元具体包括第二基础层、第五密集融合层、第六密集融合层、第七密集融合层和第八密集融合层，所述特征引导单元包括第一模态特征差异引导子单元、第二模态特征差异引导子单元、第三模态特征差异引导子单元、第四模态特征差异引导子单元，其中，所述第一基础层用于输入原始可见光图像并获得第一尺度可见光特征，所述第二基础层用于输入原始红外图像并获得第一尺度红外特征，所述第一模态特征差异引导子单元用于对所述第一尺度可见光特征和所述第一尺度红外特征进行融合，并获得第一尺度红外可见光融合向量、第一加权红外特征和第一加权可见光特征；
所述第一密集融合层用于利用所述第一加权红外特征和第一尺度可见光特征，获得第二尺度可见光特征；所述第五密集融合层用于利用所述第一加权可见光特征和第一尺度红外特征，获得第二尺度红外特征；所述第二模态特征差异引导子单元用于对所述第二尺度可见光特征、所述第二尺度红外特征以及第一尺度红外可见光融合向量进行融合，获得第二尺度红外可见光融合向量、第二加权红外特征和第二加权可见光特征；所述第二密集融合层用于利用所述第二加权红外特征和第二尺度可见光特征，获得第三尺度可见光特征；所述第六密集融合层用于利用所述第二加权可见光特征和第二尺度红外特征，获得第三尺度红外特征；所述第三模态特征差异引导子单元用于对所述第三尺度可见光特征、所述第三尺度红外特征以及第二尺度红外可见光融合向量进行融合，获得第三尺度红外可见光融合向量、第三加权红外特征和第三加权可见光特征；所述第三密集融合层用于利用所述第三加权红外特征和第三尺度可见光特征，获得第四尺度可见光特征；所述第七密集融合层用于利用所述第三加权可见光特征和第三尺度红外特征，获得第四尺度红...

【专利技术属性】
技术研发人员：秦翰林，罗国慧，延翔，欧洪璇，孙鹏，张昱赓，陈嘉欣，冯冬竹，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：