【技术实现步骤摘要】
一种基于自监督特征解耦的红外可见图像融合方法
[0001]本专利技术涉及计算机视觉
，具体地说，涉及一种基于自监督特征解耦的红外可见图像融合方法。
技术介绍
[0002]图像融合技术的出现，使用为多模态传感器或不同拍摄条件下拍摄的信息具有互补性。在多模态图像融合任务中，图像信息充分互补的红外和可见图像融合，已广泛应用于军事行动、目标检测、跟踪、行人再识别和语义分割。基于强大的热辐射捕捉功能，红外图像可以有效地突出热目标(如行人)，但忽略了不发热目标；相反，可见图像捕捉目标反射光信息，边缘细节更加清楚，但隐藏在黑暗或烟雾中的突出目标被忽略，因此融合图像比单模态图像包含更多互补信息。
[0003]在过去的几十年里，许多图像融合技术已经发展起来，包括传统的方法和数据驱动的方法。传统的方法利用傅里叶变换等方式将源图像变换到频域，并在频域内进行频率测量和设计融合规则来实现图像融合。传统的图像融合技术包括基于多尺度分解的方法、基于优化的方法和混合方法等，可以满足特定场景下的专项任务需求，难以适应复杂场景，且计算开销惊人。近...
【技术保护点】
【技术特征摘要】
1.一种基于自监督特征解耦的红外可见图像融合方法，其特征在于，包括如下步骤：S1、构建基于照明感知的红外可见图像编解码融合网络：采用对比学习的方法，对基于孪生网络的编码器进行预训练，待其具备特征解耦能力之后，将双源图像同时输入编码器进行特征提取与解耦，将得到的可见光图像颜色与纹理特征、红外图像纹理特征按通道注意力权重进行拼接，随后输入解码器将融合特征恢复回原始图像；S2、设计基于对比学习的特征解耦孪生网络预训练方法：采用对比学习的方式，最大化网络输出的颜色特征间距离，同时最小化纹理特征距离，从而训练出具有特征解耦功能的编码器；S3、设计交叉注意力特征补充模块：在图像编码器中，加入基于交叉注意力的特征补充模块来实现不同源特征间的信息交流；S4、设计基于通道注意力的特征融合方法：对特征编码器求得的红外纹理特征与可见光纹理、颜色特征，在通道自注意力机制的基础上进行通道拼接融合。2.根据权利要求1所述的基于自监督特征解耦的红外可见图像融合方法，其特征在于，所述S中，基于照明感知的红外可见图像编解码融合网络由可见光图像光照估计网络、基于孪生网络的特征编码器、基于通道注意力的融合模块、特征解码器四部分组成；其中，特征解码器包含交叉注意力特征补充模块，通过将可见光、红外图像互为查询键来计算交叉注意力，增强双源的差异性特征；预训练阶段无需配准图像，微调阶段仅需少量的配准图像用于训练；经过监督方法预训练的照明打分网络，用于对可见光图像进行照明预测，输出其属于白天或夜晚的概率，作为损失函数中可见光图像权重来指导网络训练。3.根据权利要求1所述的基于自监督特征解耦的红外可见图像融合方法，其特征在于，所述S2中，基于对比学习的特征解耦孪生网络预训练方法中采用融合框架作为编解码网络结构；其中，编码器采取参数共享的孪生网络，用于提取输入图像特征并解耦为纹理和颜色特征；预训练阶段，将可见光及其灰度化图像同时输入孪生网络编码，得到四组不同特征。4.根据权利要求3所述的基于自监督特征解耦的红外可见图像融合方法，其特征在于，所述S2中，基于对比学习的特征解耦孪生网络预训练方法的实际操作中，可使用L1损失或KL散度计算特征间距离，作为监督信号促进编码器收敛；融合阶段，将红外图像中以红色为主的干扰性颜色特征抛弃，只保留其余三种特征并按通道注意力分数进行拼接，输入解码器进行图像重建；消融实验中，将输出的三种特征：可见
‑
纹理、可见
‑
颜色、红外
‑
纹理特征，分别广播三次之后，依次输入解码器进行图像重建，得到的融合图像以验证编码器的特征解耦能力。5.根据权利要求1所述的基于自监督特征解耦的红外可见图像融合方法，其特征在于，所述S3中，交叉注意力特征补充模块采用基于Transfomer的交叉注意力模块来增强各自通道的特征信息，具体操...
【专利技术属性】
技术研发人员：谭均，赵云，张洪青，施刚，李培云，文虎标，徐丽琼，张兴国，林枝锐，王媛敏，
申请(专利权)人：云南电网有限责任公司曲靖供电局，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。