一种联合高级视觉任务的红外与可见光图像融合方法技术

本发明专利技术公开了一种联合高级视觉任务的红外与可见光图像融合方法，属于图像处理领域，首先构建包括教师网络和学生网络的图像融合网络；采用两个判别器分别用于区分可见光图像与融合图像、红外图像与融合图像；通过实时语义分割模型对图像融合网络的输出图像进行分割并辅助图像融合网络学习保留融合图像的语义信息；通过计算语义分割损失，将语义信息反馈给融合网络，指导其优化参数，使得生成的融合图像不仅在视觉效果上接近真实图像，而且在语义信息上也具有高质量的表现。该方法与现有主流的融合方法进行了比较，在视觉效果和客观评价指标方面表现出极具竞争性的融合性能。此外，通过分割对比实验进一步验证了提出的方法的有效性。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，具体涉及一种联合高级视觉任务的红外与可见光图像融合方法。

技术介绍

1、在图像融合领域中基于深度学习的融合方法仍存在一些问题。首先，大部分的红外与可见光图像融合算法倾向于仅针对融合网络进行精心的设计来追求更好的视觉质量和更高的评价指标结果，而忽视了融合图像需满足后续高级视觉任务这一需求。事实上，已有研究表明仅考虑底层视觉任务的视觉质量和评价指标并不能有助于后续的高级视觉任务，如何利用高级视觉任务指导低级视觉方法去设计和训练网络是值得深入研究的问题。其次，现有的评价方式主要是视觉直观评价和指标评价，视觉评价主要关注融合图像的对比度和边缘纹理等信息，而指标评价则是采用不同的统计指标来评估融合方法的性能。但是，仅采用图像融合的视觉直观评价和指标评价是片面的，难以反映融合结果是否有助于更高层次的视觉任务。

技术实现思路

1、针对现有技术中的上述不足，本专利技术提供了一种联合高级视觉任务的红外与可见光图像融合方法。

2、为了达到上述专利技术目的，本专利技术采用的技术方案为：...

【技术保护点】

1.一种联合高级视觉任务的红外与可见光图像融合方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述S1具体包括如下步骤：

3.根据权利要求2所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述S12中最小化知识蒸馏损失函数表示为：

4.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述S2具体包括如下步骤;

5.根据权利要求4所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述S23中判别器对抗损失函数表示为：

...

【技术特征摘要】

1.一种联合高级视觉任务的红外与可见光图像融合方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述s1具体包括如下步骤：

3.根据权利要求2所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述s12中最小化知识蒸馏损失函数表示为：

4.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述s2具体包括如下步骤;

5.根据权利要求4所述的联合高级视觉任务的红外与可见光图像融合方法，其特征在于，所述s23中判别器对抗损失函数表示为：<...

【专利技术属性】
技术研发人员：林聪，杨鹏，吴振陆，陈悦，
申请(专利权)人：广东海洋大学，
类型：发明
国别省市：