一种特征级图像融合方法、装置、设备及介质制造方法及图纸

本申请公开了一种特征级图像融合方法、装置、设备及介质，涉及图像融合技术领域，包括：分别对可见光图像和红外图像进行特征提取，得到第一特征图和第二特征图；分别预测第一特征图和第二特征图为可见光图像或红外图像的概率；基于概率预测过程中每一像素对预测结果的贡献，生成与可见光图像对应的第一分类显著图以及与红外图像对应的第二分类显著图；根据第一分类显著图和第二分类显著图对第一特征图和第二特征图进行融合，得到融合后特征图，并对融合后特征图进行重建后输出得到目标融合图像。本申请实现无监督的红外光与可见光的特征级融合，并提高融合效果。并提高融合效果。并提高融合效果。

【技术实现步骤摘要】
一种特征级图像融合方法、装置、设备及介质


[0001]本专利技术涉及图像融合
，特别涉及一种特征级图像融合方法、装置、设备及介质。

技术介绍

[0002]在信息爆炸的时代，多模态传感器技术正在应用到更多的场景之中。对于一些复杂、特定的技术任务，单一传感器的技术则会限制信息的捕捉。例如，可见光图像受限于光照、环境因素；红外图像受限于成像细节因素，往往只能捕捉局部范围内的信息。若是单纯地堆叠传感器则只会对融合的处理带来负担，因为这些图像之间的冗余信息会占去大量的存储空间，导致处理速度变慢。对于一些实时性强、数据需求大的场景则会应接不暇。因此，多图像之间的融合必不可少。图像融合作为一种计算机视觉增强辅助技术，它旨在摆脱单一传感器成像的束缚与限制，将不同传感器获得的源信息组合起来，生成信息完备且稳定的图像，从而辅助后续的模型处理与最终决策。
[0003]对图像融合中不同的规则主要分为三种层级方法：像素级、特征级，决策级。根据不同层级应用的场景与算力需求，选取合适的方法对于图像融合的结果至关重要。其中，像素级图像融合。像素级图像融合后得到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征级图像融合方法，其特征在于，包括：分别对可见光图像和红外图像进行特征提取，得到所述可见光图像对应的第一特征图和所述红外图像对应的第二特征图；分别预测所述第一特征图和所述第二特征图为可见光图像或红外图像的概率；基于概率预测过程中每一像素对预测结果的贡献，生成与所述可见光图像对应的第一分类显著图以及与所述红外图像对应的第二分类显著图；其中所述每一像素包括所述第一特征图中的每一像素以及所述第二特征图中的每一像素；根据所述第一分类显著图和所述第二分类显著图对所述第一特征图和所述第二特征图进行融合，得到融合后特征图，并对所述融合后特征图进行重建后输出得到目标融合图像。2.根据权利要求1所述的特征级图像融合方法，其特征在于，所述分别对可见光图像和红外图像进行特征提取，得到所述可见光图像对应的第一特征图和所述红外图像对应的第二特征图之后，还包括：通过基于密集连接神经网络构建得到的密集块对所述第一特征图以及所述第二特征图进行处理，得到处理后第一特征图和处理后第二特征图；通过预设的自注意力模块对所述处理后第一特征图和所述处理后第二特征图进行自注意力运算，得到第一目标特征图以及第二目标特征图；相应的，所述分别预测所述第一特征图和所述第二特征图为可见光图像或红外图像的概率，包括：分别预测所述第一目标特征图和所述第二目标特征图为可见光图像或红外图像的概率。3.根据权利要求1所述的特征级图像融合方法，其特征在于，所述基于概率预测过程中每一像素对预测结果的贡献，生成与所述可见光图像对应的第一分类显著图以及与所述红外图像对应的第二分类显著图之前，还包括：通过所述第一特征图为可见光图像或红外图像的概率以及所述第一特征图中的各个像素确定所述第一特征图中的各个像素对预测结果的贡献；通过所述第二特征图为可见光图像或红外图像的概率以及所述第二特征图中的各个像素确定所述第二特征图中的各个像素对预测结果的贡献。4.根据权利要求3所述的特征级图像融合方法，其特征在于，所述通过所述第一特征图为可见光图像或红外图像的概率以及所述第一特征图中的各个像素确定所述第一特征图中的各个像素对预测结果的贡献；通过所述第二特征图为可见光图像或红外图像的概率以及所述第二特征图中的各个像素确定所述第二特征图中的各个像素对预测结果的贡献，包括：通过第一预设公式、所述第一特征图为可见光图像或红外图像的概率以及所述第一特征图中的各个像素确定所述第一特征图中的各个像素对预测结果的贡献；所述第一预设公式为：
其中，y1表示所述第一特征图为可见光图像的概率；表示第n张可见光特征图的第p行和第q列的像素；表示第n张可见光特征图的第p行和第q列的像素对于预测结果的贡献；通过第二...

【专利技术属性】
技术研发人员：袁涛，朱晓伟，赵昕烨，王清，周莎，
申请(专利权)人：湖南国科微电子股份有限公司，
类型：发明
国别省市：