【技术实现步骤摘要】
本专利技术涉及图像处理，特别是涉及一种基于光照感知混合专家系统且高效、准确的可见光与红外图像融合方法、装置、设备及存储介质。
技术介绍
1、随着图像处理技术的不断发展，可见光与红外图像融合技术在军事侦察、安防监控、医疗诊断、自动驾驶等领域的应用日益广泛。传统的融合算法，如基于加权平均的融合算法在初步融合阶段简洁高效，而基于多尺度分解的融合算法则通过多层次地分解与重构图像使融合结果更为丰富。尽管如此，面对复杂多变的场景，传统算法往往难以应对光照变化带来的挑战，导致图像信息的丢失或失真。
2、近年来，深度学习方法尤其是基于卷积神经网络(cnn)、生成对抗网络(gan)以及transformer等模型的兴起为图像融合带来新思路。现有的方法通常采用“先预处理再融合”的方式缓解光照的影响。然而，这种方式不仅增加了模型的复杂性，还可能导致模型泛化能力的降低。
3、为解决此问题，一些研究者开始探索简洁直接的融合框架，尝试引入光照感知机制以期提升图像融合性能，但现有技术中的方法仍存在一些局限性。例如，tang等人在其论文“pia...
【技术保护点】
1.一种可见光与红外图像融合方法，其特征在于，包括：
2.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述由残差块组成的多层卷积神经网络包括ResNet18网络结构。
3.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述浅层特征提取网络用于通过3×3卷积核和带泄露修正线性单元的激活函数，对所述可见光图像与所述红外图像分别进行初步的特征提取。
4.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述深层特征提取网络包括Swin-Transformer层和残差密集卷积层，所述Swin Transfo...
【技术特征摘要】
1.一种可见光与红外图像融合方法，其特征在于，包括：
2.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述由残差块组成的多层卷积神经网络包括resnet18网络结构。
3.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述浅层特征提取网络用于通过3×3卷积核和带泄露修正线性单元的激活函数，对所述可见光图像与所述红外图像分别进行初步的特征提取。
4.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述深层特征提取网络包括swin-transformer层和残差密集卷积层，所述swin transformer层用于提取所述可见光图像的深层特征，所述残差密集卷积层用于提取所述红外图像的深层特征。
5.根据权利要求1所述的可见光与红外图像融合方法，其特征在于，所述高、低光照专家系统包括手性特征融合模块；所述手性特征融合模块在高光照专家系统中，以所述可见光图像为主模态输入且以所述红外图像为辅助模态输入；所述手性特征融合模块在低光照专家系统中，以所述可见光图像为辅助模态输入且以所述红外图像为主模态输入；以使所述高光照专家系统与所述...
【专利技术属性】
技术研发人员：杨健，李金夫，夏江涵，宋红，范敬凡，艾丹妮，付天宇，肖德强，林毓聪，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。