【技术实现步骤摘要】
红外图像和可见光图像的融合方法、装置及可读存储介质
本申请涉及图像处理
，特别是涉及一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质。
技术介绍
随着红外技术的快速发展，同时配备可见光相机和红外相机的光学设备越来越多，例如航天靶场光学设备，该设备用于对火箭飞行实况景象进行记录。可以理解的是，不同成像类型的相机的成像特点不同，可见光相机分辨率高，细节信息丰富，红外相机不受背景照度影响，可用性较高。因此，通过融合红外图像与可见光图像将两者的优势进行互补，可以获得质量更高的图像。传统红外与可见光图像融合方法一般基于多尺度分解方法，这种方法需要手工设计特征提取方法和特征融合策略，适用性较差。为了解决传统图像融合方法的缺陷，相关技术基于神经网络且采用降采样方法进行特征提取，然后基于提取后的特征直接进行图像融合。而基于降采样的特征提取方法往往都伴随着特征位置信息的丢失，基于提取特征直接进行图像融合会导致较多的图像信息丢失，最终得到的融合图像不满足用户的高质量需求。鉴于此，如何得到包含图像特征信息更多的高...
【技术保护点】
1.一种红外图像和可见光图像的融合方法，其特征在于，包括：/n预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接；/n调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；/n将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；/n调用所述解码模块对所述融合图...
【技术特征摘要】
1.一种红外图像和可见光图像的融合方法，其特征在于，包括：
预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接；
调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；
将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；
调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像。
2.根据权利要求1所述的红外图像和可见光图像的融合方法，其特征在于，所述解码模块采用对称U型结构，所述调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像包括：
将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像。
3.根据权利要求2所述的红外图像和可见光图像的融合方法，其特征在于，所述编码模块包括第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层，且各卷积网络层输入的特征图数量逐渐增加；
其中，所述第一卷积网络层、所述第二卷积网络层、所述第三卷积网络层和所述第四卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图的分辨率均为[256，320]。
4.根据权利要求1至3任意一项所述的红外图像和可见光图像的融合方法，其特征在于，所述将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征包括：
将所述红外图像特征和所述可见光特征进行特征相加，得到融合图像特征。
5.根据权利要求4所述的红外图像和可见光图像的融合方法，其特征在于，所述解码模块包括第五卷积网络层、第六卷积网络层、第七卷积网络层和第八卷积网络层，且逐渐减少各卷积网络层输出...
【专利技术属性】
技术研发人员：张梁，刘延，黄招吨，丁浩，陈振华，
申请(专利权)人：中国人民解放军六三八一一部队，
类型：发明
国别省市：海南;46
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。