一种基于Y型金字塔网络的多谱段图像融合方法技术

本发明专利技术公开了一种基于Y型金字塔网络的多谱段图像融合方法，用于异源图像融合领域，包括以下步骤：S1：获取训练集、扩增训练集；S2：构建Y型网络；所述Y型网络包括：分支网络、主支网络；所述分支网络采用金字塔网络分别提取可见光图像特征和红外光图像特征，所述主支网络融合所述分支网络提取的可见光图像特征和红外光图像特征；S3：将训练集输入所述分支网络对所述分支进行训练，根据损失函数对所述主支网络进行训练，得到完成训练的所述Y型网络；S4:将可见光图像特征和红外光图像特征输入完成训练的所述Y型网络生成融合图像。本发明专利技术生成的融合图像具有明显的红外目标的同时，可见光的纹理细节信息得到保留且结构损失较小。的纹理细节信息得到保留且结构损失较小。的纹理细节信息得到保留且结构损失较小。

【技术实现步骤摘要】
一种基于Y型金字塔网络的多谱段图像融合方法


[0001]本专利技术涉及异源图像融合领域，特别涉及一种用于视觉导引的基于卷积神经网络和注意力机制的多谱段图像融合方法。

技术介绍

[0002]基于计算机视觉的导引系统是计算机视觉工程应用的一个方面。由于它导引精度较高，不受无线电波干扰，设备价格较低廉，并且可以根据环境的具体情况对导引轨迹进行自主调整，近几年来被广泛地应用到国防、航天、消防、工业、交通等工程实践中。
[0003]视觉导引系统，是将视觉目标信息获取设备作为主要制导传感器的一类导引系统，通过对视觉图像的理解，自动地，实时地导引某个设备按任务轨迹移动的系统。导引目标的提取、描述、识别和跟踪都是基于对图像的处理实现的，因此，获得一幅全面、清晰、目标显著的图像至关重要。现存的单波段视觉导引系统易受外界环境影响，稳定性差，导引精度低甚至会出现失效的情况。多谱段视觉导引系统可以同时采集多个谱段的图像，经过融合后可以利用多个传感器提供的冗余信息，提高导引的精确性和准确性。同时，融合图像具有较强的鲁棒性，即使个别传感器故障也不会对融合图像产生严重影响。融合后的图像包含更为全面、丰富的信息，更有利于对目标的识别和检测。以红外和可见光双波段视觉导引系统为例，可见光图像捕捉目标的反射信息，具有较高的空间分辨率和图像对比度，适合人类感知，但易受到恶劣环境的影响如：光照不足的夜晚、大雾天气等；而红外光图像捕捉目标的热辐射信息，有良好的环境抗干扰能力，但对比度较低，图像细节较差。
[0004]为此，亟需提供一种能够解决上述问题的图像融合方法。

技术实现思路

[0005]本专利技术的目的在于，提供一种基于Y型金字塔网络的多谱段图像融合方法，解决现有技术中图像融合手段融合后的图像对比度较低，图像细节较差问题。
[0006]为了实现上述目的，本专利技术提供了如下技术方案：
[0007]一种基于Y型金字塔网络的多谱段图像融合方法，包括以下步骤：
[0008]S1：获取训练集、扩增训练集；
[0009]S2：构建Y型网络；
[0010]所述Y型网络包括：分支网络、主支网络；所述分支网络采用金字塔网络分别提取可见光图像特征和红外光图像特征，所述主支网络融合所述分支网络提取的可见光图像特征和红外光图像特征；
[0011]S3：将训练集输入所述分支网络对所述分支进行训练，根据损失函数对所述主支网络进行训练，得到完成训练的所述Y型网络；
[0012]S4:将可见光图像特征和红外光图像特征输入完成训练的所述Y型网络生成融合图像。
[0013]优选的，所述S1：获取训练集、扩增训练集的具体内容为：
[0014]从TNO数据集中随机选取n对已配对的红外与可见光图像对作为训练集；
[0015]在训练时，对从所述TNO数据集中获取的原始红外和可见光图像进行随机裁剪作为扩增训练集。
[0016]优选的，所述分支网络包括：红外分支网络、可见光分支网络；
[0017]所述红外分支网络结构为：第一层，特征提取卷积层；第二层，一个二层残差金字塔卷积块、卷积注意力模块、批量归一化层、激活函数为P
‑
relu的激活层；第三层：一个三层残差金字塔卷积块、卷积注意力模块、批量归一化层、激活函数为P
‑
relu的激活层；第四层：一个四层残差金字塔卷积块、卷积注意力模块、批量归一化层、激活函数为P
‑
relu的激活层；
[0018]所述可见光分支网络结构为：第一层，特征提取卷积层；第二层，一个二层残差金字塔卷积块、批量归一化层、激活函数为P
‑
relu的激活层；第三层：一个三层残差金字塔卷积块、批量归一化层、激活函数为P
‑
relu的激活层；第四层：一个四层残差金字塔卷积块、批量归一化层、激活函数为P
‑
relu的激活层。
[0019]优选的，所述主支网络结构包括三层卷积神经网络；
[0020]所述卷积神经网络结构为：卷积层
‑
批量归一化层
‑
激活函数为P
‑
relu的激活层。
[0021]优选的，所述损失函数表达式为：
[0022]Loss＝L
gen
+λL
res
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0023]其中，L
gen
为生成损失，L
res
为重建损失，λ为常数用来平衡二者权重；
[0024]所述生成损失函数表达式为：
[0025]L
gen
＝L
rf
+αL
vf
+βL
pr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0026]其中，L
rf
是融合图像与红外光图像的亮度损失，L
vf
是融合图像与可见光图像的梯度损失，L
pr
为感知损失，α是梯度损失的权重系数，β是感知损失的权重系数；
[0027]所述重建损失函数表达式为：
[0028][0029]其中，I
r(x,y)
为原始的红外光图像，I
v(x,y)
为原始的可见光图像，I
o(x,y)
是网络的输出，原始红外图像、可见光图像和输出融合图像的宽均为W,高均为H。
[0030]优选的，所述卷积注意力模块中设有通道注意力模块、空间注意力模块；
[0031]所述卷积注意力模块沿着两个独立的维度，依次推断注意力图，并将推断结果图与输入特征图相乘以进行自适应特征优化；
[0032]所述两个独立的维度为与所述通道注意力模块、所述空间注意力模块分别对应的通道维度和空间维度。
[0033]优选的，所述金字塔网络包括：残差块、金字塔卷积；
[0034]所述金字塔卷积嵌入到所述残差块中；
[0035]其中，所述金字塔卷积包含一个核金字塔，每一层包含不同类型的滤波核。
[0036]优选的，推断所述注意力图的具体过程包括：
[0037]①
所述通道注意力模块将所述残差块输出的特征图作为输入特征图；
[0038]将所述残差块输出的特征图先分别经过基于宽和高的全局最大池化和全局平均池化，再分别经过全连接层；
[0039]并将全连接层输出的全部特征进行逐元素的加和操作，再经过sigmoid激活操作，生成通道注意力特征图；
[0040]②
将所述通道注意力特征图和所述残差块输出的特征图做逐元素乘法操作结果作为所述空间注意力模块输入特征图；
[0041]将所述通道注意力特征图先分别经过基于通道的全局最大池化和全局平均池化得到第一结果、第二结果；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Y型金字塔网络的多谱段图像融合方法，其特征在于，包括以下步骤：S1：获取训练集、扩增训练集；S2：构建Y型网络；所述Y型网络包括：分支网络、主支网络；所述分支网络采用金字塔网络分别提取可见光图像特征和红外光图像特征，所述主支网络融合所述分支网络提取的可见光图像特征和红外光图像特征；S3：将训练集输入所述分支网络对所述分支进行训练，根据损失函数对所述主支网络进行训练，得到完成训练的所述Y型网络；S4:将可见光图像特征和红外光图像特征输入完成训练的所述Y型网络生成融合图像。2.根据权利要求1所述一种基于Y型网络的多谱段图像融合方法，其特征在于，所述S1：获取训练集、扩增训练集的具体内容为：从TNO数据集中随机选取n对已配对的红外与可见光图像对作为训练集；在训练时，对从所述TNO数据集中获取的原始红外和可见光图像进行随机裁剪作为扩增训练集。3.根据权利要求1所述一种基于Y型网络的多谱段图像融合方法，其特征在于，所述分支网络包括：红外分支网络、可见光分支网络；所述红外分支网络结构为：第一层，特征提取卷积层；第二层，一个二层残差金字塔卷积块、卷积注意力模块、批量归一化层、激活函数为P
‑
relu的激活层；第三层：一个三层残差金字塔卷积块、卷积注意力模块、批量归一化层、激活函数为P
‑
relu的激活层；第四层：一个四层残差金字塔卷积块、卷积注意力模块、批量归一化层、激活函数为P
‑
relu的激活层；所述可见光分支网络结构为：第一层，特征提取卷积层；第二层，一个二层残差金字塔卷积块、批量归一化层、激活函数为P
‑
relu的激活层；第三层：一个三层残差金字塔卷积块、批量归一化层、激活函数为P
‑
relu的激活层；第四层：一个四层残差金字塔卷积块、批量归一化层、激活函数为P
‑
relu的激活层。4.根据权利要求1所述一种基于Y型网络的多谱段图像融合方法，其特征在于，所述主支网络结构包括三层卷积神经网络；所述卷积神经网络结构为：卷积层
‑
批量归一化层
‑
激活函数为P
‑
relu的激活层。5.根据权利要求1所述的一种基于Y型网络的多谱段图像融合方法，其特征在于，所述损失函数表达式为：Loss＝L
gen
+λL
res
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，L

【专利技术属性】
技术研发人员：郭惠楠，姚志强，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：