基于视觉增强的红外与可见光图像融合方法技术

本发明专利技术公开了一种基于视觉增强的红外与可见光图像融合方法，涉及图像分类技术领域。本发明专利技术包括以下步骤：步骤1：构建自编码器，并训练自编码器；步骤2：获取增强网络的训练集；步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；步骤4：获取融合网络的训练集与测试集；步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。本发明专利技术所述的图像融合方法得到的低光背景下的红外图像和可见光图像的融合图像能够获得更多的纹理细节、更丰富的边缘信息、更佳的整体亮度。亮度。亮度。

【技术实现步骤摘要】
基于视觉增强的红外与可见光图像融合方法


[0001]本专利技术属于图像处理
，具体涉及一种基于视觉增强的红外与可见光图像融合方法。

技术介绍

[0002]由于拍摄环境和拍摄设备的限制，单一类型的成像设备通常无法压缩并捕捉整个场景的信息。在众多图像融合任务中，红外图像和可见光图像融合备受研发人员的关注。可见光图像包含场景的更多纹理细节，并且符合人眼观察的习惯。而红外图像能突出显著的目标，如行人、车辆等重要信息。红外与可见光图像进行融合后得到的融合图像通常既具有显著目标又具有丰富纹理，图像质量较佳，在目标检测和军事监视方面都具有非常良好的应用前景。
[0003]目前，现有技术中存在的红外图像和可见光图像融合方法，主要分为传统图像融合方法和基于深度学习的图像融合方法。而现有技术中基于深度学习的图像融合方法也都是针对正常光照条件而设计的，这种基于深度学习的图像融合方法对于夜间场景下的可见光图像与红外图像融合效果差，这主要是由于在低光照条件下可见光图像由于照明退化引起的场景缺陷，会导致夜间可见光图像中场景纹理信息无法在可见光图像与红外图像的融合图像中表达。
[0004]在低光场景下，可见光图像的纹理细节被隐藏在黑暗中，融合图像被大量的红外信息填充，造成了视觉下降与纹理细节的缺失。
[0005]如何使低光照条件下可见光图像与红外图像的融合结果能够弥补曝光不足的劣势，并突出目标，是当前面临的一大难题。

技术实现思路

[0006]为了弥补现有技术的不足，本专利技术提供了一种基于视觉增强的红外与可见光图像融合方法。
[0007]为了实现上述目的，本专利技术采用的技术方案是：本专利技术提供了一种基于视觉增强的红外与可见光图像融合方法，包括如下步骤：步骤1：构建自编码器，并训练自编码器；其中，所述自编码器包含一个编码器Encoder和一个解码器Decoder，所述编码器Encoder由四个依次连接的编码单元组成，所述解码器Decoder由四个依次连接的解码单元组成，其中编码单元由依次连接的卷积层和lrelu激活层组成，解码单元也是由依次连接的卷积层和lrelu激活层组成；步骤2：获取增强网络的训练集；步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；其中，所述增强网络包括照度模块和反射率模块，照度模块包含三层卷积层，分别是Conv_1、Conv_2和Conv_3，反射率模块的结构与照度模块的结构相同，也包含三层卷积层，分别是Conv_1、Conv_2和Conv_3；
步骤4：获取融合网络的训练集与测试集；步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；其中，所述融合网络包括上支路和下支路这两条支路，其中，上支路包括三个卷积单元，每个卷积单元均由一个3
×
3卷积层和一个lrelu激活层组成；下支路为一个1
×
1的卷积层；步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。
[0008]优选地，步骤1中，所述自编码器训练集是指MS
‑
COCO数据集。
[0009]优选地，步骤1中，本申请中所述自编码器(Auto Encoder)的训练过程，包括如下步骤：步骤1.1：读取自编码器训练集中的图像，然后调整图像的尺寸，然后将图像转换到YCbCr颜色空间中，得图像的像素值；然后，将图像的像素值进行归一化处理，即得到输入图像；步骤1.2：将步骤1.1得到的输入图像的Y通道I
Y
输入自编码器(Auto Encoder)中进行编码，得到深度特征图F；步骤1.3：将深度特征图F输入到自编码器(Auto Encoder)中进行解码，得到输出的Y通道图O
Y
；步骤1.4：根据损失函数计算输入图像的Y通道I
Y
和重构的Y通道图O
Y
之间的特征损失；步骤1.5：用Adam优化器优化梯度，更新自编码器的参数；步骤1.6：重复步骤1.1至步骤1.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的自编码器。
[0010]优选地，步骤1.1的具体步骤为：读取自编码器训练集中的图像，将图像的尺寸调整为256
×
256
×
3，然后将图像转换到YCbCr颜色空间中，得图像的像素值；然后，将图像的每个像素值除以255，使像素值归一化到[0,1]，即得到输入图像；所述自编码器训练集是指MS
‑
COCO数据集。
[0011]优选地，步骤1.2的具体步骤为：将步骤1.1得到的输入图像的Y通道I
Y
输入自编码器的编码器Encoder进行编码，得到深度特征图F。
[0012]优选地，步骤1.2中，输入图像的尺寸为256
×
256
×
1，深度特征图F的尺寸为256
×
256
×
128。
[0013]优选地，步骤1.3的具体步骤为：将深度特征图F输入到自编码器的解码器Decoder进行解码，得到输出的Y通道图O
Y
，Y通道图O
Y
的大小为256
×
256
×
1。
[0014]优选地，步骤1.4中，损失函数的计算公式，如式（1）所示：
ꢀꢀꢀꢀꢀ
（1）式（1）中，为结构损失，用于计算输入图像的Y通道I
Y
和重构的Y通道图O
Y
的结构相似度；为内容损失，用于计算输入图像的Y通道I
Y
和重构的Y通道图O
Y
的欧氏距离；α为超参数，用于平衡结构损失和内容损失；式（1）中的，其计算公式如式（2）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
式（2）中，为内容损失，用于计算输入图像的Y通道I
Y
和重构的Y通道图O
Y
的欧氏距离；式（1）中的，其计算公式如式（3）所示：
ꢀꢀꢀ
（3）式（3）中，为结构损失，用于计算输入图像的Y通道I
Y
和重构的Y通道图O
Y
的结构相似度；为输入图像的Y通道I
Y
的均值；为重构的Y通道图O
Y
的均值；C1为常数；为输入图像的Y通道I
Y
和重构的Y通道图O
Y
的协方差；C2为常数；优选地，步骤2中，所述增强网络的训练集选用的是LOL数据集。
[0015]优选地，步骤3中，所述增强网络的训练过程包括如下步骤：步骤3.1：读取增强网络训练的训练集中的低光与正常光图像对（I
l
,I
n
)，然后分别将低光图像I
l
和正常光图像I
n
转换到YCbCr颜色空间，提取低光图像I
l
和正常光图像I
n
的Y通道图，得到Y通道图对(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉增强的红外与可见光图像融合方法，其特征在于：包括如下步骤：步骤1：构建自编码器，并训练自编码器；其中，所述自编码器包含一个编码器Encoder和一个解码器Decoder，所述编码器Encoder由四个依次连接的编码单元组成，所述解码器Decoder由四个依次连接的解码单元组成，其中编码单元由依次连接的卷积层和lrelu激活层组成，解码单元也是由依次连接的卷积层和lrelu激活层组成；步骤2：获取增强网络的训练集；步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；其中，所述增强网络包括照度模块和反射率模块，照度模块包含三层卷积层，反射率模块的结构与照度模块的结构相同；步骤4：获取融合网络的训练集与测试集；步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；其中，所述融合网络包括上支路和下支路这两条支路，其中，上支路包括三个卷积单元，每个卷积单元均由一个3
×
3卷积层和一个lrelu激活层组成；下支路为一个1
×
1的卷积层；步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。2.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤1中，训练自编码器包括如下具体步骤：步骤1.1：读取自编码器训练集中的图像，然后调整图像的尺寸，然后将图像转换到YCbCr颜色空间中，得图像Y通道的像素值；然后，将图像的像素值进行归一化处理，即得到输入图像；步骤1.2：将输入图像的Y通道图I
Y 输入自编码器中进行编码，得到深度特征图F；步骤1.3：将深度特征图F输入到自编码器中进行解码，得到输出的Y通道图O
Y ；步骤1.4：根据损失函数计算输入图像的Y通道I
Y 和重构的Y通道图O
Y 之间的特征损失；步骤1.5：用Adam优化器优化梯度，更新自编码器的参数；步骤1.6：重复步骤1.1至步骤1.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的自编码器。3.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤1.4中，损失函数的计算公式，如式（1）所示：
ꢀꢀꢀꢀꢀꢀ
（1）式（1）中，为结构损失，用于计算输入图像的Y通道I
Y 和重构的Y通道图O
Y
的结构相似度；为内容损失，用于计算输入图像的Y通道I
Y 和重构的Y通道图O
Y 的欧氏距离；α为超参数，用于平衡结构损失和内容损失；式（1）中的，其计算公式如式（2）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式（2）中，为内容损失，用于计算输入图像的Y通道I
Y 和重构的Y通道图O
Y 的欧氏距离；
式（1）中的，其计算公式如式（3）所示：
ꢀꢀꢀꢀ
（3）式（3）中，为结构损失，用于计算输入图像的Y通道I
Y
和重构的Y通道图O
Y
的结构相似度；为输入图像的Y通道I
Y
的均值；为重构的Y通道图O
Y
的均值；C1为常数；为输入图像的Y通道I
Y
和重构的Y通道图O
Y
的协方差；C2为常数。4.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤3中，所述增强网络的训练过程包括如下步骤：步骤3.1：读取增强网络训练的训练集中的低光与正常光图像对（I
l
,I
n
)，然后分别将低光图像I
l
和正常光图像I
n
转换到YCbCr颜色空间，提取低光图像I
l
和正常光图像I
n
的Y通道图，得到Y通道图对(I
lY
,I
nY
)；步骤3.2：分别将低光图像Y通道图I
lY 、正常光图像Y通道图I
nY 输入到步骤1得到的训练好的自编码器中进行编码，计算得到特征图对(F
lY
,F
nY
)；步骤3.3：将特征图F
lY
和特征图F
nY
分别输入到增强网络中分别计算照度和反射率，计算得到低光图像的照度特征图F
li
、正常光图像的照度特征图F
ni
、低光图像的反射率特征图F
lr
以及正常光图像的反射率特征图F
nr
；而后，将低光图像的照度特征图F
li
、正常光图像的照度特征图F
ni
、低光图像的反射率特征图F
lr
和正常光图像的反射率特征图F
nr
分别输入到步骤1得到的训练好的自编码器中进行解码，得到低光图像的照度图I
li 、正常光图像的照度图I
ni
、低光图像的反射率图I
lr 以及正常光图像的反射率图I
nr
；步骤3.4：根据损失函数计算增强网络的损失值，并利用Adam优化器优化损失梯度并反向传播，更新增强网络的模型参数；步骤3.5：重复步骤3.1至步骤3.4，在增强网络的训练集上直到迭代次数达到设定阈值，即可得到训练好的增强网络模型。5.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤3.3的具体步骤为：将特征图F
lY
和特征图F
nY
分别输入到增强网络中，经增强网络的照度模块计算得到低光图像的照度特征图F
li
和正常光图像的照度特征图F
ni
，经增强网络的反射率模块计算得到低光图像的反射率特征图F
lr
和正常光图像的反射率特征图F
nr
；而后，将低光图像的照度特...

【专利技术属性】
技术研发人员：吕国华，高翔，池强，王西艳，宋文廓，张曾彬，司马超群，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：