基于注意力机制的多尺度神经网络红外图像彩色化方法技术

本发明专利技术公开了一种基于注意力机制的多尺度神经网络红外图像彩色化方法，该方法首先利用二维卷积神经网络在不同分辨率尺度下对输入的红外图像对进行特征提取，然后通过注意力机制对提取出的高维特征信息进行提炼处理，最终将多尺度信息进行融合处理得到预测的彩色化红外图像。与现有的红外图像彩色化网络相比，本发明专利技术基于注意力机制与多尺度层次化结构构建神经网络算法模型，通过采用改进的空间注意力与多维特征连结机制，能够提高网络模型特征提取能力的同时有效降低模型复杂度，通过设计像素损失、边缘损失和感知损失的复合损失函数，进一步提高彩色化红外图像的质量。进一步提高彩色化红外图像的质量。进一步提高彩色化红外图像的质量。

【技术实现步骤摘要】
基于注意力机制的多尺度神经网络红外图像彩色化方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于注意力机制的多尺度神经网络红外图像彩色化方法。

技术介绍

[0002]红外图像彩色化是计算机视觉领域一个备受关注的研究问题，在安防监控、无人系统、军用装备等各类系统中具有广泛的应用前景。特别地，如何实现高质量、高分辨率、多细节的彩色红外图像是该技术亟待突破的挑战。近年来，基于深度学习技术的人工智能发展迅速，在目标检测、图像分类、语音识别等领域取得了突破性进展。红外图像彩色化作为计算机视觉的应用热点之一，同样得益于深度神经网络技术的不断创新，彩色化效果得到显著提升。
[0003]常见的可见光灰度图像彩色化方法一般采用生成对抗网络实现彩色化功能。其生成器一般由U
‑
net网络结构或者编解码网络结构(Encoder
‑
Decoder)构成，这种结合了多尺度信息的生成器相比平坦网络可以获取更丰富的全局和局部信息。这样的网络设计在可见光灰度图像彩色化问题上取得了很好的结果。但由于红外图像和可见光图像在成像原理上的差异，直接将可见光图像彩色化方法用于红外图像彩色化中，会产生较为模糊的边缘以及细节信息，导致成像质量较差。

技术实现思路

[0004]本专利技术的目的在于提供一种基于注意力机制的多尺度神经网络红外图像彩色化方法，以获得高质量的彩色红外图像。本专利技术提出的网络结构以多尺度网络作为骨干，设计创新的注意力机制与特征连结方法，以增强网络的特征提取与利用能力。此外，本专利技术提出了一种针对红外图像彩色化网络的复合损失函数，有效地将像素损失、边缘损失和感知损失结合起来。基于网络结构和损失函数上的创新，本专利技术在红外图像着色结果上达到了目前最好的效果。
[0005]为达到上述目的，本专利技术采用如下技术方案来实现的：
[0006]基于注意力机制的多尺度神经网络红外图像彩色化方法，包括以下步骤：
[0007]1)从数据库中获取成对的红外图像和彩色图像，进行图像预处理后分为训练集和测试集；
[0008]2)构建基于注意力机制的多尺度神经网络模型，将训练集输入该基于注意力机制的多尺度神经网络模型进行训练；
[0009]3)将测试集输入训练好的基于注意力机制的多尺度神经网络模型进行测试，得到基于注意力机制的多尺度神经网络模型的新能和客观指标评估；
[0010]4)将待处理的红外图像输入测试通过的基于注意力机制的多尺度神经网络模型，则输出彩色化图像。
[0011]本专利技术进一步的改进在于，步骤2)的具体实现方法如下：
[0012]所述基于注意力机制的多尺度神经网络模型是从输入端到输出端的映射函数F(X
N
×
H
×
W
；θ)，θ＝{θ1，θ2，...，θ
n
}，θ1表示第一层的参数，n表示多尺度神经网络的总层数，X
N
×
H
×
W
表示输入图像，N，H，W分别为输入图像的维度，高度和宽度，损失函数为：
[0013][0014]其中，x，y分别表示输入红外图像和对应的彩色图，L
pixel
，L
edge
，L
perceptual
分别为像素损失、边缘损失和感知损失，x
′
，y
′
分别表示利用拉普拉斯边缘算子得到的红外图像边缘图和对应的彩色图边缘图，t
i
(x)和t
i
(y)分别表示红外图像和彩色图通过预训练的VGG19模型得到的特征图，∈为常数；
[0015]基于注意力机制的多尺度神经网络模型的训练是以取得损失函数L(x，y)的最优值来估计映射函数F中的参数θ的最优值θ
′
；
[0016]取得损失函数L(x，y)的最优值来估计映射函数F中的参数θ的最优值θ
′
具体为：
[0017][0018]其中，l和i分别是卷积层的索引和迭代次数，η是学习率，是在第i次迭代时损失函数L(x，y)对第1层的偏导数，经过多尺度神经网络模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数θ的最优值θ
′
；
[0019]所述基于注意力机制的多尺度神经网络模型包括特征提取和特征融合，特征提取包括多个卷积操作以对输入图像进行下采样并使得通道维度加大，同时对图像特征进行提取得到特征图像，公式为：
[0020][0021]其中，N，H，W分别为输入图像的维度，高度和宽度；表示通过特征提取得到的图像，N
′
，W
′
，H
′
表示输出图像的维度，高度和宽度；θ1表示特征提取过程中的参数；
[0022]特征融合是对特征图像进行上采样并逐步使得通道的维度减少，最后生成一个三维的彩色化图像，公式为：
[0023][0024]其中，θ2为在特征融合中的参数，Y1为生成的彩色化图像，W
o
，H
o
分别表示输出图像的高度和宽度。
[0025]本专利技术进一步的改进在于，∈＝10
‑3。
[0026]本专利技术进一步的改进在于，通过使用自适应矩估计的梯度优化方法，提高基于注意力机制的多尺度神经网路的收敛速度，给定超参数0≤β1，β2≤1，给定时间步为t，动量v
t
即小批量随机梯度g
t
的指数移动平均：
[0027]m
t
＝η[β1m
t
‑1+(1
‑
β1)g
t
][0028][0029]其中，η表示学习率，m
t
和v
t
分别表示梯度的一阶矩和二阶矩，在迭代的阶段，m
t
和v
t
的偏移矫正公式为：
[0030][0031][0032]并根据如上的公式对各个参数μ
t
进行更新：
[0033][0034]其中β1，β2和∈为预设的参数，μ表示模型中的参数，μ
t
为第t个步长中μ的值，m
′
t
和v
′
t
分别为经过偏移矫正后的梯度的一阶矩和二阶矩的估计值。
[0035]本专利技术进一步的改进在于，基于注意力机制的多尺度神经网络中的注意力机制，包括如下：
[0036]通道注意力机制：
[0037][0038][0039]其中，σ表示Sigmoid激活函数，F为通道注意力模块的输入，表示点乘操作，Maxpool为最大池化操作，为最大池化层的输出，为最大池化层的输出，是两个权重矩阵的参数；
[0040]空间注意力机制：
[0041][0042]M
C
(F)＝σ(f7×7(Avgpool(F)，Max本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的多尺度神经网络红外图像彩色化方法，其特征在于，包括以下步骤：1)从数据库中获取成对的红外图像和彩色图像，进行图像预处理后分为训练集和测试集；2)构建基于注意力机制的多尺度神经网络模型，将训练集输入该基于注意力机制的多尺度神经网络模型进行训练；3)将测试集输入训练好的基于注意力机制的多尺度神经网络模型进行测试，得到基于注意力机制的多尺度神经网络模型的新能和客观指标评估；4)将待处理的红外图像输入测试通过的基于注意力机制的多尺度神经网络模型，则输出彩色化图像。2.根据权利要求1所述的基于注意力机制的多尺度神经网络红外图像彩色化方法，其特征在于，步骤2)的具体实现方法如下：所述基于注意力机制的多尺度神经网络模型是从输入端到输出端的映射函数F(X
N
×
H
×
W
；θ)，θ＝{θ1，θ2，...，θ
n
}，θ1表示第一层的参数，n表示多尺度神经网络的总层数，X
N
×
H
×
W
表示输入图像，N，H，W分别为输入图像的维度，高度和宽度，损失函数为：其中，x，y分别表示输入红外图像和对应的彩色图，L
pixel
，L
edge
，L
perceptual
分别为像素损失、边缘损失和感知损失，x
′
，y
′
分别表示利用拉普拉斯边缘算子得到的红外图像边缘图和对应的彩色图边缘图，t
i
(x)和t
i
(y)分别表示红外图像和彩色图通过预训练的VGG19模型得到的特征图，∈为常数；基于注意力机制的多尺度神经网络模型的训练是以取得损失函数L(x，y)的最优值来估计映射函数F中的参数θ的最优值θ
′
；取得损失函数L(x，y)的最优值来估计映射函数F中的参数θ的最优值θ
′
具体为：其中，l和i分别是卷积层的索引和迭代次数，η是学习率，是在第i次迭代时损失函数L(x，y)对第1层的偏导数，经过多尺度神经网络模型中参数多次的迭代更新，损失函数达到最小，此时模型中的参数就是映射函数F中参数θ的最优值θ
′
。3.根据权利要求2所述的基于注意力机制的多尺度神经网络红外图像彩色化方法，其特征在于，所述基于注意力机制的多尺度神经网络模型包括特征提取和特征融合。4.根据权利要求3所述的基于注意力机制的多尺度神经网络红外图像彩色化方法，其
特征在于，特征提取包括多个卷积操作以对输入图像进行下采样并使得通道维度加大，同时对图像特征进行提取得到特征图像，公式为：其中，N，H，W分别为输入图像的维度，高度和宽度；表示通过特征提取得到的图像，N...

【专利技术属性】
技术研发人员：汪航，孙宏滨，程成，张旭翀，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：