一种基于密集残差和双流注意力的红外图像彩色化方法技术

本发明专利技术公开了一种基于密集残差和双流注意力的红外图像彩色化方法，涉及图像处理技术领域，具体步骤为：构建包括生成器和鉴别器的生成对抗网络；根据第一红外图像数据集对生成对抗网络进行预训练；利用第一红外图像数据集对网络模型进行训练，直至达到预设阈值；利用第二红外图像数据集对网络模型进行再次训练和微调，获得最终模型；将获得最终模型的参数进行固化，保存模型；本发明专利技术使红外图像彩色化得到的图像具有更好的着色效果，更符合人眼视觉观察，同时本发明专利技术提出的方法实现过程简单，着色效率更高，通用性更强。通用性更强。通用性更强。

【技术实现步骤摘要】
一种基于密集残差和双流注意力的红外图像彩色化方法


[0001]本专利技术涉及图像处理
，更具体的说是涉及一种基于密集残差和双流注意力的红外图像彩色化方法。

技术介绍

[0002]红外图像的彩色化是一个模糊不清的问题，因为一个灰度值可能对应着多个可能的颜色值。不同于仅仅估计图像色度信息的灰度图像彩色化，红外图像彩色化需要同时估计图像的亮度和色度信息。除此以外，红外图像的特性与其对应可见光图像的特征并没有必然的联系，因此红外图像的彩色化可以近似看作为从红外图像的语义图像中生成RGB图像。这些客观存在的问题加剧了实现红外图像彩色化的难度。
[0003]中国专利公开号为“CN114581560A”，名称为“基于注意力机制的多尺度神经网络红外图像彩色化方法”，该方法首先利用二维卷积神经网络在不同分辨率对输入的红外图像对进行特征提取；将处理后的图像输入主干网络；利用主干网络对输入图片进行编码，得到输入特征；然后通过注意力机制对提取出的高维特征信息进行凝练处理；最终将多尺度信息进行融合处理得到预测的彩色红外图像。该方法得到的红外彩色化图像对比度较低，颜色不自然，不符合人眼视觉效果，同时计算复杂度较高且效率低下。因此，如何克服上述缺陷是本领域技术人员亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于密集残差和双流注意力的红外图像彩色化方法，解决了现有的红外图像彩色化方法得到的图像对比度较低、饱和度较低和效率低下的问题，使红外图像彩色化得到的图像具有更好的着色效果，更符合人眼视觉观察，同时本专利技术提出的方法实现过程简单，着色效率更高，通用性更强。
[0005]本专利技术解决技术问题的方案是：
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于密集残差和双流注意力的红外图像彩色化方法，具体步骤为：
[0008]构建网络模型：构建包括生成器和鉴别器的生成对抗网络；
[0009]准备数据集：根据第一红外图像数据集对生成对抗网络进行预训练；
[0010]训练网络模型：利用第一红外图像数据集对网络模型进行训练，直至达到预设阈值；
[0011]微调模型：利用第二红外图像数据集对网络模型进行再次训练和微调，获得最终模型；
[0012]保存模型：将获得最终模型的参数进行固化，保存模型。
[0013]可选的，生成器包括浅层特征提取模块、下采样模块、注意力模型、上采样模块、图像重建模块；
[0014]所述浅层特征提取模块，用于利用卷积块对图片进行浅层特征提取；
[0015]所述下采样模块，用于利用M池化提取图片深层次的语义信息；
[0016]所述注意力模型，用于增加图片的语义信息和颜色信息的关注度；
[0017]所述上采样模块，用于利用卷积块恢复特征图的大小；
[0018]所述图像重建模块，用于利用卷积块和T型函数重建红外彩色化图像。
[0019]可选的，鉴别器包括多个卷积块、归一化层和L型函数。
[0020]可选的，第一红外图像数据集为RGB
‑
NIR数据集。
[0021]可选的，在训练网络模型中预设阈值包括损失函数预设值、训练次数预设值。
[0022]可选的，损失函数为复合损失函数，生成器采用对抗损失函数、内容损失函数、感知损失函数、合成损失函数和总体变化损失函数；鉴别器采用对抗损失函数。
[0023]可选的，在训练网络模型过程中还包括通过评价指标评估算法彩色化结果的质量和图像失真程度。
[0024]可选的，第二红外图像数据集为OMSIV数据集。
[0025]经由上述的技术方案可知，本专利技术公开了一种基于密集残差和双流注意力的红外图像彩色化方法，与现有技术相比，具有以下有益效果：
[0026]1、本专利技术是基于深度学习的方法，采用的网络结构是生成对抗网络结构，利用生成器和鉴别器之间的博弈特性，加强对图像深层信息的提取，增强着色图像的自然度和真实度，动态提高彩色化图像质量；
[0027]2、本专利技术在卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块八、卷积块十一和卷积块十四中采用了密集残差结构对特征图进行特征提取，可以增强特征图的特征表示以及减少特征图的特征信息损失；
[0028]3、本专利技术在卷积块七、卷积块十和卷积块十三中采用了双流注意力机制对特征图进行特征提取，提高了特征提取能力，尤其是提高细节恢复能力；
[0029]4、本专利技术提出了一种由对抗损失、内容损失、感知损失、合成损失和总体变化损失组成的复合损失函数，从边缘结构和视觉感知两个方面优化彩色图像的质量，同时使得图像具有更高的真实性；
[0030]5、本专利技术通过添加密集残差和跳跃连接有助于减少网络参数，使得网络的深度变浅，网络的参数数量较少，最终使得整个网络实现结构简单，提高着色效率和精度。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0032]图1为本专利技术的方法流程示意图；
[0033]图2(a)为本专利技术的生成对抗网络的生成器结构示意图；图2(b)为本专利技术的生成对抗网络的鉴别器结构示意图；
[0034]图3为本专利技术中浅层特征提取模块的任一卷积块的结构示意图；
[0035]图4为本专利技术中注意力模型的任一卷积块的结构示意图；
[0036]图5为本专利技术中任意一个卷积层的结构示意图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]实施例1
[0039]本专利技术实施例公开了一种基于密集残差和双流注意力的红外图像彩色化方法，如图1所示，包括以下步骤：
[0040]步骤1、构建网络模型：整个生成对抗网络包括生成器和鉴别器；
[0041]其中，生成器由十六个卷积块、M池化、拼接模块和T型函数组成，其中每个卷积块由跳跃连接、卷积层、激活函数和归一化层组成；卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块八、卷积块十一和卷积块十四对图片进行浅层特征提取；M池化进行下采样提取图片深层次的语义信息；卷积块七、卷积块十和卷积块十三采用注意力机制使网络更加关注图片的语义信息和颜色信息；卷积块六、卷积块九和卷积块十二对输入图片进行上采样操作恢复特征图大小；卷积块十五、卷积块十六和T型函数重建红外彩色化图像；鉴别器由五个卷积块、归一化层和L型函数组成，其中每个卷积块由跳跃连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于密集残差和双流注意力的红外图像彩色化方法，其特征在于，具体步骤为：构建网络模型：构建包括生成器和鉴别器的生成对抗网络；准备数据集：根据第一红外图像数据集对生成对抗网络进行预训练；训练网络模型：利用第一红外图像数据集对网络模型进行训练，直至达到预设阈值；微调模型：利用第二红外图像数据集对网络模型进行再次训练和微调，获得最终模型；保存模型：将获得最终模型的参数进行固化，保存模型。2.根据权利要求1所述的一种基于密集残差和双流注意力的红外图像彩色化方法，其特征在于，生成器包括浅层特征提取模块、下采样模块、注意力模型、上采样模块、图像重建模块；所述浅层特征提取模块，用于利用卷积块对图片进行浅层特征提取；所述下采样模块，用于利用M池化提取图片深层次的语义信息；所述注意力模型，用于增加图片的语义信息和颜色信息的关注度；所述上采样模块，用于利用卷积块恢复特征图的大小；所述图像重建模块，用于利用卷积块和T型函数重建红外彩色化图像。3.根据权利要求1所述的一种基于密集残差和双流注意力...

【专利技术属性】
技术研发人员：詹伟达，陈宇，唐雁峰，杜佳齐，李锐，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：