一种基于卷积和Transformer的红外图像彩色化方法技术

本发明专利技术属于计算机视觉中的图像彩色化技术领域，尤其为一种基于卷积和Transformer的红外图像彩色化方法，一种基于卷积和Transformer的红外图像彩色化方法，具体步骤为：步骤1，构建网络模型：红外图像彩色化模型是包括生成器和鉴别器的生成对抗网络；步骤2，准备数据集：对整个生成对抗网络先用红外图像数据集一进行训练；步骤3，训练网络模型：对红外图像数据集一进行预处理，将处理好的数据集输入到构建好的网络模型中进行训练。本发明专利技术方法引入了Transformer模型，Transformer模型可以捕获远距离的特征，从而能够轻松获取图像的全局信息，加强对图像深层信息的提取，增强着色图像的自然度和真实度。色图像的自然度和真实度。色图像的自然度和真实度。

【技术实现步骤摘要】
一种基于卷积和Transformer的红外图像彩色化方法


[0001]本专利技术涉及计算机视觉中的图像彩色化
，具体为一种基于卷积和Transformer的红外图像彩色化方法。

技术介绍

[0002]图像彩色化是一个将单通道灰度图像转换为三通道彩色图像的过程，根据图像中的语义信息，添加相应的颜色信息；随着深度学习的兴起，图像彩色化技术已被广泛应用于军事、影视、医疗、国防、监控各大领域；红外图像作为灰度图像中的一类，与普通灰度图像相比，受光照影响弱且抗干扰能力强，具有更为广泛的应用价值；目前的彩色化方法主要采用卷积神经网络，虽然取得了较大的成功，但卷积操作的感受野十分有限，只能计算非常局部的特征，不能计算全局特征，导致彩色化遇到瓶颈；而Transformer作为一种基于注意力机制的编解码体系结构模型，能够很好地提取全局特征，特别是视觉Transformer的提出，使得Transformer体系结构可以应用于计算机视觉领域；从彩色化效果而言，现有的红外图像彩色化算法生成的彩色化图像存在两个关键问题，即纹理细节恢复度差和颜色匹配度低。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积和Transformer的红外图像彩色化方法，其特征在于：具体步骤为：步骤1，构建网络模型：红外图像彩色化模型是包括生成器和鉴别器的生成对抗网络；步骤2，准备数据集：对整个生成对抗网络先用红外图像数据集一进行训练；步骤3，训练网络模型：对红外图像数据集一进行预处理，将处理好的数据集输入到构建好的网络模型中进行训练；步骤4，选择最小化损失函数和最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；步骤5，微调模型：用红外图像数据集二对模型进行训练和微调，得到稳定可用的模型参数；步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像彩色化操作时，直接将图像输入到网络中即可得到最终的着色图像。2.根据权利要求1所述的一种基于卷积和Transformer的红外图像彩色化方法，其特征在于：生成器由局部特征提取模块、全局特征提取模块、特征融合模块一、特征融合模块二、特征融合模块三、特征重构模块一、特征重构模块二、特征重构模块三和输出块组成，用于实现红外图像到红外彩色化图像的转换；所述局部特征提取模块由卷积块一、卷积块二和卷积块三组成，以局部特征提取的方式对图片进行浅层特征提取，每一个卷积块由卷积、实例归一化、激活函数和池化组成；所述全局特征提取模块由Transformer模块一、Transformer模块二、Transformer模块三、Transformer模块四、Transformer模块五和Transformer模块六组成，以全局特征提取的方式提取图片远程深层次的语义信息，每一个Transformer模块由块嵌入、数组展平、位置编码和Transformer编码器组成，其中块嵌入由线性映射和层归一化组成，Transformer编码器由层归一化、空间缩减、多头注意和前馈网络...

【专利技术属性】
技术研发人员：詹伟达，杜佳齐，于永吉，郑廷源，李国宁，韩登，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：