【技术实现步骤摘要】
本专利技术涉及热红外图像彩色化领域，特别涉及一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法。
技术介绍
1、普通相机只有在光线充足的环境下才可以清晰的捕捉到图像，如果在夜晚或者雨雾等恶劣环境下，普通相机几乎无法正常成像，而热红外相机却可以克服光线和天气条件的一些自然限制。与可见光图像相比，热红外图像是通过捕捉从物体发射的红外辐射进行成像，对烟雾具有很强的穿透性，抗干扰能力强，所以热红外相机允许在恶劣条件下进行拍摄。随着红外图像采集技术和传感器技术的不断发展，红外成像技术的应用越来越广泛，例如在军事、森林防火、自动驾驶、夜间交通和其他场景。
2、虽然红外相机可以在光线不足等恶劣环境下使用，但其直接捕获到的红外图像只是单通道的灰度图像，与可见光图像相比，缺乏色彩信息，且它的对比度和分辨率非常低，图像中的物体没有明显的边界区分，严重不符合人类的观察习惯。随着计算机视觉技术的发展，图像彩色化技术在处理图像方向上取得了长足进步。通过图像彩色化，可以有效提高图像的对比度，丰富图像的色彩及边界信息，提高了人类的情景感知及感知分析能力。
3、传统的图像彩色化方法需要人工参与，不仅费时费力，且彩色化后的图像不真实，图像质量也存在问题。并且传统的tir图像彩色化方法基本都是将可见图像与tir图像进行融合，对融合后的图像进行彩色化。但利用该类方法得到的彩色图像会出现色点伪影，且生成的图像不够真实。在深度学习出现之后，一些学者开始尝试使用卷积神经网络cnn来进行红外图像彩色化。berg等人采用了编码器-解码器结构，该方
4、gan为tir图像彩色化带来了更好的解决方案，且在原始gan的基础上，进一步又发展出了gan的许多变体，例如dc-gan、wgan、cgan及cyclegan等。受pix2pix研究工作的启发，tir图像彩色化方法取得了很大的进展。pix2pix采用了条件生成对抗网络(cgan)，生成器是典型的unet结构，鉴别器采用patchgan结构。之后，kuang等人提出了ticcgan模型，它是将pix2pix改进为tir图像彩色化方法，并提出了新的复合损失函数对模型进行训练。liao等人在ticcgan的基础上，对生成器和损失函数进行改进，并提出了新的注意力模块，彩色化效果有了明显提升。对比传统方法及cnn，利用cgan对热红外图像进行彩色化是一个很好的方案，只需要设计合理的生成器、鉴别器以及损失函数，就可以得到自然且真实的彩色图像。尽管目前基于gan的彩色化模型可以生成相对较好伪彩色图像，但由于其本身结构设计的原因，生成的彩色图像仍存在着色彩失真和边缘模糊的问题。
5、因此，亟需一种简单有效的红外图像彩色化方法，以生成边缘清晰且细节丰富的彩色图像。
技术实现思路
1、本专利技术实施例的目的在于提供一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，以实现自动生成边缘清晰且细节丰富的彩色图像。
2、为解决上述技术问题，本专利技术所采用的技术方案是，一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，包括以下步骤：
3、s1：构建模型，并获取目标热红外图像；
4、s2：将s1中的红外图像输入到像素差分卷积网络pdc中，得到对应的特征图；
5、s3：使用多尺度上采样融合模块msufb处理s2得到的特征图；
6、s4：使用全尺度融合模块fsfb处理s3得到的特征图；
7、s5：重复执行s3～s4；
8、s6：通过转置卷积得到模型的输出图像；
9、s7：构建损失函数；
10、s8：训练模型，保存最佳权重参数；
11、s9：将最佳权重参数加载到模型中，并进行模型测试。
12、进一步的，所述s1包括：
13、构建pdmf-gan模型，模型由生成器pdmf-net、判别器patchgan、adam优化器构成，生成器pdmf-net包括编码器、特征融合模块、解码器；
14、获取目标场景热红外图像x，表示为：(c，h，w)，其中，c、h、w分别表示图像的通道数、高、宽；将x转化为基本数据格式，表示为：(n，c，h，w)，其中，n表示批处理图像数量，将(n，c，h，w)作为模型的输入。
15、进一步的，所述s2包括：
16、s21：在编码器中，x先通过最大池化得到特征图x1，x1通过cpdc卷积得到特征图x2，x2通过relu激活函数和卷积得到特征图x3；x1通过一个普通卷积得到特征图x4，将x3与x4相加得到特征图y，y通过apdc卷积得到特征图y1，y1通过relu激活函数和卷积得到特征图y2，将y与y2相加得到特征图z；z通过rpdc卷积得到特征图z1，z1通过relu激活函数和卷积得到特征图z2，将z与z2相加得到特征图m，m通过普通卷积cnn得到特征图m1，m1通过relu激活函数和卷积得到特征图m2，将m与m2相加得到特征图x’，x’为此阶段的输出图像；
17、s22：将s21的输出图像x’作为输入，使用与s21相同的方法处理图像x’，所得的f1为输出图像；
18、s23：将第s22的输出图像f1作为输入，使用与s21相同的方法处理图像f1，所得的f2为输出图像；
19、s24：将s23的输出图像f2作为输入，使用与s21相同的方法处理图像f2，所得的f3为输出图像；
20、s25：将s24的输出图像f3作为输入，使用与s21相同的方法处理图像f3，所得的f4为输出图像；
21、其中，cnn、三种pdc卷积运算cpdc、apdc、rpdc的计算公式如下：
22、
23、
24、其中，f(x)表示每个像素x通过普通卷积cnn运算得到的计算结果，x表示s2中使用普通cnn的特征图中的每个像素值，k×k表示卷积运算中卷积核的大小，wi表示卷积核的权重，1≤i≤k×k；xi表示卷积操作中，每次从输入特征图中取出一个k×k大小的矩阵中的每一个像素值，i表示从输入特征图中取出一个k×k大小的矩阵中的像素值的编号；
25、表示每个像素x经过三种pdc卷积运算cpdc、apdc、rpdc所得到的计算结果；xi表示卷积操作中，每次从输入特征图中取出一个k×k大小的矩阵中的每一个像素值，矩阵中心是x，xi'表示所取出k×k矩阵中各个箭头所指的像素值，ρ＝{(x1,x'1),(x2,x'2),...,(xi,x'i)},表示从与当前卷积核对应的特征图中选择的像素对的集合，其中，1≤i≤k×k，(xi-x'i)表示像素差分卷积操作。
26、进一步的，所述s3包括：
27、s31：将s25的输出图像f4作为输入，先通过通道注意力模块cam得到特征图fmid4；再通过残差块res，本文档来自技高网...
【技术保护点】
1.一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S1包括：
3.根据权利要求2所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S2包括：
4.根据权利要求3所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S3包括：
5.根据权利要求4所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S4包括：
6.根据权利要求5所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S5包括：
7.根据权利要求6所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S6包括：
8.根据权利要求7所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S7包括：
9.根据权利要求1～8任一项所述的一种
10.根据权利要求9所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述S9包括：
...【技术特征摘要】
1.一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述s1包括：
3.根据权利要求2所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述s2包括：
4.根据权利要求3所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述s3包括：
5.根据权利要求4所述的一种基于像素差分卷积和多尺度特征融合的红外图像彩色化方法，其特征在于，所述s4包括：
6.根据权...
【专利技术属性】
技术研发人员：金鑫，冯明，江倩，高扬，朱鹏程，郑黄齐眉，易华松，周涛，王倩倩，
申请(专利权)人：云南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。