【技术实现步骤摘要】
本专利技术涉及图像彩色化领域，具体涉及一种基于边缘增强的非成对数据夜视图像彩色化方法。
技术介绍
1、近年来，随着计算机视觉和图像处理技术的迅速发展，夜视图像彩色化成为了一个备受关注的研究领域。夜视图像彩色化是指将灰度夜视图像转换为具有真实感和色彩丰富度的彩色图像。这项技术对于夜间监控、军事侦察、交通安全等领域具有重要的应用价值。传统的夜视设备通常只能提供灰度图像，这限制了其在一些应用中的效果和可用性。通过将灰度夜视图像转化为彩色夜视图像，可以提供更多的信息，增强目标检测和识别的能力，提高夜间监控和观察的效果。传统的夜视图像通常是通过红外传感器捕捉到的，其原理是利用物体发出的热量来生成图像。然而，由于红外图像只能提供灰度信息，无法提供色彩信息，因此在许多应用场景中，这种黑白或单色的图像无法满足需求。
2、为了解决这一问题，研究人员开始探索夜视图像彩色化技术。夜视图像彩色化的目标是通过添加适当的颜色信息，使夜视图像更接近于真实场景中的彩色图像。这不仅可以提高图像的可视化效果，还可以帮助观察者更好地理解图像中的物体和场景。目前的主流算法是通过对抗生成网络来生成逼真的彩色图像。对抗生成网络是一种由生成器和判别器组成的对抗性模型，生成器试图生成逼真的图像，而判别器则试图区分生成的图像和真实的图像。通过互相对抗的训练过程，可以生成具有高度逼真性的彩色图像，目前已经能实现比较好的彩色化效果。例如，文献“cao y,zhou z,zhang w,et al.unsuperviseddiverse colorization via
3、夜视图像彩色化技术仍然面临着一些挑战。首先由于夜视图像的低光照条件和噪声干扰，夜视图像的质量较差，使得彩色化过程更加困难。其次，在训练阶段需要提供大量的配对数据，夜视图像与对应的彩色图像的成对数据有限，很大程度限制了训练过程。
4、因此，为了提高灰度图像彩色化最终成像结果，本专利技术提出了一种基于边缘增强的夜视图像彩色化方法，该方法通过保持翻译图像和输入图像之间的边缘一致性来保持清晰的边缘。同时通过对比学习，使训练不需严格要求成对数据集。本专利技术旨在提出一种基于对比学习的夜视图像彩色化方法，将夜视图像生成自然的彩色图像。
技术实现思路
1、本专利技术提出了一种基于边缘增强的非成对数据夜视图像彩色化方法，旨在解决夜视相机拍摄的夜视图像转换为人眼可识别彩色图像，并保证生成图像真实、自然，主要包括以下内容：
2、(1)提出了一种基于对比学习的彩色化框架。
3、(2)提出了一种多尺度的注意力模块。
4、(3)提出了一种基于边缘增强的损失函数。
5、具体内容如下：
6、(1)提出了一种基于对比学习的彩色化框架：为了解决夜视-彩色图像成对数据缺乏的问题，我们通过对比学习框架来实现非成对数据训练。网络结构如图1所示，整体框架沿用文献“goodfellow i，pouget-abadie j，mirza m，et al.generative adversarialnets[j].advances in neural information processing systems，2014，27.”中的gan网络框架，包含一个生成器g和一个判别器d。生成器g通过学习大量夜视图像与真实彩色图像的对应关系，能够将输入的夜视图像映射为高质量的彩色图像。判别器d则用于确保生成的彩色图像在视觉上无法与真实彩色图像区分。生成器g由一个编码器genc和解码器gdec组成：其中编码器genc用于提取特征，解码器gdec用于将特征解码成彩色图像。因此，对于输入夜视图像x通过这个网络框架后生成的彩色图像可以表示为：同时本网络框架通过对比学习来最大化输入图像x和生成彩色图像中对应块之间的互信息，以此实现非成对数据训练。具体而言，首先将输入图像x和生成彩色图像都通过genc编码为特征张量。接着，从中采样查询块v，同时从x中获取对应位置的图像块作为正样本v+，不同位置处采样得到负样本v-。我们的目标是通过对比学习使得查询块与正样本保持联系，并与负样本信号原理。为了实现这一目标，本专利技术计算查询块与正样本以及负样本之间的相似度，使用交叉熵损失作为优化目标，通过最小化这个损失促使模型更好地学习将输入输出数据联系起来，确保生成的图像块与其相同位置的输入图像块在特征空间保持相似性。计算公式如下：
7、
8、其中是n个负样本向量，τ是固定参数设置为0.07。
9、通过上述公式能够在图像相同位置上强化结构一致性，能够有效解决在彩色化过程中常见的纹理失真和细节模糊等问题，生成自然的彩色化图像，同时使得我们在训练时不再需要成对的数据集，使得训练更加灵活，解决了彩色化任务中像素级匹配的夜视-彩色图像对缺乏的问题。
10、(2)提出了一种多尺度的注意力模块：在编码器genc和解码器gdec中添加注意力模块，将生成的特征向量经过注意力模块得到注意力特征映射，使得编码器在处理夜视图像时集中关注对彩色化任本文档来自技高网...
【技术保护点】
1.一种基于边缘增强的非成对数据夜视图像彩色化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于边缘增强的非成对数据夜视图像彩色化方法，其特征在于，所述网络框架中引入对比学习思想，通过使生成的夜视图像块更接近其相同位置的输入夜视图像块，提高之间的互信息，实现非配对图像数据中的夜视图像彩色化，具体包含：
3.根据权利要求1所述的基于边缘增强的非成对数据夜视图像彩色化方法，其特征在于，编码器Genc和解码器Gdec中添加注意力模块，将生成的特征向量经过注意力模块得到注意力特征映射，使得生成器在处理夜视图像时集中关注对彩色化任务中最为关键的区域，从而更有针对性地提取高层次的特征表示，使生成的彩色图像更富有细节感，具体包含：
4.根据权利要求1所述的基于边缘增强的非成对数据夜视图像彩色化方法，其特征在于，针对彩色化过程中边缘失真的问题提出了边缘损失函数，具体包含：
【技术特征摘要】
1.一种基于边缘增强的非成对数据夜视图像彩色化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于边缘增强的非成对数据夜视图像彩色化方法，其特征在于，所述网络框架中引入对比学习思想，通过使生成的夜视图像块更接近其相同位置的输入夜视图像块，提高之间的互信息，实现非配对图像数据中的夜视图像彩色化，具体包含：
3.根据权利要求1所述的基于边缘增强的非成对数据夜视图像彩色化方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。