【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法及系统。
技术介绍
1、自然界一切温度高于绝对零度的物体都会向外界发出红外辐射，辐射大小主要与物体材料类型、物理与化学结构特征、波长和温度等因素有关。基于以上原理，采用红外热像仪记录目标的红外热图，把人眼所无法观察到表面热分布可视化，并以灰度差或伪彩色形式表现物体各点温度差，通过对温差的分析，即可识别出目标的位置、大小等重要信息，这是红外热成像技术的基础。
2、但是红外图像对比度较低，且缺乏色彩信息，不利于人眼的视觉感知。因此，在保持红外成像对天气/光照宽适应优势的基础上，对红外图像进行彩色化提升，将有助于提升人们对红外图像的感知和理解，具有重要的研究意义和实用价值。
3、目前有很多无监督的红外图像真彩转换方法，利用大量非配对的红外真彩图像数据集，来对红外图像进行真彩化。但是这些方法在训练时需要提供相当多的红外和可见光图像，但是有些场景下难以制作大量的数据集用于训练，这极大的限制了这些方法的使用。而且目前的红外图像彩色化领域所转换的红外图像基本都是256×256分辨率大小，图像像素值过低，难以展现丰富的细节内容。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法及系统，用于解决现有的红外图像真彩转换方法应用场景受限、并且只能实现低分辨率红外图像的真彩转换的技术问题，从而达到实现高分辨率红外图像的真
2、为解决上述问题，本专利技术所采用的技术方案如下：
3、一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，包括以下步骤：
4、将红外成像设备采集到的高分辨率红外图像和目标域可见光图像单输入到高分辨率红外图像真彩转换模型中；
5、将预先训练的dino-vit模型作为外部语义先验，通过深层注意力模块中键向量的自相似性来表示结构，通过cls令牌表示全局外观；
6、根据损失lapp，通过让生成器生成的可见光图像的cls令牌与所述目标域可见光图像的cls令牌相匹配，使所述可见光图像和所述目标域可见光图像在外观上相一致；
7、根据损失lstructure，通过减小转换前后图像中键向量的自相似性差异，使所述可见光图像和输入的高分辨率红外图像在空间结构上相一致，完成高分辨率红外图像的真彩转换；
8、其中，所述损失lapp表示外观损失，所述损失lstructure代表结构损失。
9、作为本专利技术优选的实施方式，生成器生成的可见光图像时，包括：
10、所述生成器在u-net结构的基础上，利用密集连接块构成u-net型网络的编码器和解码器，并通过所述密集连接块帮助特征在网络中进行传递，使得特征可以重复利用，同时加深网络深度、缓解梯度消失；
11、其中，所述生成器包括：卷积操作、批标准化操作、带泄露线性激活函数、最大池化操作、密集连接块、瓶颈结构模块、双曲正切激活函数、跳跃连接。
12、作为本专利技术优选的实施方式，在利用密集连接块构成u-net型网络的编码器和解码器时，包括：
13、将一个conv-bn-leakyrelu-pool操作序列和三个密集连接块构建成所述u-net型网络的编码器；
14、将一个瓶颈模块和两个密集连接块构建成所述u-net型网络的解码器。
15、作为本专利技术优选的实施方式，在通过所述密集连接块帮助特征在网络中进行传递时，包括：
16、利用所述编码器中每个密集连接块后紧接着的一个过渡层，通过卷积操作和池化操作改变特征图大小，对特征图进行下采样操作；
17、利用所述解码器中每个密集连接块后紧接着的一个过渡层，对特征图进行上采样操作；
18、其中，所述编码器中的三个密集连接块分别包含6个密集连接层、12个密集连接层以及24个密集连接层；所述解码器中的两个密集连接块分别包含1个密集连接层、24个密集连接层以及12个密集连接层。
19、作为本专利技术优选的实施方式，在对特征图进行下采样操作和上采样操作时，包括：
20、通过基于金字塔切分注意力的密集连接层中的金字塔切分注意力模块进行多尺度特征提取；
21、其中，所述密集连接层为所述基于金字塔切分注意力的密集连接层。
22、作为本专利技术优选的实施方式，在进行多尺度特征提取时，包括：
23、对于输入特征x，先将其按通道拆分为s个通道特征图[x0,x1,...,xs-1]；
24、针对拆分出来的每个通道特征图，应用多尺度卷积核分组卷积的方式来提取不同尺度特征图的空间信息，得到多尺度特征，同时降低参数量，如公式1所示：
25、fi＝conv(ki×ki,gi)(xi),i＝0,1,...,s-1 (1)；
26、式中，ki为卷积核尺寸，gi为分组卷积的分组数量。
27、作为本专利技术优选的实施方式，在提取不同尺度特征图的空间信息后，包括：
28、将提取到的多尺度特征进行拼接，得到多尺度融合之后的特征图，如公式2所示：
29、f＝cat([f0,f1,...,fs-1]) (2)；
30、对所述多尺度融合之后的特征图提取通道注意力权值，如公式3所示：
31、zi＝seweight(fi),i＝0,1,...,s-1 (3)；
32、将得到的通道注意力权值进行拼接，如公式4所示：
33、
34、作为本专利技术优选的实施方式，在将得到的通道注意力权值进行拼接后，包括：
35、利用softmax对拼接后的通道注意力权值进行重新标定，如公式5所示：
36、att＝softmax(z) (5)；
37、根据重新标定的通道注意力权值，得到一个多尺度信息更为丰富的特征图，如公式6所示：
38、y＝fe att (6)。
39、作为本专利技术优选的实施方式，在完成下采样操作和上采样操作后，包括：
40、所述编码器和所述解码器之间通过跳跃连接的方式实现特征图信息共享，再通过conv-bn-leakyrelu-conv-tanh操作序列生成所述可见光图像io。
41、一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换系统，包括：
42、输入单元：用于将红外成像设备采集到的高分辨率红外图像和目标域可见光图像单输入到高分辨率红外图像真彩转换模型中；
43、语义先验单元：用于将预先训练的dino-vit模型作为外部语义先验，通过深层注意力模块中键向量的自相似性来表示结构，通过cls令牌表示全局外观；
44、外观匹配单元：用于根据损失lapp，通过让生成器生成的可见光图本文档来自技高网...
【技术保护点】
1.一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，生成器生成的可见光图像时，包括：
3.根据权利要求2所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在利用密集连接块构成U-Net型网络的编码器和解码器时，包括：
4.根据权利要求3所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在通过所述密集连接块帮助特征在网络中进行传递时，包括：
5.根据权利要求4所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在对特征图进行下采样操作和上采样操作时，包括：
6.根据权利要求5所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在进行多尺度特征提取时，包括：
7.根据权利要求6所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在提取不同尺度特
8.根据权利要求7所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在将得到的通道注意力权值进行拼接后，包括：
9.根据权利要求4-8任一项所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在完成下采样操作和上采样操作后，包括：
10.一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，生成器生成的可见光图像时，包括：
3.根据权利要求2所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在利用密集连接块构成u-net型网络的编码器和解码器时，包括：
4.根据权利要求3所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在通过所述密集连接块帮助特征在网络中进行传递时，包括：
5.根据权利要求4所述的基于预训练深度神经网络的单输入高分辨率红外图像真彩转换方法，其特征在于，在对特征图进行下采样操作和上采样操...
【专利技术属性】
技术研发人员：杨会战，王科俊，张小凤，苏秉华，王闪，司炜，
申请(专利权)人：北京理工大学珠海学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。