【技术实现步骤摘要】
本专利技术属于计算机软件与人工智能，具体涉及一种基于深度学习的实时红外图像超分辨率方法、系统、设备及可读存储介质。
技术介绍
1、单图像超分辨率(single image super-resolution,sisr)是计算机视觉中的一个基础任务，其目标是提高单张低分辨率图像的分辨率和质量。其目的是从一个低分辨率的输入图像中生成细节丰富、视觉感知增强的高分辨率图像。sisr技术源于各种现实场景下对高分辨率图像的需求，但受到硬件性能或约束的限制。例如，在红外采集设备这一典型场景中，需要图像超分辨率算法能够提供实时的红外图像高分辨率结果。
2、近年来，随着深度学习技术的出现，单图像超分辨率方法也在不断提升。srcnn(super-resolution convolutional neural network,srcnn)开创性地使用卷积神经网络学习低分辨率图像和高分辨率图像之间的映射，超越了此前方法的性能，并引领了基于cnn(convolutional neural network,cnn)的方法的进一步探索。后续研究提出了许多创新的sr模型，如更深更有效的网络结构和注意力机制。这些基于cnn的超分辨率方法显著推进了该领域的技术水平，展现了深度学习和注意力机制在学习复杂图像表示和生成逼真的高分辨率图像中的强大能力。最近，transformer架构由于其出色的性能而受到广泛关注。自注意力机制提供了非常强大的长距离特征建模能力，并在计算机视觉中取得了重大突破。但是，其复杂度与图像大小成二次方增长，需要大量计算资源。尽管性能有所
技术实现思路
1、本专利技术为解决上述问题，进而提出一种基于深度学习的实时红外图像超分辨率方法、系统、设备及可读存储介质。
2、本专利技术涉及一种实时红外图像超分辨率方法，包括如下步骤：
3、步骤一、进行浅层特征提取，将输入图像映射到潜在特征空间；
4、步骤二、进行深层特征提取，利用大核卷积对图像潜空间特征进行高阶特征提取，并在前向网络中对潜空间特征进行边缘信息增强；
5、步骤三、聚合浅层和深层特征，重建高分辨率图像，实现红外图像的超分辨率。
6、进一步地，步骤一中，给定低分辨率输入图像其中，h和w分别是图像高度和宽度；
7、利用3×3卷积层将输入图像ilr映射到潜在特征空间，表示为：
8、fsf＝fsf(ilr),
9、其中，fsf(·)表示卷积层，是浅层特征，c是通道数。
10、进一步地，步骤二中，使用两个基本残差块叠加，每个基本残差块包含多个类卷积的transformer特征提取层；在基础残差模块末尾添加一个3×3卷积层聚合局部特征；深层特征提取过程可表示为：
11、fk＝fk(fk-1)
12、其中，fk(·)表示第k个基础残差模块，fk-1和fk分别是第k个基础残差模块的输入和输出特征；最终的深层特征提取为：
13、fdf＝fdf(fsf)
14、其中，fsf和fdf是深层特征提取部分的输入和输出，fdf(·)是深层特征提取模块。
15、进一步地，步骤二中，基于大核卷积对图像潜空间特征进行高阶特征提取，采用1x1卷积和大核卷积作为特征混合门控，实现大核特征提取模块；基于大核卷积的高阶特征提取公式如下：
16、v＝conv1×1(f)
17、fgate＝conv1×1(dwconvk×k(f))
18、fout＝v⊙fgate
19、其中，f是大核特征提取模块的输入，fout是输出，v是中间层的视觉特征，⊙表示逐像素相乘，k表示卷积核大小，dw conv是深度可分卷积。
20、进一步地，步骤二中，对前向网络进行改进，对图像潜空间特征进行边缘信息增强；在现有前向网络中引入边缘增强的深度可分卷积edc，实现边缘增强的前向网络模块；具体的前向网络中潜空间特征边缘增强的实现如下：
21、f1＝conv1×1(f)
22、f2＝gelu(f1)
23、fedc＝edc(f2)
24、f4＝conv1×1(fedc)
25、其中，gelu是激活函数，edc是边缘增强的卷积操作，利用卷积的重参数技巧，将1阶和2阶梯度算子融合到深度可分离的3x3卷积中，f1,f2,fedc,f4均为前向网络模块计算过程中产生的中间特征表示。
26、进一步地，步骤三中，图像重建模块聚合浅层和深层特征，重建高分辨率图像：isr＝frec(fsf+fdf)，其中r是缩放因子，frec(·)表示重建模块，包含一个核为3的卷积层和pixelshuffle操作；
27、通过最小化l1像素损失优化cfsr的参数：
28、l1＝||isr-ihr||1。
29、本专利技术还涉及一种实时红外图像超分辨率系统，所述系统包括浅层特征提取模块、深层特征提取模块和图像重建模块。
30、进一步地，浅层特征提取模块用于从输入图像中提取低层次的图像特征，并映射到潜在特征空间；
31、深层特征提取模块用于提取涉及提取高层次的特征表示；
32、图像重建模块用于聚合浅层和深层特征，重建高分辨率图像，实现红外图像的超分辨率。
33、本专利技术还涉及一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
34、本专利技术还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
35、有益效果
36、本专利技术基于深度学习方法，提出大核特征提取模块和边缘增强的前向网络模块，有效实现深度神经网络潜空间的高阶特征提取以和增强潜空间特征边缘信息，实现了实时的红外图像超分辨率模型。相较于现有方法，本专利技术提出的红外超分辨率模型显著提升图像增强结果、降低计算量，并在实际推理过程中可以达到实时处理(延迟小于10ms)。
本文档来自技高网...【技术保护点】
1.一种实时红外图像超分辨率方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种实时红外图像超分辨率方法，其特征在于，步骤一中，给定低分辨率输入图像其中，H和W分别是图像高度和宽度；
3.根据权利要求1所述的一种实时红外图像超分辨率方法，其特征在于，步骤二中，使用两个基本残差块叠加，每个基本残差块包含多个类卷积的Transformer特征提取层；在基础残差模块末尾添加一个3×3卷积层聚合局部特征；深层特征提取过程可表示为：
4.根据权利要求3所述的一种实时红外图像超分辨率方法，其特征在于，步骤二中，基于大核卷积对图像潜空间特征进行高阶特征提取，采用1x1卷积和大核卷积作为特征混合门控，实现大核特征提取模块；基于大核卷积的高阶特征提取公式如下：
5.根据权利要求3所述的一种实时红外图像超分辨率方法，其特征在于，步骤二中，对前向网络进行改进，对图像潜空间特征进行边缘信息增强；在现有前向网络中引入边缘增强的深度可分卷积EDC，实现边缘增强的前向网络模块；具体的前向网络中潜空间特征边缘增强的实现如下：
6.根据权利要求
7.一种实时红外图像超分辨率系统，所述系统包括浅层特征提取模块、深层特征提取模块和图像重建模块。
8.根据权利要求7所述的一种实时红外图像超分辨率系统，其特征在于，浅层特征提取模块用于从输入图像中提取低层次的图像特征，并映射到潜在特征空间；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项的方法的步骤。
...【技术特征摘要】
1.一种实时红外图像超分辨率方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种实时红外图像超分辨率方法，其特征在于，步骤一中，给定低分辨率输入图像其中，h和w分别是图像高度和宽度；
3.根据权利要求1所述的一种实时红外图像超分辨率方法，其特征在于，步骤二中，使用两个基本残差块叠加，每个基本残差块包含多个类卷积的transformer特征提取层；在基础残差模块末尾添加一个3×3卷积层聚合局部特征；深层特征提取过程可表示为：
4.根据权利要求3所述的一种实时红外图像超分辨率方法，其特征在于，步骤二中，基于大核卷积对图像潜空间特征进行高阶特征提取，采用1x1卷积和大核卷积作为特征混合门控，实现大核特征提取模块；基于大核卷积的高阶特征提取公式如下：
5.根据权利要求3所述的一种实时红外图像超分辨率方法，其特征在于，步骤二中，对前向网络进行改进，对图像潜空间特征进行边缘信息增强；在现有前向网络中引入边缘增强的深度可分卷积edc，实现边缘增强的前向网...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。