一种基于迁移学习的红外图像超分辨率重建方法技术

本发明专利技术涉及图像超分辨率重建技术领域，具体地说是一种基于迁移学习的红外图像超分辨率重建方法，包括构建全局网络，在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息，在局部模块之间采用级联连接，保留图像的低频信息和采用预训练网络与微调网络的迁移学习策略，本发明专利技术同现有技术相比，根据迁移学习的思想，通过构建了特征蒸馏网路、提炼分支、局部蒸馏模块差值算法和训练内容，利用小样本红外图像集，重建出高质量的红外图像。重建出高质量的红外图像。重建出高质量的红外图像。

A super-resolution reconstruction method of infrared image based on Transfer Learning

【技术实现步骤摘要】
一种基于迁移学习的红外图像超分辨率重建方法


[0001]本专利技术涉及图像超分辨率重建
，具体地说是一种基于迁移学习的红外图像超分辨率重建方法。

技术介绍

[0002]由于外界环境或采集设备的影响，所获取图像往往呈现分辨率低、细节损失等问题，并随着用户视觉体验及应用需求的增加，对低分辨率图像进行处理至关重要。
[0003]图像超分辨率重建算法根据不同原理可以大致分为基于插值、基于建模和基于学习三种方法，基于插值的代表算法主要有最近邻插值法、双线性插值法和双立方插值法，这类算法都是基于图像的灰度是连续的假设条件之下，因此在一些灰度变化不连续的诸如图像边缘等位置，其局部变现和纹理结构不明显，导致图像有些模糊。基于建模较为经典的方法有迭代反向投影法、凸集投影法和最大后验概率法等，此类方法操作简单，易于实现，并且适用于多种成像模型，但难于收敛，实时性较差。难以处理模糊现象，对先验知识的利用也不足。因此，近年来随着深度学习在计算机视觉领域的广泛应用，基于深度学习的图像超分辨率算法已成为主流方法。
[0004]然而，基于深度学习的神经网络在训练时往往需要充足的数据集作为支撑，基于深度学习的图像超分辨率网络也是如此。但是，由于成像设备的分辨率不高以及昂贵的价格，且在拍摄图像时受外界环境的影响，使得难以获取充足的高分辨率红外图像集。因此如何通过小样本红外图像集，通过图像超分辨率算法获取经济有效的高质量红外图像称为了一个亟需解决的问题。
[0005]因此，需要设计一种基于迁移学习的红外图像超分辨率重建方法，利用小样本红外图像集，通过迁移学习的方法实现高性能的红外图像超分辨率重建。

技术实现思路

[0006]本专利技术的目的是克服现有技术的不足，提供了一种基于迁移学习的红外图像超分辨率重建方法，利用小样本红外图像集，通过迁移学习的方法实现高性能的红外图像超分辨率重建。
[0007]为了达到上述目的，本专利技术提供一种基于迁移学习的红外图像超分辨率重建方法，包括以下步骤：
[0008]S1：构建全局网络，主要由浅层特征提取层、局部蒸馏模块为核心的非线性映射层和上采样层组成，上采样层采用sub
‑
pixel函数对提取的特征图像进行放大；
[0009]S2：在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息；
[0010]S3：在局部模块之间采用级联连接，保留图像的低频信息；
[0011]S4：在训练阶段，采用预训练网络与微调网络的迁移学习策略。
[0012]S1的具体步骤为：
[0013]S2
‑
1：在浅层特征提取层中，仅采用一个3
×
3卷积来提取浅层特征；
[0014]S2
‑
2：在非线性映射层中，通过特征蒸馏模块，该模块将提取的浅层特征进行两分支处理；其中一个分支为蒸馏分支，采用1
×
1卷积对浅层提取的特征进行处理，保留部分粗糙的特征至后续的连接层；另一分支为提炼分支，采用非对称扩张卷积残差块来进一步提炼出细致的特征；对于非对称扩张卷积残差块，是将1
×
3卷积与3
×
1卷积进行串联连接，并对第一个卷积的输入采用恒等连接，之后采用Relu函数对该残差块进行激活；
[0015]两个分支分别进行三次迭代，并且在提炼分支的末端采用带有扩张卷积的非对称扩张卷积残差块进行并行连接，用来扩大网络的感受视野；将两个分支提取的特征在通道维度进行特征连接后，采用通道混洗机制，增加通道间的信息交互能力；在局部蒸馏模块的末端引入增强型空间注意力机制，重新校准融合特征的权重。
[0016]S2中低频信息对应图像的整体轮廓，高频信息则是对应图像的细节信息；两个相邻的局部蒸馏模块，后一个模块m
n
相比于前一个模块m
n
‑1，经历更多的卷积层，m
n
包含更多的高频信息，m
n
与m
n
‑1有大量相同的低频信息，采用差值算法m
n
‑
m
n
‑1获取图像的高频特征信息。
[0017]S3中将非线性映射层中的局部蒸馏模块采用级联方式进行连接，将每一个局部蒸馏模块的输出传递到后续的连接层，将低频信息保留下来，保证信息的不丢失。
[0018]S4的训练步骤包括：
[0019]S41，预训练阶段将800张DIV2K可视化图像作为训练数据集进行训练，并采用MAE作为损失函数，获取可视化图像之间的非线性映射关系，将此作为基底；在预训练结束后，保留该网络权值不变，将其作为预训练网络，进行下一阶段微调训练，MAE损失函数表达式为：
[0020][0021]I
SR
和I
HR
分别代表重建后的SR图像和与其对应的真值HR图像。S42，对于微调网络，采用小样本的55张红外图像集进行训练，采用MSE作为损失函数，获取红外图像之间的非线性映射关系，MSE损失函数表达式为：
[0022][0023]I
SR
和I
HR
分别代表重建后的SR图像和与其对应的真值HR图像。
[0024]本专利技术同现有技术相比，根据迁移学习的思想，通过构建了特征蒸馏网路、提炼分支、局部蒸馏模块差值算法和训练内容，利用小样本红外图像集，重建出高质量的红外图像。
附图说明
[0025]图1为本专利技术的全局网络结构图；
[0026]图2为本专利技术的局部特征蒸馏模块结构图；
[0027]图3为本专利技术迁移学习训练示意图；
[0028]图4为本专利技术不同模型对同一图像的超分辨率重建效果对比图；
具体实施方式
[0029]现结合附图对本专利技术做进一步描述。
[0030]本专利技术提供一种基于迁移学习的红外图像超分辨率重建方法：
[0031]如图1～图4所示，包括以下步骤：
[0032]S1：构建全局网络，主要由浅层特征提取层、局部蒸馏模块为核心的非线性映射层和上采样层组成，上采样层采用sub
‑
pixel函数对提取的特征图像进行放大；
[0033]S2：在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息；
[0034]S3：在局部模块之间采用级联连接，保留图像的低频信息；
[0035]S4：在训练阶段，采用预训练网络与微调网络的迁移学习策略。
[0036]S1的具体步骤为：
[0037]S2
‑
1：在浅层特征提取层中，仅采用一个3
×
3卷积来提取浅层特征；
[0038]S2
‑
2：在非线性映射层中，通过特征蒸馏模块，该模块将提取的浅层特征进行两分支处理；其中一个分支为蒸馏分支，采用1
×
1卷积对浅层提取的特征进行处理，保留部分粗糙的特征至后续的连接层；另一分支为提炼分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，包括以下步骤：S1：构建全局网络，主要由浅层特征提取层、局部蒸馏模块为核心的非线性映射层和上采样层组成，所述上采样层采用sub
‑
pixel函数对提取的特征图像进行放大；S2：在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息；S3：在局部模块之间采用级联连接，保留图像的低频信息；S4：在训练阶段，采用预训练网络与微调网络的迁移学习策略。2.根据权利要求1所述的一种基于迁移学习的红外图像超分辨率重建方法，其特征在于，所述S1的具体步骤为：S2
‑
1：在浅层特征提取层中，仅采用一个3
×
3卷积来提取浅层特征；S2
‑
2：在非线性映射层中，通过特征蒸馏模块，该模块将提取的浅层特征进行两分支处理；其中一个分支为蒸馏分支，采用1
×
1卷积对浅层提取的特征进行处理，保留部分粗糙的特征至后续的连接层；另一分支为提炼分支，采用非对称扩张卷积残差块来进一步提炼出细致的特征；对于非对称扩张卷积残差块，是将1
×
3卷积与3
×
1卷积进行串联连接，并对第一个卷积的输入采用恒等连接，之后采用Relu函数对该残差块进行激活；所述两个分支分别进行三次迭代，并且在提炼分支的末端采用带有扩张卷积的非对称扩张卷积残差块进行并行连接，用来扩大网络的感受视野；将两个分支提取的特征在通道维度进行特征连接后，采用通道混洗机制，增加通道间的信息交互能力；在局部蒸馏模块的末端引入增强型空间注意力机制，重新校准融合特征的权重。3.根据权利要求1所述的一种基于迁移学习的红外图像超...

【专利技术属性】
技术研发人员：范科峰，洪开，
申请(专利权)人：中国电子技术标准化研究院，
类型：发明
国别省市：