基于多频层级残差网络的图像超分辨率重建模型构建方法技术

本发明专利技术公开了一种基于多频层级残差网络的图像超分辨率重建模型构建方法，涉及图像超分辨率重建技术领域。该方法包括：划分得到训练集和测试集；将训练集中的低分辨率图像输入至特征提取模块中，获得低分辨率图像的浅层特征；将浅层特征分解为高空间频率组和低空间频率组；将高空间频率组和低空间频率组输入到特征映射模块，输出并将高频特征组和低频特征组使用卷积运算进行高低频特征融合，得到深度特征；将深度特征与浅层特征进行残差学习，进行图像重建，得到高分辨率图像；将高分辨率图像与训练集中高分辨率图像进行对比，求得Loss值，完成训练，得到基于深度学习的单图像超分辨率重建模型。本发明专利技术可有效提高图像超分辨率重建的效果。重建的效果。重建的效果。

【技术实现步骤摘要】
基于多频层级残差网络的图像超分辨率重建模型构建方法


[0001]本专利技术涉及图像超分辨率重建
，具体而言，涉及一种基于多频层级残差网络的图像超分辨率重建模型构建方法。

技术介绍

[0002]图像超分辨率是图像处理的一项重要任务，目的是提高成像系统的分辨率。迄今为止，科研人员已经研究了许多超分辨率方法。SISR(Single Image Super Resolution)是指输入的低分辨率图像数量只有一张，仅使用单个输入图像的信息重建恢复缺失细节，并且总是存在一个原始LR(Low
‑
Resolution)图像对应多个HR(High
‑
Resolution)图像。基于深度学习的图像超分辨率重建方法取得了令人可喜的成绩。基于深度学习的图像超分辨率重建任务通常可分为三个步骤：特征提取、非线性特征映射和图像重建。
[0003]目前基于深度学习的大多数方法在特征映射过程忽略了图像固有的多频率特征，低频信息和高频信息被统一对待，并且单尺度网络模型提取到的上下文信息有限，特征中存在着许多空间冗余。

技术实现思路

[0004]为了克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供一种基于多频层级残差网络的图像超分辨率重建模型构建方法，充分利用特征图的高频和低频信息，在频段内进行信息更新，不同频段进行信息交互，从而提高图像超分辨率重建的效果。
[0005]本专利技术的实施例是这样实现的：
[0006]第一方面，本专利技术实施例提供一种基于多频层级残差网络的图像超分辨率重建模型构建方法，该多频层级残差网络包括：特征提取模块、特征分离模块、特征映射模块和特征融合模块，包括以下步骤：
[0007]将原始高分辨率图像数据集按照预设比例划分得到训练集和测试集；
[0008]将训练集中的低分辨率图像输入至特征提取模块中，从特征提取网络获得低分辨率图像的浅层特征X；
[0009]将浅层特征X输入到特征分离模块，将经过卷积运算后的多通道特征输入分解为高空间频率组X
H
和低空间频率组X
L
；
[0010]将高空间频率组X
H
和低空间频率组X
L
输入到特征映射模块，以得到经过深度特征提取后的特征张量，输出得到Y
H
和YL；其中，Y
H
表示经过深度特征提取后的高频特征组，Y
L
表示经过深度特征提取后的低频特征组；
[0011]基于特征融合模块将高频特征组Y
H
和低频特征组Y
L
使用卷积运算进行高低频特征融合，得到融合后的深度特征Y；
[0012]将深度特征Y与浅层特征X进行残差学习，使用上采样卷积将学习到特征张量的空间分辨率与原始高分辨率图像的空间分辨率进行统一，最后使用一个用于重构的卷积层进行图像重建，得到高分辨率图像I
SR
；
[0013]将高分辨率图像I
SR
与训练集中的原始高分辨率图像进行对比，求得Loss值，进行反向传播更新网络参数，达到预设训练批次完成训练，得到基于深度学习的单图像超分辨率重建模型。
[0014]为了解决现有技术中没有充分利用图像高频和低频信息，存在空间冗余等问题，本专利技术借鉴空间尺度化理论和八度卷积的思想，基于多频层级残差神经网络，充分利用特征图的高频和低频信息，在频段内进行信息更新，不同频段进行信息交互，从而提高图像超分辨率重建的效果。
[0015]基于第一方面，在本专利技术的一些实施例中，上述特征分离模块包括两个卷积和一个下采样，其中：下采样和一个卷积负责降低低频特征的空间冗余和低频特征的映射，另一个卷积负责高频特征张量组的映射。
[0016]基于第一方面，在本专利技术的一些实施例中，上述特征映射模块包括多个多频特征映射模块。
[0017]基于第一方面，在本专利技术的一些实施例中，上述多频特征映射模块包括两个层级残差注意力块、两个普通卷积、一个上采样、一个下采样和两个RELU激活函数，其中：两个层级残差注意力块分别负责高、低频特征组的组内特征信息更新；一个下采样和一个卷积负责高频特征组对低频特征组的信息补充；一个上采样和一个卷积负责低频特征组对高频特征组的信息补充。
[0018]基于第一方面，在本专利技术的一些实施例中，上述层级残差注意力块包括三个残差注意力块、一个普通卷积、一个跳连接和密集连接。
[0019]基于第一方面，在本专利技术的一些实施例中，上述残差注意力块包括两个卷积层、一个ReLU激活函数、一个残差连接和一个坐标注意力模块。
[0020]基于第一方面，在本专利技术的一些实施例中，上述特征融合模块包括两个普通卷积和一个上采样，其中：一个卷积负责高频特征组更新；一个卷积和一个上采样将低频特征恢复到原有空间分辨率并进行信息更新，将高频特征张量组和低频特征张量组通过通道拼接进行融合，恢复到送入特征映射层原有输入特征的通道数和空间维度。
[0021]基于第一方面，在本专利技术的一些实施例中，该基于多频层级残差网络的图像超分辨率重建模型构建方法还包括以下步骤：
[0022]将测试集中的图像输入到单图像超分辨率重建模型中进行运算，得到超分辨率重建结果。
[0023]第二方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
[0024]第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
[0025]本专利技术实施例至少具有如下优点或有益效果：
[0026]本专利技术实施例提供一种基于多频层级残差网络的图像超分辨率重建模型构建方法，借鉴空间尺度化理论和八度卷积的思想，基于多频层级残差神经网络，充分利用特征图的高频和低频信息，在频段内进行信息更新，不同频段进行信息交互，从而提高图像超分辨率重建的效果。
附图说明
[0027]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0028]图1为本专利技术实施例一种基于多频层级残差网络的图像超分辨率重建模型构建方法的流程示意图；
[0029]图2为本专利技术实施例中特征分离模块流程示意图；
[0030]图3为本专利技术实施例中多频特征映射模块流程示意图；
[0031]图4为本专利技术实施例中高低频特征融合模块流程示意图；
[0032]图5为本专利技术实施例提供的一种电子设备的结构框图。
[0033]附图标记说明：101、存储器；102、处理器；103、通信接口。
具体实施方式
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多频层级残差网络的图像超分辨率重建模型构建方法，所述多频层级残差网络包括：特征提取模块、特征分离模块、特征映射模块和特征融合模块，其特征在于，包括以下步骤：将原始高分辨率图像数据集按照预设比例划分得到训练集和测试集；将训练集中的低分辨率图像输入至特征提取模块中，从特征提取网络获得低分辨率图像的浅层特征X；将浅层特征X输入到特征分离模块，将经过卷积运算后的多通道特征输入分解为高空间频率组X
H
和低空间频率组X
L
；将高空间频率组X
H
和低空间频率组X
L
输入到特征映射模块，以得到经过深度特征提取后的特征张量，输出得到Y
H
和Y
L
；其中，Y
H
表示经过深度特征提取后的高频特征组，Y
L
表示经过深度特征提取后的低频特征组；基于特征融合模块将高频特征组Y
H
和低频特征组Y
L
使用卷积运算进行高低频特征融合，得到融合后的深度特征Y；将深度特征Y与浅层特征X进行残差学习，使用上采样卷积将学习到特征张量的空间分辨率与原始高分辨率图像的空间分辨率进行统一，最后使用一个用于重构的卷积层进行图像重建，得到高分辨率图像I
SR；
将高分辨率图像I
SR
与训练集中的原始高分辨率图像进行对比，求得Loss值，进行反向传播更新网络参数，达到预设训练批次完成训练，得到基于深度学习的单图像超分辨率重建模型。2.根据权利要求1所述的一种基于多频层级残差网络的图像超分辨率重建模型构建方法，其特征在于，所述特征分离模块包括两个卷积和一个下采样，其中：下采样和一个卷积负责降低低频特征的空间冗余和低频特征的映射，另一个卷积负责高频特征张量组的映射。3.根据权利要求1所述的一种基于多频层级残差网络的图像超...

【专利技术属性】
技术研发人员：朱庆辉，王飞，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：