图像超分辨率重建方法、装置、终端设备及存储介质制造方法及图纸

本申请提供一种图像超分辨率重建方法、装置、终端设备及存储介质，通过获取第一分辨率的待处理图像；对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；采用残差网络对所述待处理图像进行重建学习，所述残差网络具有N个块残差模块；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个块残差模块分别输出的第一频率特征图融合得到；对所述融合特征图进行重建得到超分辨率图像。通过上述技术方案，能够使得超分辨率图像重建过程能够根据图像中的高低频图像信息的特点，实现针对性地对图像中不同频率的画面信息进行准确地重建的技术效果。建的技术效果。建的技术效果。

【技术实现步骤摘要】
图像超分辨率重建方法、装置、终端设备及存储介质


[0001]本专利技术属于数字图像处理
，尤其涉及图像超分辨率重建方法、装置、终端设备及存储介质。

技术介绍

[0002]目前，超分辨率图像重建是指将低质量、低分辨率图像(Low-resolution,LR)进行处理，恢复出高分辨率图像(High-resolution,HR)，从而使得图像的更多细节得以体现的一种技术，其在军事、医学、公共安全和计算机视觉等方面都具有重要的应用前景。
[0003]近年来，基于深度学习的超分辨率重建方法得到了广泛关注，这类方法通过卷积神经网络来端到端学习图像的层级特征，获得低分辨率图像与高分辨率图像之间的映射关系，最终实现改善低分辨率图像质量的效果。虽然基于卷积神经网络的图像超分辨重建方法可以有效地提高图像的超分辨重建性能。然而，自然场景下的图像往往由不同的频率信息组成，每个频带包含不同复杂度的图像结构和纹理信息。目前基于深度学习的超分辨率重建算法没有将这些频率不一的纹理与结构信息加以区分，而是统一使用一个复杂网络来恢复，导致重建后的图像细节恢复不够且图像的边缘和纹理细节不够清晰，因此难以满足实际应用需求。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了图像超分辨率重建方法、装置、终端设备及存储介质，以解决现有技术中超分辨率图像重建后图像细节恢复不够清晰的技术问题。
[0005]本专利技术实施例的第一方面提供了一种图像超分辨率重建方法，包括：
[0006]获取第一分辨率的待处理图像；
[0007]对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
[0008]采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到第二分辨率的放大特征图；对所述放大特征图进行特征预处理操作，得到第二分辨率的预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图；其中，所述第二频率大于所述第一频率；
[0009]当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；
[0010]对所述融合特征图进行重建得到待处理图像的超分辨率图像。
[0011]可选的，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：
[0012]将N的值设置为预设值，当i＝N时，获取所述残差网络输出的融合特征图；
[0013]或者，将各个块残差模块输出的所述第一频率特征图进行图像融合，得到临时融合特征图；当所述临时融合特征图与目标图像之间的像素差异度小于预设阈值时，则获取所述残差网络输出的融合特征图。
[0014]可选的，在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图，包括：
[0015]将所述预处理特征图进行下采样，得到具有第一分辨率的下采样特征图；
[0016]将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频图像信息，得到高频特征图；
[0017]对所述高频特征图进行重建学习；
[0018]将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图。
[0019]可选的，所述对所述高频特征图进行重建学习，包括：
[0020]通过局部残差算法对所述高频特征图进行重建学习；
[0021]或者，通过信息蒸馏网络对所述高频特征图进行重建学习。
[0022]可选的，在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图，包括：
[0023]对所述预处理特征图进行特征提取，得到低频特征图；
[0024]当所述块残差模块不为所述残差网络的最后一个块残差模块时，将第i个块残差模块的所述低频特征图与第i+1个块残差模块的第一频率特征图进行融合，得到当前第i个块残差模块的第一频率特征图；
[0025]当所述块残差模块为所述残差网络的最后一个块残差模块时，将所述最后一个块残差模块的所述低频特征图作为所述第一频率特征图进行输出。
[0026]可选的，所述对所述输入特征图进行放大操作，包括：
[0027]通过反卷积核运算、插值算法或者亚像素卷积算法对所述输入特征图进行放大操作。
[0028]可选的，获取第一分辨率的待处理图像，还包括：
[0029]获取具有第二分辨率的原始图像，对所述原始图像进行下采样，得到所述第一分辨率的待处理图像。
[0030]本专利技术实施例的第二方面提供了一种图像超分辨率重建装置，包括：
[0031]获取模块，用于获取第一分辨率的待处理图像；
[0032]特征提取模块，用于对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
[0033]图像重建模块，用于采用残差网络对所述初始特征图进行重建；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；对所述输入特征图进行放大操作，得到第二分辨率的放大特征图；对所述放大特征图进行特征预处理操作，得到
第二分辨率的预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；其中，所述第二分辨率大于所述第一分辨率；
[0034]输出模块，用于对所述融合特征图进行重建得到所述待处理图像的超分辨率图像。
[0035]本专利技术实施例的第三方面提供了一种图像超分辨率重建终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面的图像超分辨率重建方法的步骤。
[0036]本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括：获取第一分辨率的待处理图像；对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到放大特征图；对所述放大特征图进行预处理操作，得到预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，根据所述预处理特征图和初始特征图提取高频图像信息，得到所述第二频率特征图；其中，所述第二频率大于所述第一频率；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；对所述融合特征图进行重建得到待处理图像的超分辨率图像。2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：将N的值设置为预设值，当i＝N时，获取所述残差网络输出的融合特征图；或者，将各个块残差模块输出的所述第一频率特征图进行融合，得到临时融合特征图；当所述临时融合特征图与原始图像之间的差异度小于预设阈值时，则获取所述残差网络输出的融合特征图。3.如权利要求1所述的图像超分辨率重建方法，其特征在于，在所述第二分支，根据所述预处理特征图和初始特征图提取出高频图像信息，得到第二频率特征图，包括：将所述预处理特征图进行下采样，得到下采样特征图；将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频特征信息，得到高频特征图；对所述高频特征图进行重建学习；将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图。4.如权利要求3所述的图像超分辨率重建方法，其特征在于，所述对所述高频特征图进行重建学习，包括：通过局部残差算法对所述高频特征图进行重建学习；或者，通过信息蒸馏网络对所述高频特征图进行重建学习。5.如权利要求1所述的图像超分辨率重建方法，其特征在于，在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图，包括：对所述预处理特征图进行特征...

【专利技术属性】
技术研发人员：王汝欣，邱亚军，陶大鹏，
申请(专利权)人：深圳市联合视觉创新科技有限公司，
类型：发明
国别省市：