基于元学习与结构保持的任意尺度图像超分辨率的方法技术

本发明专利技术提供基于元学习与结构保持的任意尺度图像超分辨率的方法，包括：构建并训练超分辨率网络模型，对获取的高分辨率图像数据进行预处理，得到低分辨率图片数据；对低分辨率图片数据进行处理，得到梯度图数据；对低分辨率图片进行特征提取、上采样，得到超分辨率分支网络上采样图片，对梯度图进行特征提取、上采样，得到梯度图分支网络上采样图片；超分辨率分支网络上采样图片与梯度图分支网络上采样图片输入混合模块中进行加权运算，重建得到超分辨率图像；设置损失函数，对超分辨率网络模型进行迭代训练直至模型收敛，得到训练好的任意尺度超分辨率网络模型；本发明专利技术超分辨率网络模型可以在任意尺度下生成视觉效果良好的超分辨率SR图像。超分辨率SR图像。超分辨率SR图像。

【技术实现步骤摘要】
基于元学习与结构保持的任意尺度图像超分辨率的方法


[0001]本专利技术涉及图像处理
，更具体地，涉及基于元学习与结构保持的任意尺度图像超分辨率的方法。

技术介绍

[0002]图像超分辨率(Super Resolution，SR)方法是从低分辨率图片生成高分辨率图片过程的方法，该问题作为经典的计算机视觉问题，近年来得到了广泛的研究。该方向不仅有着理论研究的意义，它在安全监视方面、医学成像以及卫星和航空成像方面都有着非常广泛的应用。随着深度学习的发展，已经提出了许多超分辨率方法，如ESPCNN(Efficient Sub
‑
pixel Convolutional Neural Network)、EDSR(Enhanced Deep Residual Networks)、RDN(Residual Dense Network)，其中大多数都是通过均方误差(MSE)进行优化的，均方误差是用于测量高分辨率图片和高像素图像之间的像素距离。由于优化目标的设定，这类方法的目标是使图像得到更高的峰值信噪比(Peak Signal to N本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于元学习与结构保持的任意尺度图像超分辨率的方法，其特征在于，包括以下步骤：S1：构建超分辨率网络模型，所述超分辨率网络模型包括超分辨率分支网络、梯度图分支网络、混合模块和图像重建模块；所述超分辨率分支网络包括SR分支网络特征提取模块、SR分支网络任意尺度上采样模块、SR分支网络输出模块，SR分支网络特征提取模块的输出端和SR分支网络任意尺度上采样模块连接，SR分支网络任意尺度上采样模块的输出端和SR分支网络输出模块连接；所述梯度图分支网络包括梯度图分支网络特征提取模块、梯度图分支网络任意尺度上采样模块、梯度图分支网络输出模块，梯度图分支网络特征提取模块的输出端和梯度图分支网络任意尺度上采样模块连接，梯度图分支网络任意尺度上采样模块和梯度图分支网络输出模块连接；S2：获取待处理的高分辨率图像数据；S3：对高分辨率图像数据进行预处理，得到低分辨率图片数据；S4：对低分辨率图片数据进行处理，得到梯度图数据；S5：SR分支网络特征提取模块对低分辨率图片数据进行特征提取，得到低分辨率图片的特征图；梯度图分支网络特征提取模块对梯度图数据进行特征提取，得到梯度图的特征图；利用构建好的元学习网络，得到任意尺度上采样模块；将任意尺度上采样模块加入超分辨率分支网络作为SR分支网络任意尺度上采样模块，将任意尺度上采样模块加入梯度图分支网络作为梯度图分支网络任意尺度上采样模块；其中，所述元学习网络包括第一全连接层、激活层、第二全连接层，第一全连接层的输出端和激活层相连接，激活层的输出端和第二全连接层相连接；S6：超分辨率分支网络特征图输入SR分支网络任意尺度上采样模块进行上采样，得到超分辨率分支网络上采样图片；梯度图分支网络特征图输入梯度图分支网络任意尺度上采样模块进行上采样，得到梯度图分支网络上采样图片；S7：超分辨率分支网络上采样图片与梯度图分支网络上采样图片一起输入混合模块中进行加权运算，将加权运算结果输入图像重建模块进行图像重建，得到超分辨率图片；S8：设置损失函数，对超分辨率网络模型进行迭代训练；S9：重复S5
‑
S8，直至模型收敛，得到训练好的任意尺度超分辨率网络模型；S10：将低分辨率图片输入训练好的任意尺度超分辨率网络模型，得到结构保持的任意尺度超分辨率图片。2.根据权利要求1所述的基于元学习与结构保持的任意尺度图像超分辨率的方法，其特征在于，所述步骤S1中，超分辨率网络模型的构建过程包括：超分辨率分支网络的主干网络为增强型超分辨率生成对抗网络ESRGAN；梯度图分支网络的主干网络基于密集残差块RRDB模块构建；超分辨率网络模型优化器采用自适应矩估计ADAM优化器；移除原有的超分辨率分支网络最后的卷积重建层和原有的梯度图分支网络最后的卷积重建层；将超分辨率分支网络中部分SR分支网络特征提取模块提取的特征图输入至梯度图分支网络的梯度图特征提取模块。3.根据权利要求2所述的基于元学习与结构保持的任意尺度图像超分辨率的方法，其
特征在于，所述将超分辨率分支网络中部分SR分支网络特征提取模块提取的特征图输入至梯度图分支网络的梯度图特征提取模块中，部分SR分支网络特征提取模块提取的特征图包括：从第一个SR分支网络特征提取模块开始，在超分辨率分支网络的第5个、第10个、第15个、第20个SR分支网络特征提取模块提取的特征图。4.根据权利要求1所述的基于元学习与结构保持的任意尺度图像超分辨率的方法，其特征在于，步骤S3中，所述对高分辨率图像数据进行预处理的步骤，包括：对高分辨率图像数据中所有图片采用双三次插值下采样方法进行下采样，得到下采样图像数据；将下采样图像数据转换为tensor数据结构，并进行归一化处理；将归一化处理后的下采样图像数据进行随机数据增强，得到处理好的低分辨率图片，其中，随机数据增强操作包括图像镜像、图像旋转。5.根据权利要求1所述的基于元学习与结构保持的任意尺度图像超分辨率的方法，其特征在于，步骤S4中，对低分辨率图片数据进行处理，得到梯度图数据的步骤，包括：通过Sobel算子进行计算处理得到梯度图。6.根据权利要求5所述的基于元学习与结构保持的任意尺度图像超分辨率的方法，其特征在于，所述通过Sobel算子进行计算处理得到梯度图的步骤，包括：Sobel算子通过计算低分辨率图片上相邻像素点之间的差值得到梯度图，其中，低分辨率图片上像素点(i,j)在水平方向梯度值I
x
与竖直方向的梯度值I
y
分别表示为：I
x
＝I
LR
(i+1,j)
‑
I
LR
(i
‑
1,j)，I
y
＝I
LR
(i,j+1)
‑
I
LR
(i,j
‑
1)，式中，i、j为低分辨率图片上某一像素点，I
LR
为低分辨率图片，I
LR

【专利技术属性】
技术研发人员：向宇，杨芳，戴嘉欣，陈炳丰，蔡瑞初，朱鉴，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：