基于多层次残差的单张图像超分辨率重建方法技术

本发明专利技术公开了基于多层次残差的单张图像超分辨率重建方法，首先进行数据预处理，再构建基于多层次残差的单张图像超分辨率重建网络；最后通过预处理的数据对构建的基于多层次残差的图像超分辨重建网络模型进行训练。本发明专利技术充分利用不同层次的特征信息进行图像重建；模型结构简单，通过参数共享减少参数量，降低运算成本，且在性能和效率能够达到非常好的平衡。能够非常容易的部署在移动端设备，减少使用硬件来进行图像超分的成本。用硬件来进行图像超分的成本。用硬件来进行图像超分的成本。

【技术实现步骤摘要】
基于多层次残差的单张图像超分辨率重建方法


[0001]本专利技术属于数字图像处理中的图像超分处理领域，具体涉及一种基于深度学习的单张图像超分辨率重建方法，注重实时高效且高性能的算法处理。

技术介绍

[0002]图像超分辨率(super
‑
resolution,SR)是指由一幅低分辨率图像
[0003](low
‑
resolution,LR)或图像序列恢复出高分辨率图像(high
‑
resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的图像细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过基于深度学习的超分辨率技术来获取HR图像具有非常重要的现实意义。
[0004]单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多层次残差的单张图像超分辨率重建方法，其特征在于，步骤如下：步骤(1)、数据预处理；步骤(2)、构建基于多层次残差的单张图像超分辨率重建网络；基于多层次残差的单张图像超分辨率重建网络模型由一个卷积层、n个重用的子网络模块、n个重用的重建网络模块和一个双三次线性插值上采样操作组成；步骤(3)、通过步骤(1)预处理的数据对构建的基于多层次残差的图像超分辨重建网络模型进行训练。2.根据权利要求1所述的基于多层次残差的单张图像超分辨率重建方法，其特征在于，步骤(1)具体方法如下；1
‑
1：数据集下载：选取DIV2K数据集中的800张训练集图片作为训练集，选用Set5、Set14、B100、Urban100、manga109这5个数据集作为测试集；1
‑
2：训练数据处理：对DIV2K数据集的800张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片I
HR
；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片I
LR
；然后对高分辨率图片I
HR
和低分辨率图片I
LR
进行裁剪，I
HR
裁剪为大小为192*192，I
LR
裁剪为指定缩小倍数的大小，以达到数据增强的处理；低分辨率图片I
LR
作为模型训练过程中的输入图片，高分辨率图片I
HR
作为模型训练过程中用于与模型输出图片进行对比的对比图片；1
‑
3：测试数据处理：对5个测试数据集进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片I
HR
；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片I
LR
；低分辨率图片I
LR
作为最终验证模型性能的输入图片，高分辨率图片I
HR
作为模型训练过程中的用于与模型输出图片进行对比的对比图片。3.根据权利要求2所述的基于多层次残差的单张图像超分辨率重建方法，其特征在于，步骤(2)具体方法如下；2
‑
1：单张图像超分辨率重建理论；单张图像超分辨率重建算法通过子网络模块提取各层次的特征信息F
i
；可以公式化为：其中F
i
为第i层次的特征信息，subNet
i
为重用的第i个子网络模块，F0记为第一个子网络模块的输入；重建模块则利用获取到的层次特征信息重建出各层次的HR图像残差，记为hr
i
；重建模块可以公式化为：hr
i
＝resNet
i

【专利技术属性】
技术研发人员：颜成钢，徐文，高宇涵，孙垚棋，朱尊杰，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：