基于多层次残差的单张图像超分辨率重建方法技术

本发明专利技术公开了基于多层次残差的单张图像超分辨率重建方法，首先进行数据预处理，再构建基于多层次残差的单张图像超分辨率重建网络；最后通过预处理的数据对构建的基于多层次残差的图像超分辨重建网络模型进行训练。本发明专利技术充分利用不同层次的特征信息进行图像重建；模型结构简单，通过参数共享减少参数量，降低运算成本，且在性能和效率能够达到非常好的平衡。能够非常容易的部署在移动端设备，减少使用硬件来进行图像超分的成本。用硬件来进行图像超分的成本。用硬件来进行图像超分的成本。

【技术实现步骤摘要】
基于多层次残差的单张图像超分辨率重建方法


[0001]本专利技术属于数字图像处理中的图像超分处理领域，具体涉及一种基于深度学习的单张图像超分辨率重建方法，注重实时高效且高性能的算法处理。

技术介绍

[0002]图像超分辨率(super
‑
resolution,SR)是指由一幅低分辨率图像
[0003](low
‑
resolution,LR)或图像序列恢复出高分辨率图像(high
‑
resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的图像细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过基于深度学习的超分辨率技术来获取HR图像具有非常重要的现实意义。
[0004]单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得似乎有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。
[0005]近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到了快速发展，其中，最早的是由Dong等人提出的基于卷积神经网络的超分辨率重建(Super
‑
Resolution using ConvolutionalNeural Networks，SRCNN)方法。随后几年中，VDSR，SRDenseNet，EDSR等一些列模型被提出应用在超分辨领域，都取得了不错的效果。但是，这一系列基于深度学习的重建算法理论基础是相似的，都是学习图像之间的映射关系，而且，随着模型的发展，模型的体积越来越大，训练成本逐渐增加，处理图片的时间越来越久，很难应用在移动终端设备上，即使有些模型的参数量很小，可它们却在性能上有很大的损失，现存的网络模型都没有在性能和效率上取的很好的平衡。

技术实现思路

[0006]由于现存的基于深度学习的单张图像超分辨率重建网络，要么网络模型巨大，参数量巨多，增加了运算成本和计算复杂度，很难运用在移动端设备。要么网络模型很小，能够部署在移动端设备上，但却不能实现很好的性能，重建清晰的图像细节。本专利技术提供基于多层次残差的单张图像超分辨率重建方法。本专利技术旨在提供一种计算成本低，处理速度快且性能高的单张图像超分辨率重建网络。该算法包含一个可重用的子网络(subNetwork)，一个可重用的重建网络(reconstructNetwork)和一个主网络(mainNetwork)。子网络用于提取不同层次的特征作为重建网络的输入和下一个子网络的输入。重建网络用于重建不同
层次的特征，获得不同层次的图像残差。主网络则用于对子网络和重建网络进行组装。通过简单的网络模型就可以取得视觉上可观的高分辨率图像，且在性能和效率上达到极好的平衡。
[0007]基于多层次残差的单张图像超分辨率重建方法，步骤如下：
[0008]步骤(1)、数据预处理；
[0009]步骤(2)、构建基于多层次残差的单张图像超分辨率重建网络；
[0010]步骤(3)、通过步骤(1)预处理的数据对构建的基于多层次残差的图像超分辨重建网络模型进行训练；
[0011]进一步的，步骤(1)具体方法如下；
[0012]1‑
1：数据集下载：
[0013]选取DIV2K数据集中的800张训练集图片作为训练集，选用Set5、Set14、B100、Urban100、manga109这5个数据集作为测试集。
[0014]1‑
2：训练数据处理：
[0015]对DIV2K数据集的800张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片I
HR
。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片I
LR
。然后对高分辨率图片I
HR
和低分辨率图片I
LR
进行裁剪，I
HR
裁剪为大小为192*192，I
LR
裁剪为指定缩小倍数的大小，以达到数据增强的处理。低分辨率图片I
LR
作为模型训练过程中的输入图片，高分辨率图片I
HR
作为模型训练过程中用于与模型输出图片进行对比的对比图片。
[0016]1‑
3：测试数据处理：
[0017]对5个测试数据集进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片I
HR
。对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片I
LR
。低分辨率图片I
LR
作为最终验证模型性能的输入图片，高分辨率图片I
HR
作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
[0018]进一步的，步骤(2)具体方法如下；
[0019]2‑
1：单张图像超分辨率重建理论。
[0020]单张图像超分辨率重建算法通过子网络模块提取各层次的特征信息F
i
。可以公式化为：
[0021][0022]其中F
i
为第i层次的特征信息，subNet
i
为重用的第i个子网络模块，F0记为第一个子网络模块的输入。
[0023]重建模块则利用获取到的层次特征信息重建出各层次的HR图像残差，记为hr
i
。重建模块可以公式化为：
[0024]hr
i
＝resNet
i
(F
i
)i＝1,2,3,......,n
[0025]其中hr
i
为第i层次的HR图像残差，resNet
i
为重用的第i个重建网络模块。在主网络中将LR图像进行双三次线性插值(bicubic)获得图像hr0。最终获得的HR图像可以公式化为：
[0026][0027]2‑
2：构建基于多层次残差的单张图像超分辨重建网络模型。
[0028]基于多层次残差的单图像超分辨重建网络模型主要包括两个模块，第一个模块是子网络模块，用于进行不同层次的特征提取。第二个模块是重建模块，用于对不同层次的特征进行重建，获得不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多层次残差的单张图像超分辨率重建方法，其特征在于，步骤如下：步骤(1)、数据预处理；步骤(2)、构建基于多层次残差的单张图像超分辨率重建网络；基于多层次残差的单张图像超分辨率重建网络模型由一个卷积层、n个重用的子网络模块、n个重用的重建网络模块和一个双三次线性插值上采样操作组成；步骤(3)、通过步骤(1)预处理的数据对构建的基于多层次残差的图像超分辨重建网络模型进行训练。2.根据权利要求1所述的基于多层次残差的单张图像超分辨率重建方法，其特征在于，步骤(1)具体方法如下；1
‑
1：数据集下载：选取DIV2K数据集中的800张训练集图片作为训练集，选用Set5、Set14、B100、Urban100、manga109这5个数据集作为测试集；1
‑
2：训练数据处理：对DIV2K数据集的800张图片进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片I
HR
；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片I
LR
；然后对高分辨率图片I
HR
和低分辨率图片I
LR
进行裁剪，I
HR
裁剪为大小为192*192，I
LR
裁剪为指定缩小倍数的大小，以达到数据增强的处理；低分辨率图片I
LR
作为模型训练过程中的输入图片，高分辨率图片I
HR
作为模型训练过程中用于与模型输出图片进行对比的对比图片；1
‑
3：测试数据处理：对5个测试数据集进行格式转换，将图片统一转换成YCrCb格式，并只保留图片的Y通道信息，即得到所需要的高分辨率图片I
HR
；对只包含Y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片I
LR
；低分辨率图片I
LR
作为最终验证模型性能的输入图片，高分辨率图片I
HR
作为模型训练过程中的用于与模型输出图片进行对比的对比图片。3.根据权利要求2所述的基于多层次残差的单张图像超分辨率重建方法，其特征在于，步骤(2)具体方法如下；2
‑
1：单张图像超分辨率重建理论；单张图像超分辨率重建算法通过子网络模块提取各层次的特征信息F
i
；可以公式化为：其中F
i
为第i层次的特征信息，subNet
i
为重用的第i个子网络模块，F0记为第一个子网络模块的输入；重建模块则利用获取到的层次特征信息重建出各层次的HR图像残差，记为hr
i
；重建模块可以公式化为：hr
i
＝resNet
i

【专利技术属性】
技术研发人员：颜成钢，徐文，高宇涵，孙垚棋，朱尊杰，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：