基于残差学习和亚像素重组映射对图像超分辨率重建方法技术

本发明专利技术提供了一种基于残差CNN网络和像素重组映射的图像超分辨率重建方法，构建用于放大图像并恢复图像细节的Pixel

【技术实现步骤摘要】
基于残差学习和亚像素重组映射对图像超分辨率重建方法


[0001]本专利技术属于图像处理方法
，尤其涉及一种基于残差学习和亚像素重组映射对图像超分辨率重建方法。

技术介绍

[0002]近年来，基于图像特征提取和分析的图像处理技术和图像分类技术已成为计算机视觉领域的一个热点卷积神经网络。研究人员提出了许多用卷积神经网络(CNN)构造的端到端模型，该模型可以在训练过程中通过传统的梯度下降法算法学习图像特征。与其他神经网络方法相比，CNN在图像特征学习和映射方面具有优势。目前，CNN已经成为图像处理深度学习模型的基本网络结构，由于其在图像分类方面的巨大成功，CNN得到了爆炸性的普及。然而基于现有的CNN的方法进行图像处理时，对图形的纹理及亮度和细节特征的处理等方面，依旧存在失真的情况，同时在图像重建的时间上，时长较长。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术的目的在于提供一种基于残差学习和亚像素重组映射对图像超分辨率重建方法，以克服目前基于CNN方法下处理图像时由于纹理及亮度带来的失真问题。
[0004]本专利技术的目的采用以下技术方案实现：
[0005]基于残差学习和亚像素重组映射对图像超分辨率重建方法，包括如下步骤：
[0006]S1、构建训练数据集；
[0007]S11、利用高斯滤波器对训练集中的高分辨率图形进行卷积，模拟摄像机的点扩散函数；
[0008]S12、通过比率因子对图像进行下采样，获得低分辨率图像；
[0009]S13、将高分辨率图像和低分辨率图像分别进行图像的分割，以构建出成对的高
‑
低分辨率图像块；
[0010]S2、构建四层的CNN网络，对图像数据进行特征提取；
[0011]S3、在S2构建的CNN网络的第2层和第3层加入残差网络；通过设置卷积操作参数padding＝“same”对输入数据进行卷积函数操作，在每个卷积层中，选择tanh函数作为模型的激活函数；
[0012]S4、在第4卷积层后增加像素重组映射层，并通过将rgb图像转换为YC
b
C
r
空间，只训练图像的亮度分量，其他分量通过双三次插值直接插值以提高比例；
[0013]S5、构建完整的超分重建网络；
[0014]S6、构建损失函数；
[0015]S7、训练网络，得到模型参数；
[0016]S8、用低分辨率图像进行重建测试，将低分辨率图像分成的块，通过网络后得到扩大后的块，将所有图像块按顺序拼接形成最后的超分辨率重建图像。
[0017]优选地，所述S13中原始的高分辨图像和对应的低分辨率图像中分别以(17
‑
∑mod(f,2))
×
r和(17
‑
∑mod(f,2)为步距进行切割，以低分辨率图像块作为输入数据，高分辨率图像块将用来与模型输出的超分辨重建图像块进行损失函数计算，从而调整网络参数。
[0018]优选地，所述S4中重组映射层的构成为：
[0019]给定一个大小为H
×
W
×
C的低分辨图像，为了将其映射成为一个大小为rH
×
rW
×
C的高分辨率图像；图像映射层需要，低分辨率图像通过若干卷积层后的特征映射图像尺寸大小为H
×
W
×
r2C，其映射函数可以描述为：
[0020][0021]其中，Map是一个映射运算符，它从尺寸为H
×
W
×
r2C的张量中的元素重组构造一个尺寸为rH
×
rW
×
C的高分辨率输出图像，其中所有的元素数值都是通过网络学习获得，所述r为放大倍率；其中l为第l个卷积层(本方法中l＝4)；I
LR
为低分辨率输入图像，I
SR
为超分辨率重建图像；W
l
和b
l
分别为第l层的卷积核(即权重参数)和偏差，为卷积计算符；G
l
‑1为第l
‑
1层的输出数据。
[0022]优选地，所述S4中其它分量包括颜色分量。
[0023]优选地，所述S6包括如下步骤：
[0024]S61、训练集中的低分辨率图像I
LR
(1...N)通过超分重建网格中提出的网络重建出了超分辨图像；
[0025]S62、计算重建图像I
SR
和原始图像I
HR
之间的像素均方误差(MSE)，作为损失函数来训练网络：
[0026][0027]其中，W
1:L
,b
1:L
分别是1到L层的网络权重和偏差。
[0028]优选地，所述方法还包括图像质量评估步骤，通过psnr进行模型有效性的验证。
[0029]相比现有技术，本专利技术的有益效果在于：
[0030]1、可以有效的对图像进行超分辨率重建，同时对图像的纹理细节和亮度上的处理均优于以往的CNN处理方法；
[0031]2、该方法具有较高的实时性，重建图像时间得到了提高；
[0032]3、本专利技术所述的方法具有较好的迁移性，也能对静态人脸截图进行超分辨率重建，重建图像有较好的亮度和细节特征，且没有严重失真。
[0033]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0034]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0035]图1为本专利技术构建的四层CNN网络结构示意图；
[0036]图2为本专利技术中残差网络结构示意图。
[0037]图3为本专利技术像素重组映射结构示意图。
[0038]图4为本专利技术构建的完整的超分重建网络示意图。
[0039]图5为本专利技术SR重建结果对比示意图。
[0040]图6为本专利技术对人脸图片超分处理效果示意图。
具体实施方式
[0041]下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
[0042]本专利技术揭示了一种基于残差学习和亚像素重组映射对图像超分辨率重建方法，本专利技术构建用于2倍、3倍和4倍放大图像并恢复图像细节的Pixel
‑
reshuffle andResidual
‑
CNN模型；将4层卷积神经网络的第二层和第三层分别加上残差网络，使网络对图像细节和一定整体性的结构同时进行特征提取，最后在第4个层卷积后进行图像尺寸调整，将输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于残差学习和亚像素重组映射对图像超分辨率重建方法，其特征在于：包括如下步骤：S1、构建训练数据集；S11、利用高斯滤波器对训练集中的高分辨率图形进行卷积，模拟摄像机的点扩散函数；S12、通过比率因子对图像进行下采样，获得低分辨率图像；S13、将高分辨率图像和低分辨率图像分别进行图像的分割，以构建出成对的高
‑
低分辨率图像块；S2、构建四层的CNN网络，对图像数据进行特征提取；S3、在S2构建的CNN网络的第2层和第3层加入残差网络；通过设置卷积操作参数padding＝“same”对输入数据进行卷积函数操作，在每个卷积层中，选择tanh函数作为模型的激活函数；S4、在第4卷积层后增加像素重组映射层，并通过将rgb图像转换为YC
b
C
r
空间，只训练图像的亮度分量，其他分量通过双三次插值直接插值以提高比例；S5、构建完整的超分重建网络；S6、构建损失函数；S7、训练网络，得到模型参数；S8、用低分辨率图像进行重建测试，将低分辨率图像分成的块，通过网络后得到扩大后的块，将所有图像块按顺序拼接形成最后的超分辨率重建图像。2.如权利要求1所述的基于残差学习和亚像素重组映射对图像超分辨率重建方法，其特征在于：所述S13中原始的高分辨图像和对应的低分辨率图像中分别以(17
‑
∑mod(f,2))
×
r和(17
‑
∑mod(f,2)为步距进行切割，以低分辨率图像块作为输入数据，高分辨率图像块将用来与模型输出的超分辨重建图像块进行损失函数计算，从而调整网络参数。3.如权利要求1所述的基于残差学习和亚像素重组映射对图像超分辨率重建方法，其特征在于：所述S4中重组映射层的构成为：给定一个大小为H
×
W
×
C的低分辨图像，为了将其映射成为一个大小为rH
...

【专利技术属性】
技术研发人员：周娟，
申请(专利权)人：西南政法大学，
类型：发明
国别省市：