一种基于渐进残差生成对抗网络的图像超分方法技术

本发明专利技术公开了一种基于渐进残差生成对抗网络的图像超分方法。首先是对给定的真实目标图像进行下采样处理，获得一系列低分辨率图片集；搭建残差式生成对抗网络，从最低子网络层开始逐层训练，直至生成和原始真实图片相同分辨率的逼真的重构图片；最后，按照需要的超分辨率值对图像进一步上采样，叠加噪声输入至更上层子网络中迭代训练，最终得到所需要的超分辨率图像。本发明专利技术基于深度学习中的生成对抗网络模型，融入了加权的级联残差结构，能够高效充分利用输入图片的特征信息，拟合输入图片的数据特征，实现图片的超分辨率。相较于以往的方法，不仅成本低、容易实施，而且能够提升图像的超分辨率效果。的超分辨率效果。的超分辨率效果。

【技术实现步骤摘要】
一种基于渐进残差生成对抗网络的图像超分方法


[0001]本专利技术主要涉及图像处理领域，具体来说涉及了一种基于渐进残差生成对抗网络的图像超分方法。

技术介绍

[0002]长久以来，图像的超分辨率重建(简称即图像超分)是图像处理领域中广受研究的一个分支内容。图像超分技术具体来说就是，给定一张或一批低分辨率的图像，通过硬件加工或者算法处理，在确保图像不失真的前提下，得到对用清晰的高分辨率图像。该技术能够丰富完善采集图像的的细节信息，使得采集的图像更具实用价值，因而在航空航天、气象遥感、生物医学等诸多领域都有着广泛的应用场景。
[0003]传统的超分辨率方法利用原始图像的像素信息，通常采用数学方法如插值算法，手工分析构建数学模型等方式实现图像超分辨率。然而，该类方法不能很好拟合图片数据信息的真实分布，生成的图像会存在图像纹理模糊、噪声较明显等问题。
[0004]近年来随着深度学习领域的快速发展，基于深度学习方法的超分辨率工作受到了广泛研究关注，取得了很好的进展。深度学习方法通过采用卷积神经网络对输入图片进行处理，提取拟合图像特征，解析图像的高频信息；设计端到端方式的神经网络模型，并且根据先验信息设计可反向传播的优化约束函数，利用输入图片对网络模型进行训练，优化网络参数，提高模型的图像超分效果。相比于其他方法，深度学习方法具有其特有的优势：深度学习方法通过图像处理与神经网络相结合的方式进行图像超分辨率重构，能够更好的学习到原始图像的信息特征，生成的超分辨率图像可视性更好更清晰，并且相较于通过硬件设备提高分辨率的方法，深度学习方法成本更小，更容易实施。
[0005]当下，在深度学习领域中结合生成对抗网络(GAN)的方法实现图像的超分辨率重构是很有效的一种方法。生成对抗网络主要由生成器G(Generator)和判别器D(Discriminator)组成，其中生成器G通过初始化的噪声信息作为输入，用于映射生成重构图片；判别器D用于判断输入的图片的真假(输出范围(0,1)，输出值越大，图片真实程度越高)。生成器G通过训练调节生成器子网络的参数，使得生成图像的真实程度尽可能高，使得判别器不能识别其是生成的重构图片；判别器D通过训练调节判别器子网络的参数，提升自己识别输入图片真假的能力。可以看出，生成器与判别器的目标是彼此对抗相互博弈的过程，在这两个子网络不断优化对抗的过程中，生成器G的网络模型能够更好的学习到图片信息特征，拟合真实图片的数据分布。通常在生成器G网络中，直接通过多层神经网络完成特征信息提取拟合，但是该网络形式无法充分利用输入特征信息，若是使用Desnet形式则网络结构过于复杂，严重减缓了网路处理效率。本专利技术针对生成对抗网络中图片信息特征利用不完全的问题，提出了一种基于渐进残差的生成对抗网络用于处理图片信息，把生成器G网络的每层神经网络处理得到的特征都以残差形式输入到终层神经网络中，在保证网络特征提取效率的同时，能够充分利用每一层得到的特征信息，使得网络可以充分学习拟合得到的信息；此外，对于整个生成器网络中每层残差特征给予权重超参数，利用网格搜索的方
法确定所有的超参数值，确保网络能够根据特征信息的重要程度不同调节对残差特征的学习，提升最终重构图片的效果。

技术实现思路

[0006]本专利技术关注于如何有效利用图像特征信息，提升生成对抗网络对图像数据信息的拟合，从而提高该网络图像高分辨率效果这一问题，提出了一种基于渐进残差生成对抗网络的图像超分方法。整体网络使用的是GAN网络金字塔(包含有多层子网络，每一层处理不同分辨率的输入图片)。首先是对给定的真实目标图像进行下采样处理，获得该图像的一系列低分辨率图片集，按照分辨率从低到高分别输送到GAN金字塔的不同子网络层(判别器D)中；网络从最低子网络层(图像分辨率最低)开始训练，生成对应的虚假图像，引入损失函数衡量生成的虚假图像和真实图像的差距。根据损失函数结果自动调节网络参数，迭代多次，直至虚假图像逼近真实图像。在最小分辨率的子网络层训练结束后，采用网格搜索的方法调节子网络层生成器中不同神经网络层的超参数，选取生成效果图最好的超参数值做为最终值；然后，将最后生成的虚假图像上采样后加入噪声，输入到上一层训练网络中，与该层的真实图像一起迭代训练，得到更高分辨率的虚假图像直至重构出与未采样前真实图像相同分辨率大小的虚假图像。由于每个子网络层都是拟合相同图像的数据分布，因此在其他的子网络层可以沿用最低层的超参数；最后，按照需要的超分辨率值对图像进一步上采样，叠加噪声输入至原始图像分辨率的GAN网络层中迭代训练，得到所需要的超分辨率图像。整个训练过程主要包含部分：
[0007]第一方面是对目标图像的下采用样，为GAN的每层子网络提供所需的对应分辨率的图片信息；第二方面是设计好可训练的GAN网络金字塔，使其可以从低分辨率开始，不断训练生成逼真程度很高的对应的重构图片，直至训练生成原始分辨率大小的图片；第三方面则是在重构出原来分辨率大小的虚假图像的基础上，在更高子网络层进行迭代训练，生成超分辨率图片。
[0008]一种基于渐进残差生成对抗网络的图像超分方法，步骤如下：
[0009]步骤1：图像预处理，获得图像数据集。
[0010]给定一张RGB的自然真实图像，按照确定的降采样参数α不断的对图像进行降采样处理，获得一个关于该图像的不同分辨率的图像数据集。
[0011]步骤2：搭建残差式生成对抗网络；
[0012]所述的残差式生成对抗网络包含多层子网络，每层子网络的结构相同，由生成器和判别器组成，生成器G由五层神经网络卷积块和三层残差特征块组成。所述的神经网络卷积块由卷积
‑
归一化
‑
激活函数组成，用于完成图像中特征信息的提取和处理，拟合真实数据分布；所述的残差特征块为第一层神经网络卷积块处理得到的特征信息，用于将加权后的特征信息保留输入至后续的神经网络卷积块中，加强对处理过程中特征信息的调用，同时通过加权参数调节中间残差特征信息在后续处理环节中所占权重，使得生成器网络能够按需求合理利用中间特征信息。对于每层子网络的生成器中生成的重构图片，通过损失函数优化提高生成重构图片的逼真程度，使得其输入判别器时，结果接近1。
[0013]判别器由五层神经网络卷积块构成，卷积块结构与生成器的神经网络卷积块相同，用于判断图片的真假(输出值越大，图片真实度越高)。对于判别器，当输入重构图片，判
别器的理想输出为0，若输入给定目标图像下采样到该层子网络的低分辨率真实图像，其理想值为1。
[0014]步骤3：通过步骤1获取的图像数据集对残差式生成对抗网络进行训练。
[0015]对于残差式生成对抗网络的最低层子网络，在损失函数约束下，通过多次迭代训练优化该层子网络，使得生成的重构图片更加逼近该层的低分辨率真实图片。
[0016]然后对更高一层的子网络进行训练。对低一层的重构图片上采样并加入随机噪声，作为当前子网络层的输入，按照低一层的子网络层的训练方法开始训练，直至训练生成良好的更高分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进残差生成对抗网络的图像超分方法，其特征在于，步骤如下：步骤1：图像预处理，获得图像数据集；给定一张RGB的自然真实图像，按照确定的降采样参数α不断的对图像进行降采样处理，获得一个关于该图像的不同分辨率的图像数据集；步骤2：搭建残差式生成对抗网络；所述的残差式生成对抗网络包含多层子网络，每层子网络的结构相同，由生成器和判别器组成，生成器G由五层神经网络卷积块和三层残差特征块组成；所述的神经网络卷积块由卷积
‑
归一化
‑
激活函数组成，用于完成图像中特征信息的提取和处理，拟合真实数据分布；所述的残差特征块为第一层神经网络卷积块处理得到的特征信息，用于将加权后的特征信息保留输入至后续的神经网络卷积块中，加强对处理过程中特征信息的调用，同时通过加权参数调节中间残差特征信息在后续处理环节中所占权重，使得生成器网络能够按需求合理利用中间特征信息；对于每层子网络的生成器中生成的重构图片，通过损失函数优化提高生成重构图片的逼真程度，使得其输入判别器时，结果接近1；判别器由五层神经网络卷积块构成，卷积块结构与生成器的神经网络卷积块相同,用于判断图片的真假；对于判别器，当输入重构图片，判别器的理想输出为0，若输入给定目标图像下采样到该层子网络的低分辨率真实图像，其理想值为1；步骤3：通过步骤1获取的图像数据集对残差式生成对抗网络进行训练；对于残差式生成对抗网络的最低层子网络，在损失函数约束下，通过多次迭代训练优化该层子网络，使得生成的重构图片更加逼近该层的低分辨率真实图片；然后对更高一层的子网络进行训练；对低一层的重构图片上采样并加入随机噪声，作为当前子网络层的输入，按照低一层的子网络层的训练方法开始训练，直至训练生成良好的更高分辨率的重构图片；重复对每一层的子网络进行训练，直至生成和原始真实图片相同分辨率的逼真的重构图片；步骤4：接着对步骤3最终获得的和原始真实图片相同分辨率的重构图片进行超分辨率上采样，此时的子网络层采样结果加入噪声后，接着输入到高层的超分辨率的子网络层网,按照步骤3继续逐层训练直至输入到最高层的子网络,最终通过最高层的子网络得到所需的超分辨率图片。2.根据权利要求1所述的一种基于渐进残差生成对抗网络的图像超分方法，其特征在于，步骤1具体方法如下：对图像进行低分辨率采样预处理；对于给定的自然真实图像I
r
，其维度为M*N*C，其中M，N分别表示图像的宽和高；C表示图像维度；按照降采样参数α不断的对图像进行降采样处理，直至图像大小为原始图像的1/10；α取值公式如下：其中X表示输入图像，Y表示所需要的超分辨率图像的倍数，n表示残差式生成对抗网络的子网络层数；3.根据权利要求1所述的一种基于渐进残差生成对抗网络的图像超分方法，其特征在于，步骤2具体方法如下：
构建残差式生成对抗网络，使用n层子网络构成整体的残差式生成对抗网络，所述的子网络由生成器和判别器组成，生成器G由五层神经网络卷积块和三层残差特征块组成；其中神经网络卷积块由神经网络中常用的卷积
‑
归一化
‑
激活函数组成，用于特征提取，拟合图像数据分布；卷积核尺寸为3*3，激活函数为：残差特征块为第一层神经网络卷积块处理后得到的特征信息，将该特征块加权输入到随后的三层神经网络卷积块中；即在生成器中，当通过第一层神经网络卷积块conv0...

【专利技术属性】
技术研发人员：颜成钢，方运志，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：