一种基于基线的图像超分辨率重建方法及系统技术方案

本发明专利技术公开了一种基于基线的图像超分辨率重建方法及系统，包括：构建基于基线的卷积神经网络模型；构建基于条件生成对抗网络的图像超分辨率重建模型；将待重建的低分辨图像输入基于基线的卷积神经网络模型，所述神经网络模型的输出作为基于条件生成对抗网络的图像超分辨率重建模型的输入，最终得到超分辨率重建图像。本发明专利技术基于基线的卷积神经网络模型，堆叠了两个剩余学习网络，用来学习传统图像超分辨率方法无法恢复的高频剩余分量，通过学习更多的残差信息，构建基于CNN的图像超分辨率模型来提高所获得的高分辨率图像的质量。

【技术实现步骤摘要】
一种基于基线的图像超分辨率重建方法及系统
本专利技术涉及计算机视觉
，尤其涉及一种基于基线的图像超分辨率重建方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。图像超分辨率重建是计算机视觉的重要分支，可以将低分辨率的图像通过卷积神经网络模型特征提取、映射、重建等过程获得高分辨率图像，单幅图像超分辨率是计算机视觉的重要分支，旨在通过卷积神经网络将一张低分辨率图片生成对应的高分辨率图片，在行人检测、车辆检测、人脸识别等场景中有着广泛的应用。目前，超分辨率亟待解决的关键问题是高频纹理细节的恢复，从一幅低清图片推断出高清图片的关键，在于如何获取边缘纹理等高频信息。但低清图片包含的大多是低频信息，高频信息难以恢复，之前用GAN网络恢复出的大多数是高频噪声而不是高频信息。区别于传统基于多图像融合的超分辨率方法，近年来在许多领域已经获得成功的深度学习技术被引入到基于单个图像的超分辨率重建问题中，取得了优于传统方法的效果。此类方法一般采用低分辨率/高分辨率图像样本对作为训练数据，构建并使用深度神经网络从中学习低分辨率图像到高分辨率图像的映射，进而利用训练得到的网络对输入的低分辨率图像进行超分辨率重建处理，获得高分辨率的输出结果图像。在用于图像超分辨率重建的深度神经网络模型中，基于条件生成对抗网络是最近新兴的一种深度学习网络结构，其由生成器和判别器两部分网络模块组成。其中，生成器网络从训练样本中学习生成以假乱真的目标图像样本，而判别器则学习区分生成器生成的图像样本和真实的图像样本，两者互相对抗博弈，以此学习到真实图像样本的潜在分布。在图像超分辨率重建任务中，基于条件生成对抗网络被用来基于低分辨率图像生成与真实高分辨率图像高度相似的超分辨率重建结果图像。但是，专利技术人发现，基于条件生成对抗网络的图像超分辨率重建方法，在较高放大的倍数下会出现图像模糊的问题，同时也会出现原始图像没有的细节。
技术实现思路
本专利技术目的是为了解决上述问题，提出了一种基于基线的图像超分辨率重建方法及系统，将融合残差网络学习的基于基线的超分辨率重建方法与基于条件生成对抗网络的图像超分辨率重建方法结合，以获得令人满意的超分辨率重建结果。在一些实施方式中，采用如下技术方案：一种基于基线的图像超分辨率重建方法，包括：构建基于基线的卷积神经网络模型；构建基于条件生成对抗网络的图像超分辨率重建模型；将待重建的低分辨图像输入基于基线的卷积神经网络模型，所述神经网络模型的输出作为基于条件生成对抗网络的图像超分辨率重建模型的输入，最终得到超分辨率重建图像。基于条件生成对抗网络的图像超分辨率重建是一个更加符合主观视觉效果的图像超分辨技术，但是在较高放大倍数下会产生模糊的现象，其基于条件生成对抗网络本身也不具有稳定性。基于基线的图像超分辨率重建技术是由两个连续的残差网络组成，由四个SRCNN卷积神经网络模型来构建的，通过学习剩余信息的方法可以尽可能多的恢复图形放大后的细节信息。因此，通过将上述两种重建方法结合后，可以在提高生成图像质量的同时，又能更好的满足视觉效果的需求。在另一些实施方式中，采用如下技术方案：一种基于基线的图像超分辨率重建系统，包括：用于构建基于基线的卷积神经网络模型的装置；用于构建基于条件生成对抗网络的图像超分辨率重建模型的装置；用于将待重建的低分辨图像输入基于基线的卷积神经网络模型，所述神经网络模型的输出作为基于条件生成对抗网络的图像超分辨率重建模型的输入，最终得到超分辨率重建图像的装置。在另一些实施方式中，采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述基于基线的图像超分辨率重建方法。在另一些实施方式中，采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述基于基线的图像超分辨率重建方法。与现有技术相比，本专利技术的有益效果是：(1)本专利技术基于基线的卷积神经网络模型，堆叠了两个剩余学习网络，用来学习传统图像超分辨率方法无法恢复的高频剩余分量，通过学习更多的残差信息，构建基于CNN的图像超分辨率模型来提高所获得的高分辨率图像的质量。(2)本专利技术利用基于条件生成对抗网络模型作为补偿，目的是进一步在提高图片生成质量的同时提高视觉效果。(3)基于条件生成对抗网络相比于一般超分辨率方法所使用的损失函数不同，本专利技术的损失函数更加关注图像中的细节部分，有助于模型在训练过程中更集中于文本部分的学习和优化，从而生成更加清晰的图像。(4)本专利技术在超分辨率重建模型的生成器网络中，去除了一般残差块中的BN层，以保留图像中细节特征，避免了BN层对图像原始细节特征的破坏，使网络模型更加适合超分辨率重建任务，有助于提高图像的超分辨率重建质量。(5)本专利技术在超分辨率重建模型的生成器网络中，引入了Inception模块，能够有效扩展网络的宽度，还可以进行多个尺度学习和提取特征，使得生成的图像更加真实。(6)本专利技术在超分辨率重建模型的判别器网络中，加入了Dropout层，有助于减少模型的过拟合情况，增强了模型训练的稳定性，使模型更加适合图像的超分辨率重建目标。附图说明图1(a)-(b)分别为本专利技术实施例中基于基线的图像超分辨率重建方法流程图以及生成器模型示意图；图2为本专利技术实施例中SRCNN模型示意图；图3为本专利技术实施例中基线框图模型示意图；图4为本专利技术实施例算法与其他算法的仿真结果图对比；图5为本专利技术实施例算法与其他算法的仿真结果图对比。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一在一个或多个实施方式中，公开了一种基于基线的图像超分辨率重建方法，参照图1(a)-(b)，其中，图1(b)为生成器模型；包括如下步骤：步骤1：选取训练集；选取91幅图像组成的数据集作为训练样本，将该数据集分为24800张子图像，每幅子图像大小为33X33，多次训练以证明本专利技术实施例所提出基于基线的超分辨率重建模型的可用性。步骤2：构建基于基线的超分辨率重建模型。参照图2-图3，本文档来自技高网...

【技术保护点】
1.一种基于基线的图像超分辨率重建方法，其特征在于，包括：/n构建基于基线的卷积神经网络模型；/n构建基于条件生成对抗网络的图像超分辨率重建模型；/n将待重建的低分辨图像输入基于基线的卷积神经网络模型，所述神经网络模型的输出作为基于条件生成对抗网络的图像超分辨率重建模型的输入，最终得到超分辨率重建图像。/n

【技术特征摘要】
1.一种基于基线的图像超分辨率重建方法，其特征在于，包括：
构建基于基线的卷积神经网络模型；
构建基于条件生成对抗网络的图像超分辨率重建模型；
将待重建的低分辨图像输入基于基线的卷积神经网络模型，所述神经网络模型的输出作为基于条件生成对抗网络的图像超分辨率重建模型的输入，最终得到超分辨率重建图像。


2.如权利要求1所述的一种基于基线的图像超分辨率重建方法，其特征在于，构建基于基线的卷积神经网络模型，具体包括：
以SRCNN网络为基线搭建两个连续残差网络模型；
第一级网络的输出是第二级网络的输入，第二级网络学习第一级网络中未恢复的剩余分量；每一级网络均包括：至少两个串联连接的SRCNN网络，上一级SRCNN网络的输出结果作为下一级SRCNN网络的输入；
将第一级网络、第二级网络以及第一级SRCNN网络的输出结果加权，得到最终的输出结果。


3.如权利要求1所述的一种基于基线的图像超分辨率重建方法，其特征在于，构建基于条件生成对抗网络的图像超分辨率重建模型，具体为：
构建生成器网络和判别器网路；
选取训练样本中的低分辨率图像作为生成器网络的输入，对应的高分辨率图像作为生成器网络的预期输出，使用反向传播算法训练生成器网络；
生成器网络的输出结果作为判别器网路的输入，所述判别器网络判别生成器网络的输出是原始输入图像还是生成器生成的伪造图像。


4.如权利要求3所述的一种基于基线的图像超分辨率重建方法，其特征在于，所述基于条件生成对抗网络的总损失函数为：
L＝LcGAN(G,D)+λLcontent(G)
其中，G代表生成器，D代表判别器，LcGAN(G,D)是约束生成器和判别器之间互相对抗的损失函数，Lcontent(G)是用于约束生成器G进行超分辨率重建后所得结果图像与训练高分辨率图像之间相似性的损失函数，λ为约束两个损失函数比例的超...

【专利技术属性】
技术研发人员：乔建苹，李慧娜，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37