基于循环深度卷积生成对抗网络结构的图像修复系统技术方案

本发明专利技术提供了一种基于循环深度卷积生成对抗网络结构的图像修复系统，包括如下模块：第一生成器，用于对输入的图像样本进行修复生成修复图像；第一判别器，用于将修复图像与预设置目标图像进行对比确定修复图像与预设置目标图像的第一相似度，进而判断第一相似度是否达到的预设置的第一相似度阈值；第二生成器，与第一生成器的输出端相连，用于对修复图像进行还原生成还原图像；第二判别器，用于将还原图像与图像样本进行对比确定还原图像与图像样本的第二相似度，进而判断第二相似度是否达到的预设置的第二相似度阈值。本发明专利技术结合了生成对抗网络在图像重建修复方面的优势和卷积神经网络在图像特征提取方面的优点，在图像修复方面取得更好的效果。像修复方面取得更好的效果。像修复方面取得更好的效果。

【技术实现步骤摘要】
基于循环深度卷积生成对抗网络结构的图像修复系统


[0001]本专利技术涉及图像处理领域，具体地，涉及一种基于循环深度卷积生成对抗网络结构的图像修复系统。

技术介绍

[0002]随着深度学习技术的不断革新和发展，使得深度学习在人工智能领域得到广泛应用，催生了一大批新的网络结构和算法，生成对抗网络就是其中之一。
[0003]生成对抗网络简称GAN，在图像重建和修复方面可以发挥很大作用。考虑到在做图像研究时，为了提高研究结果的准确率，一般实验前都会结合研究对图像样本进行适当的预处理，比如图像去模糊，图像修复局部遮挡，图像去雾去雨等，虽然目前处理这些情况的算法有很多，但效果不一定很好。

技术实现思路

[0004]针对现有技术中的缺陷并结合生成对抗网络在图像重建和修复方面具有的优势，本专利技术的目的是提供一种基于CDCGAN网络结构的图像修复方法。
[0005]根据本专利技术提供的基于循环深度卷积生成对抗网络结构的图像修复系统，包括如下模块：
[0006]第一生成器，用于对输入的图像样本进行修复生成修复图像；
[0007]第一判别器，用于将所述修复图像与预设置目标图像进行对比确定修复图像与预设置目标图像的第一相似度，进而判断所述第一相似度是否达到的预设置的第一相似度阈值；
[0008]第二生成器，与第一生成器的输出端相连，用于对所述修复图像进行还原生成还原图像；
[0009]第二判别器，用于将所述还原图像与所述图像样本进行对比确定还原图像与图像样本的第二相似度，进而判断所述第二相似度是否达到的预设置的第二相似度阈值。
[0010]优选地，当第一判别器判断所述第一相似度达到的预设置的第一相似度阈值时，完成对所述图像样本的修复；
[0011]当第一判别器判断所述第一相似度没达到的预设置的第一相似度阈值时，再次将图像样本输入所述第一生成器。
[0012]优选地，当第二判别器判断所述第二相似度达到的预设置的第二相似度阈值时，对所述第二生成器的网络参数进行保存；
[0013]当第二判别器判断所述第二相似度没达到的预设置的第二相似度阈值时，再次将图像样本输入所述第一生成器。
[0014]优选地，所述第一生成器、所述第一判别器、所述第二生成器以及所述第二判别器形成循环生成网络结构；
[0015]所述循环生成网络结构，用于不断优化更新网络参数，能够使得修复图像具有图
像样本更多的图像特征信息。
[0016]优选地，所述第一生成器和所述第二生成器采用resnet50网络作为主干网络对输入图像进行特征提取。
[0017]优选地，所述第一判别器和所述第二判别器采用全卷积神经网络。
[0018]优选地，所述第一生成器和所述第二生成器采用了卷积网络与反卷积网络配合使用的方式；
[0019]所述卷积网络，用于对图像样本进行特征提取；所述反卷积网络，用于根据卷积网络提取出的特征向量对图像进行重建修复。
[0020]优选地，所述第一生成器和所述第二生成器设置有跳跃连接结构，所述跳跃连接结构用于对生成器下采样和所对应的上采样所得特征图进行通道数拼接，实现图像的多层级特征有效融合。
[0021]优选地，所述生成器和所述判别器的网络结构通过如下方法设计：
[0022]S1：将卷积神经网络结构中池化层通过卷积层进行替代，对于判别器，使用步长卷积来代替池化层，对于生成器，使用分数步长卷积代替池化，其中，步长卷积在判别器中用于空间下采样；
[0023]S2：去除全连接层；
[0024]S3：设置批归一化；
[0025]S4：设置激活函数，所述生成器和判别器使用不同的激活函数，在生成器中设置有RELU函数，所述生成器的输出层设置有tanh函数，所述判别器中所有层使用LEAKRELU函数。
[0026]优选地，所述生成器和所述判别器的损失函数为：
[0027][0028]其中，z表示待处理图像，x表示目标图像，G1(z
i
)表示第一生成器生成的修复图像，G2(y
i
)表示第二生成器生成的还原图像，m为图像数量，i为图像序号。
[0029]与现有技术相比，本专利技术具有如下的有益效果：
[0030]本专利技术结合了生成对抗网络在图像重建修复方面的强大优势和卷积神经网络在图像特征提取方面的优点，使得本专利技术能够在图像修复方面取得更好的效果，并且为了使卷积神经网络能够较好地适应于生成对抗网络，对网络模型进行了修改，使得模型更加稳定，更容易学习。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0032]图1为本专利技术实施例中基于循环深度卷积生成对抗网络结构的图像修复系统的模型框架图；
[0033]图2为本专利技术实施例中于循环深度卷积生成对抗网络结构的图像修复系统的工作流程图；
[0034]图3为本专利技术实施例中生成器的网络结构图；
[0035]图4为本专利技术实施例中判别器的网络结构图。
具体实施方式
[0036]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。
[0037]本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0038]下面以具体地实施例对本专利技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0039]下面以具体地实施例对本专利技术的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本专利技术的实施例进行描述。
[0040]图1为本专利技术实施例中基于循环深度卷积生成对抗网络结构的图像修复系统的模型框架图，如图1所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环深度卷积生成对抗网络结构的图像修复系统，其特征在于，包括如下模块：第一生成器，用于对输入的图像样本进行修复生成修复图像；第一判别器，用于将所述修复图像与预设置目标图像进行对比确定修复图像与预设置目标图像的第一相似度，进而判断所述第一相似度是否达到的预设置的第一相似度阈值；第二生成器，与第一生成器的输出端相连，用于对所述修复图像进行还原生成还原图像；第二判别器，用于将所述还原图像与所述图像样本进行对比确定还原图像与图像样本的第二相似度，进而判断所述第二相似度是否达到的预设置的第二相似度阈值。2.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统，其特征在于，当第一判别器判断所述第一相似度达到的预设置的第一相似度阈值时，完成对所述图像样本的修复；当第一判别器判断所述第一相似度没达到的预设置的第一相似度阈值时，再次将图像样本输入所述第一生成器。3.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统，其特征在于，当第二判别器判断所述第二相似度达到的预设置的第二相似度阈值时，对所述第二生成器的网络参数进行保存；当第二判别器判断所述第二相似度没达到的预设置的第二相似度阈值时，再次将图像样本输入所述第一生成器。4.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统，其特征在于，所述第一生成器、所述第一判别器、所述第二生成器以及所述第二判别器形成循环生成网络结构；所述循环生成网络结构，用于不断优化更新网络参数，能够使得修复图像具有图像样本更多的图像特征信息。5.根据权利要求1所述的基于循环深度卷积生成对抗网络结构的图像修复系统，其特征在于，所述第一生成器和所述第二生成器采用resnet50网络作为主干网络对输入图像进行特征提取。6....

【专利技术属性】
技术研发人员：沈希忠，周宣，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：