基于门控卷积生成对抗网络的图像修复方法技术

本发明专利技术揭示了一种基于门控卷积生成对抗网络的图像修复方法，包括如下步骤：S1、构建门控卷积生成对抗网络；S2、获取训练图像并对所获取的训练图像进行预处理；S3、将经过预处理后的训练图像输入已建立的门控卷积生成对抗网络中、对门控卷积生成对抗网络进行训练；S4、将待修复图像输入已完成训练的门控卷积生成对抗网络中，边缘修复网络先对待修复图像进行处理、得到完整边缘图像，纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。本发明专利技术通过在边缘修复和纹理修复两阶段的修复网络中引入门控卷积的方式，有效地改善了网络在修复过程中产生不自然孔洞、修复区域与已知区域不一致等问题。

【技术实现步骤摘要】
基于门控卷积生成对抗网络的图像修复方法
本专利技术为一种图像修复方法，具体涉及一种基于门控卷积生成对抗网络的图像修复方法，属于计算机视觉

技术介绍
图像修复技术是图像处理领域研究的一项重要内容，其目的是根据图像或视频中的已知部分来重建其丢失部分(即掩码区域)。现有的图像修复方法主要包括基于序列的方法、基于卷积神经网络(ConvolutionalNeuralNetwork，CNN)的方法和基于生成对抗网络(GenerativeAdversarialNetwork，GAN)的方法。其中，基于序列的方法又可以具体分为基于扩散和基于补丁两种方式。上述这些方法在针对小区域遮挡和裂缝修复任务时非常有效，但是当图像包含很多纹理或图像掩码区域比例超过10％时，方法处理效率会显著下降、修复效果较差。当前，随着人工智能技术的兴起，基于深度学习的图像修复技术凭借其优异的性能逐渐成为业内的主流研究方向，其中具有代表性的方法包括基于卷积神经网络的方法和基于生成对抗网络的方法两种。方法的发展过程简述如下。Pathak等人在传统卷积神经网络的基础上设计并首次应用了生成对抗网络，提出了编解码器网络；它对带有固定且形状规则的掩码的图像进行修复是有效的，但由于该网络仅使用普通卷积，在修复带有自由形状掩码的图像时，会导致视觉的伪影。Liu等人提出使用部分卷积(PartialConv)对不规则孔洞进行图像修复，让卷积只依赖于输入图像中的有效像素，取得了较好的效果；但随着层的加深，无效像素(即掩码中的黑色部分)均会逐渐变成有效像素，在较深的层内无法学习到掩码与图像之间的关系，导致修复后的图像中可以看到明显的掩码残留边界。Nazeri等人提出边缘修复加纹理修复的两阶段网络，先将缺损区域中的边缘与已知区域的颜色和纹理信息结合起来进行边缘恢复，再填充缺损的内容，得到了具有丰富纹理细节的修复结果；但由于网络中空洞卷积的各个卷积层的各个通道之间没有相关性，同样很难获得掩码与图像之间的关系，导致有时不能保证修复区域和已知区域的一致性。Yu等人发现门控卷积使得网络可以针对每个通道学习一种动态特征选择机制，在不同层选择不同通道，并在各通道之间建立联系，从而获得掩码与图像之间的关系；但门控卷积需要内嵌在多层的生成对抗网络中才能发挥作用。综上所述，如何基于上述研究现状，提出一种全新的、基于门控卷积生成对抗网络的图像修复方法，以克服现有技术中所存在的不足，也就成为了本领域内技术人员所共同关注的问题。
技术实现思路
鉴于现有技术存在上述缺陷，本专利技术的目的是提出一种基于门控卷积生成对抗网络的图像修复方法，具体如下。一种基于门控卷积生成对抗网络的图像修复方法，包括如下步骤：S1、构建门控卷积生成对抗网络，所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成；S2、获取训练图像并对所获取的训练图像进行预处理；S3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练；S4、将待修复图像输入已完成训练的所述门控卷积生成对抗网络中，所述边缘修复网络先对待修复图像进行处理、得到完整边缘图像，所述纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。优选地，所述边缘修复网络及所述纹理修复网络内均包含有生成器及判别器。优选地，所述边缘修复网络及所述纹理修复网络二者内的所述生成器均采用下采样+残差块+上采样的结构。优选地，所述边缘修复网络及所述纹理修复网络二者内的所述判别器均采用谱归一化马尔科夫判别器。优选地，所述门控卷积生成对抗网络的目标函数由L1重建损失函数及SN-PatchGAN损失函数组成。优选地，所述边缘修复网络及所述纹理修复网络二者内的损失函数相同，均由SN-PatchGAN损失函数及生成器损失函数组成。优选地，S2中所述对所获取的训练图像进行预处理，包括如下步骤：在所获取的训练图像上叠加任意大小、形状的掩码。优选地，S3包括如下步骤：S31、边缘检测，利用整体嵌套边缘检测算法对经过预处理后的训练图像进行边缘检测，获知图像边缘的破损信息、得到破损边缘图像；S32、边缘修复，将所获得的破损边缘图像、掩码以及训练图像一起输入所述边缘修复网络中，所述边缘修复网络内的所述生成器进行图像边缘生成，当所述边缘修复网络内的所述判别器检测所生成的边缘为真时、输出完整边缘图像；S33、纹理修复，将完整边缘图像及训练图像输入所述纹理修复网络中，所述纹理修复网络内的所述生成器进行图像纹理填充，当所述纹理修复网络内的所述判别器检测所填充的纹理为真时、输出完整的修复图像。优选地，在S3执行过程中，所述边缘修复网络及所述纹理修复网络二者内所述生成器的残差块均使用门控卷积。优选地，在S3执行过程中，利用Adam优化算法对所述门控卷积生成对抗网络内的参数进行训练。与现有技术相比，本专利技术的优点主要体现在以下几个方面：本专利技术所述的一种基于门控卷积生成对抗网络的图像修复方法，通过在边缘修复和纹理修复两阶段的修复网络中引入门控卷积的方式，提高了对输入图像特征的利用率，获得了掩码与图像的深层联系，有效地改善了网络在修复过程中产生不自然孔洞、修复区域与已知区域不一致等问题，提升了图像的修复质量。同时，本专利技术的方法还采用了谱归一化马尔科夫判别器以及铰链损失函数，最大限度地丰富了生成内容的细节，提升了修复图像在评价指标方面的表现。此外，本专利技术的方法步骤简单、可重复性强，具有一定的普适性特征，使用者还可以根据自身实际的应用需要对修复方法进行调整，进而将本专利技术的方法应用于各种不同图像的修复操作中，方法整体的应用前景广阔并具有极高的使用价值。以下便结合附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握。附图说明图1为本专利技术实施例中所建立的门控卷积生成对抗网络的网络结构示意图。具体实施方式本专利技术揭示了一种基于门控卷积生成对抗网络的图像修复方法，本专利技术的具体方案如下。一种基于门控卷积生成对抗网络的图像修复方法，包括如下步骤：S1、构建门控卷积生成对抗网络。所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成，所述边缘修复网络及所述纹理修复网络内均包含有生成器及判别器。其中，所述边缘修复网络及所述纹理修复网络二者均采用下采样+残差块+上采样的结构构造生成器；这样的方式加强了特征的复用，而且能够环节梯度消失的问题，减少网络参数量。所述边缘修复网络及所述纹理修复网络二者内的所述判别器均采用谱归一化马尔科夫判别器来判断生成器输出的真假；这样的方式可以有效改善训练过程中的不稳定问题。所述门控卷积生成对抗网络的目标函数由L1重建损失函数及SN-PatchGAN损失函数组成；所述边缘修复网络及所述纹理修复网络二者内的损失函数相同，均由SN-PatchGAN损失函数及本文档来自技高网...

【技术保护点】
1.一种基于门控卷积生成对抗网络的图像修复方法，其特征在于，包括如下步骤：/nS1、构建门控卷积生成对抗网络，所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成；/nS2、获取训练图像并对所获取的训练图像进行预处理；/nS3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练；/nS4、将待修复图像输入已完成训练的所述门控卷积生成对抗网络中，所述边缘修复网络先对待修复图像进行处理、得到完整边缘图像，所述纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。/n

【技术特征摘要】
1.一种基于门控卷积生成对抗网络的图像修复方法，其特征在于，包括如下步骤：
S1、构建门控卷积生成对抗网络，所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成；
S2、获取训练图像并对所获取的训练图像进行预处理；
S3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练；
S4、将待修复图像输入已完成训练的所述门控卷积生成对抗网络中，所述边缘修复网络先对待修复图像进行处理、得到完整边缘图像，所述纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。


2.根据权利要求1所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络内均包含有生成器及判别器。


3.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络二者内的所述生成器均采用下采样+残差块+上采样的结构。


4.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络二者内的所述判别器均采用谱归一化马尔科夫判别器。


5.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述门控卷积生成对抗网络的目标函数由L1重建损失函数及SN-PatchGAN损失函数组成。


6.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述...

【专利技术属性】
技术研发人员：霍智勇，高杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32