基于对抗生成神经网络的图像修复方法和系统技术方案

本发明专利技术提供一种基于对抗生成神经网络的图像修复方法和系统，包括首先构建一个自编码器卷积神经网络(包括编码器和编码判别器)，一个解码器(生成器)卷积神经网络，一个判别器卷积神经网络，一个全局判别器，以及一个局部判别器；然后对这五个网络构造不同损失函数，并利用分步训练的方法对整个网络进行图像修复训练；最后，当网络训练完成以后，把缺损图像放入网络中进行修复，解码器(生成器)生成的结果图就为最终修复结果图。本发明专利技术的优点为：保持图像潜在约束的同时对图像进行稀疏化；实现了端到端的图像修复网络；消除了修复网络对于图像缺失位置掩膜信息的依赖；提升了在实际应用中的鲁棒性。

Image Restoration Method and System Based on Countermeasure Generating Neural Network

The invention provides an image restoration method and system based on antagonistic generating neural network, which includes constructing a self-encoder convolution neural network (including encoder and coder discriminator), a decoder (generator) convolution neural network, a discriminator convolution neural network, a global discriminator and a local discriminator, and then constructing different structures for the five networks. Loss function and step-by-step training method are used to train the whole network for image restoration. Finally, when the network training is completed, the defective image is put into the network for restoration, and the result graph generated by decoder (generator) is the final repair result graph. The advantages of the present invention are: keeping the potential constraints of the image while sparsifying the image; realizing the end-to-end image restoration network; eliminating the dependence of the restoration network on the missing position mask information of the image; and improving the robustness in practical application.

【技术实现步骤摘要】
基于对抗生成神经网络的图像修复方法和系统
本专利技术属于计算机及信息服务技术，特别涉及对缺失的数字图像进行合理修复的方法和系统。
技术介绍
随着信息时代的发展以及数字化设备的普及，数字图像作为图像数据记录和传递的载体，具有信息存储高效、表达直观以及易编辑等特点，为图像拍摄、存储、处理和通信中带来了前所未有的变革。数字图像已经广泛的存在于人们生活中，并且以惊人的速度增长。图像在拍摄、存储、处理和传输中往往会产生损坏或遮挡使得图像中存储的信息失去完整性，而图像信息中的像素点往往相互之前有很强的相关性，由此我们可以根据未被损坏或未被遮挡的图像信息尽可能的还原丢失的图像信息，这就是图像的修补技术。作为图像处理技术的一种，图像修复技术旨在根据图像上下文对图像丢失或遮挡部分进行修补，修复任务要求修复后的图像整体尽可能自然并与原图尽可能地接近。通过图像修复技术，我们可以去除图像中的一些噪声、划痕、缺失以及遮挡，提高图像质量；并进一步通过图像先验信息，进一步挖掘图像隐含信息，为其他图像处理及计算机视觉方法提供支持。图像修复技术的研究由来已久，近年来，作为数字图像处理重要的一个分支，图像修复技术的研究本文档来自技高网...

【技术保护点】
1.一种基于对抗生成神经网络的图像修复方法，其特征在于，包括以下步骤：步骤1，设计一个自编码器卷积神经网络，包括用于对输入图像进行深度神经网络编码的编码器，以及用于对编码结果进行判别的编码判别器，编码器和编码判别器构成了一个局部的对抗生成神经网络；步骤2，设计一个解码器(生成器)卷积神经网络，用于对自编码器编码后的编码进行解码；步骤3，设计一个判别器卷积神经网络，包括一个对生成图像的整体质量进行全局判别的全局判别器，以及一个对生成图像部分内容质量进行局部判别的局部判别器，并通过全连接结构将两个判别器输出结果进行融合作为最终的结果；步骤4，对编码器、解码器(生成器)、全局判别器和局部判别器，以及...

【技术特征摘要】
1.一种基于对抗生成神经网络的图像修复方法，其特征在于，包括以下步骤：步骤1，设计一个自编码器卷积神经网络，包括用于对输入图像进行深度神经网络编码的编码器，以及用于对编码结果进行判别的编码判别器，编码器和编码判别器构成了一个局部的对抗生成神经网络；步骤2，设计一个解码器(生成器)卷积神经网络，用于对自编码器编码后的编码进行解码；步骤3，设计一个判别器卷积神经网络，包括一个对生成图像的整体质量进行全局判别的全局判别器，以及一个对生成图像部分内容质量进行局部判别的局部判别器，并通过全连接结构将两个判别器输出结果进行融合作为最终的结果；步骤4，对编码器、解码器(生成器)、全局判别器和局部判别器，以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数，并利用分步训练的方法对整个网络进行图像修复训练；步骤5，当网络训练完成以后，把缺损图像放入网络中进行修复，解码器(生成器)生成的结果图就为最终修复结果图。2.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤1中所述编码器的网络结构包括依次连接的6个卷积层和5个扩展卷积层；编码判别器的网络结构包括依次连接的3个卷积层和1个全连接层。3.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤2中所述解码器(生成器)的网络结构包括依次连接的2个卷积层、1个反卷积层、1个卷积层，1个反卷积层和2个卷积层。4.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤3中所述全局判别器的网络结构包括依次连接的6个卷积层和1个全连接层；所述局部判别器的网络结构包括6个卷积层和1个全连接层；全连接结构包括拼接层和全连接层。5.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤4中构建的五个网络的损失函数如下，首先定义U、V分别为总长度为n、m的矩阵，均方误差表示为：根据对抗神经网络的基本理论，对抗生成神经网络中判别器的损失函数表示为：对抗生成神经网络中生成器的损失函数表示为：对于编码器来说其损失函数，主要包括自编码器结构的重建损失，编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失：Lencoder＝MSE(z，z′)+MSE(X，Y)+G(X′)其中，X表示真实图像，X′表示输入的带有缺失的待修复图像；z表示X通过编码器编码后的结果，z′表示编码器对X′编码后的结果，Y表示输出后的修复图像；相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数：Lcode-discriminator＝D(X′)对于解码器来说，其包含自编码器的重建损失以及对抗生成神经网络的生成器损失：Lgenerator＝MSE(X，Y)+G(z′)对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数，定义x为真实图像X中对应缺失位置的部分，y为修复图像Y中对应缺失位置的部分：Lglobal-discriminator＝D(X)+D(Y)Llocal-discriminator＝D(x)+D(y)。6.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤4中利用分步训练的方法对整个网络进...

【专利技术属性】
技术研发人员：李治江，张旭，丛林，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42