一种图像修复方法、装置及设备制造方法及图纸

一种图像修复方法包括：由待修复的图像生成多个破损图像，确定所述破损图像所在位置对应的完好图像，所述破损图像为破损图像与完好图像融合的图像；将所生成的多个破损图像与所述破损图像所在位置对应的完好图像作为训练样本，导入生成对抗网络的生成器，对生成器中的编码器和解码器之间进行特征融合，通过所述生成对抗网络学习所述待修复的图像的特征；根据训练好的生成对抗网络对所述待修复的图像进行修复。根据训练好的生成对抗网络对待修复的图像进行修复，可以解决处理图像时需要使用修复区域模板的问题，并且通过生成对抗网络中的生成器中编码器和解码器之间的特征融合，可以有效的对大块的破损模块进行有效的修复。

【技术实现步骤摘要】
一种图像修复方法、装置及设备
本专利技术属于图像处理领域，尤其涉及一种图像修复方法、装置及设备。
技术介绍
我国历史悠久，古人遗留下来了大量的文人古画。这些古画历经几百上千年，对于了解人类文明的发展具有重要价值。但是由于自然风化或人为的破坏等原因，对它们造成不同程度的损失或者残缺，严重地影响了它们的视觉效果以及鉴赏价值。因此，修复它们是一项非常有价值和有意义的工作。目前，图像修复主要分为两类：基于像素的修复算法、基于图像块的修复算法。其中，基于像素的修复算法是对像素点进行操作，一般用于修复小面积破损模块，主要包括基于偏微分方程(英文全称为Partialdifferentialequation,英文简称为PDE)算法、基于邻域模板及插值的算法等。基于图像块的修复算法是对图像块进行操作，一般用于修复大面积的破损模块，其主要包括：基于样本的修复算法、基于纹理合成的修复算法等。由于目前的图像修复技术需要用户提供待修复区域模板，制作模板的好坏直接影响图像最后的修复效果，并且仅对小范围的损坏有较好的效果，但当破坏区域较大时，纹理图像的破损模块的修复会产生平滑效果，同时会产生一定程度的模糊。
技术实现思路
有鉴于此，本专利技术实施例提供了一种图像修复方法、装置及设备，以解决现有技术中需要用户提供待修复区域模板，且当破坏区域较大时，纹理图像的破损模块的修复会产生平滑效果，同时会产生一定程度的模糊的问题。本专利技术实施例的第一方面提供了一种图像修复方法，所述图像修复方法包括：由待修复的图像生成多个破损图像，确定所述破损图像所在位置对应的完好图像，所述破损图像为破损图像与完好图像融合的图像；将所生成的多个破损图像与所述破损图像所在位置对应的完好图像作为训练样本，导入生成对抗网络的生成器，对生成器中的编码器和解码器之间进行特征融合，通过所述生成对抗网络学习所述待修复的图像的特征；根据训练好的生成对抗网络对所述待修复的图像进行修复。结合第一方面，在第一方面的第一种可能实现方式中，所述由待修复的图像生成多个破损图像的步骤包括：在待修复的图像的完好图像处生成多个破损模块；将所述破损模块中每个像素点的像素值，与所述破损模块的像素点的位置对应的完好图像的像素点的像素值融合，生成多个破损图像。结合第一方面，在第一方面的第二种可能实现方式中，所述通过所述生成对抗网络学习所述待修复的图像的特征的步骤包括：将所述破损图像导入生成器，通过所述生成器生成复原图像，通过判断网络计算得到的所述复原物图像和完好图像的相似度，根据所计算的相似度优化训练所述生成器；将破损图像导入优化后的生成器生成复原图像，将生成的复原图像和完好图像导入所述判断网络，对所述判断网络进行优化训练；重复对所述生成器和所述判断网络进行优化训练到预定次数，或者所述生成器和所述判断网络收敛。结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述将所述破损图像导入生成器，通过所述生成器生成复原图像的步骤包括：将所述破损图像导入编码器，通过第一卷积核和第二卷积和交替进行卷积运算，对所述破损图像进行降维运算；将降维后的图像导入解码器，选择第一卷积核作为反卷积核，结合编码器中相同维度的特征进行反卷积运算，生成所述破损图像对应的复原图像。结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述通过判断网络计算得到的所述复原物图像和完好图像的相似度的步骤包括：选用所述解码器使用的第一卷积核，对所述复原图像和完好图像进行卷积降维运算，对降维后的图像通过激活函数确定所述复原图像和所述完好图像的相似度。结合第一方面的第二种可能实现方式，在第一方面的第五种可能实现方式中，所述根据所计算的相似度优化训练所述生成器的步骤包括：根据所计算的相似度优化训练所述生成器的损失函数：LG(G,D)＝λa×Lg+λb×L1，其中，LG表示生成器的损失函数，且G和D分别表示生成器和判别器，Lg是生成器的损失，且L1是生成器输出的复原图像和对应完好图像像素点插值的L1范数，λa和λb分别是Lg和L1的预定义权重，log表示对数函数，eps是预定义的参数，x表示破损图像，y表示完好图像，pdata(x,y)表示由破损图像和完好图像构成的数据集，G(x)表示生成器由破损图像生成的复原图像，D(G(x))表示判别器对生成器生成的复原图像进行判别的结果，E表示对数据集中每个数据所得结果的平均值；所述将破损图像导入优化后的生成器生成复原图像，将生成的复原图像和完好图像导入所述判断网络，对所述判断网络进行优化训练的步骤包括：根据复原图像优化训练所述判断网络的损失函数：其中，LD表示判别器的损失函数，x表示破损图像，y表示完好图像，G和D分别表示生成器和判别器，pdata(x,y)表示由破损图像和完好图像构成的数据集，G(x)表示生成器由破损图像生成的复原图像，D(G(x))表示判别器对生成器生成的复原图像进行判别的结果，E表示对数据集中每个数据所得结果的平均值。本专利技术实施例的第二方面提供了一种图像修复装置，所述图像修复装置包括：破损图像生成单元，用于由待修复的图像生成多个破损图像，确定所述破损图像所在位置对应的完好图像，所述破损图像为破损图像与完好图像融合的图像；学习单元，用于将所生成的多个破损图像与所述破损图像所在位置对应的完好图像作为训练样本，导入生成对抗网络的生成器，对生成器中的编码器和解码器之间进行特征融合，通过所述生成对抗网络学习所述待修复的图像的特征；修复单元，用于根据训练好的生成对抗网络对所述待修复的图像进行修复。结合第二方面，在第二方面的第一种可能实现方式中，所述破损图像生成单元包括：破损模块生成子单元，用于在待修复的图像的完好图像处生成多个破损模块；叠加子单元，用于将所述破损模块中每个像素点的像素值，与所述破损模块的像素点的位置对应的完好图像的像素点的像素值融合，生成多个破损图像。本专利技术实施例的第三方面提供了一种图像修复设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述图像修复方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述图像修复方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：根据待修改的图像生成多个破损图像，根据破损图像以及破损图像的位置所对应的完好图像导入生成对抗网络进行学习，从而根据训练好的生成对抗网络对待修复的图像进行修复，可以解决处理图像时需要使用修复区域模板的问题，并且通过生成对抗网络中的生成器中编码器和解码器之间的特征融合，可以有效的对大块的破损模块进行有效的修复。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图像修复方法的实现流程示意图；图2是本专利技术实施例提供的一种生成破损图像方法的实现流程示意图；图3是本专利技术实施例提供的一种通过所述本文档来自技高网...

【技术保护点】
一种图像修复方法，其特征在于，所述图像修复方法包括：由待修复的图像生成多个破损图像，确定所述破损图像所在位置对应的完好图像，所述破损图像为破损图像与完好图像融合的图像；将所生成的多个破损图像与所述破损图像所在位置对应的完好图像作为训练样本，导入生成对抗网络的生成器，对生成器中的编码器和解码器之间进行特征融合，通过所述生成对抗网络学习所述待修复的图像的特征；根据训练好的生成对抗网络对所述待修复的图像进行修复。

【技术特征摘要】
1.一种图像修复方法，其特征在于，所述图像修复方法包括：由待修复的图像生成多个破损图像，确定所述破损图像所在位置对应的完好图像，所述破损图像为破损图像与完好图像融合的图像；将所生成的多个破损图像与所述破损图像所在位置对应的完好图像作为训练样本，导入生成对抗网络的生成器，对生成器中的编码器和解码器之间进行特征融合，通过所述生成对抗网络学习所述待修复的图像的特征；根据训练好的生成对抗网络对所述待修复的图像进行修复。2.根据权利要求1所述的图像修复方法，其特征在于，所述由待修复的图像生成多个破损图像的步骤包括：在待修复的图像的完好图像处生成多个破损模块；将所述破损模块中每个像素点的像素值，与所述破损模块的像素点的位置对应的完好图像的像素点的像素值融合，生成多个破损图像。3.根据权利要求1所述的图像修复方法，其特征在于，所述通过所述生成对抗网络学习所述待修复的图像的特征的步骤包括：将所述破损图像导入生成器，通过所述生成器生成复原图像，通过判断网络计算得到的所述复原物图像和完好图像的相似度，根据所计算的相似度优化训练所述生成器；将破损图像导入优化后的生成器生成复原图像，将生成的复原图像和完好图像导入所述判断网络，对所述判断网络进行优化训练；重复对所述生成器和所述判断网络进行优化训练到预定次数，或者所述生成器和所述判断网络收敛。4.根据权利要求3所述的图像修复方法，其特征在于，所述将所述破损图像导入生成器，通过所述生成器生成复原图像的步骤包括：将所述破损图像导入编码器，通过第一卷积核和第二卷积和交替进行卷积运算，对所述破损图像进行降维运算；将降维后的图像导入解码器，选择第一卷积核作为反卷积核，结合编码器中相同维度的特征进行反卷积运算，生成所述破损图像对应的复原图像。5.根据权利要求4所述的图像修复方法，其特征在于，所述通过判断网络计算得到的所述复原物图像和完好图像的相似度的步骤包括：选用所述解码器使用的第一卷积核，对所述复原图像和完好图像进行卷积降维运算；对降维后的图像通过激活函数确定所述复原图像和所述完好图像的相似度。6.根据权利要求3所述图像修复方法，其特征在于，所述根据所计算的相似度优化训练所述生成器的步骤包括：根据所计算的相似度优化训练所述生成器的损失函数：LG(G,D)＝λa×Lg+λb×L1，其中，LG表示生成器的损失函数，且G和D分别表示生成器和判别器，Lg是生成器的损失，且L1是生成器输出的复原图像和对应完好图像像素点差值的L1范数的平均值，λa和λb分别...

【专利技术属性】
技术研发人员：相鹏，王磊，程俊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44