一种基于并行自编码器的图像补全方法技术

本发明专利技术公开了一种基于并行自编码器的图像补全方法，包括步骤：1)根据已有破损图像数据，寻找类似风格的完整图像数据来帮助模型进行训练，类似风格的完整图像是指和破损图像接近的数据，并按照设定的比例分成训练集和测试集；2)对步骤1)的训练集和测试集分别进行复制后，进行人为的损坏，利用损坏的训练集图片和对应的完好图片来进行模型训练；3)对步骤2)中得到模型，对测试集的损坏图片进行修复，并与对应的真实的完好的图片来进行评估，同时针对缺陷进行微调模型。本发明专利技术方法使得模型能够在一定程度上克服图像补全部位像素不一致，生成图像细节纹理差等问题，实现从无到有的像素补全。

【技术实现步骤摘要】
一种基于并行自编码器的图像补全方法
本专利技术属于计算机视觉中图像修复领域，具体涉及一种基于并行自编码器的图像补全方法。
技术介绍
图像补全的目标是填充图像中缺失或损坏的像素，是目前计算机视觉领域中一项具有挑战的任务。图像补全的应用十分广泛，除了最基本应用在补全修复受损的照片外。还可以应用于移除图像中不期望存在的物体或者是补全被遮挡的部分。传统的方法大都通过将已知区域的图像信息传播扩散到缺失区域来进行修复。但这样的方法在面临修复精细纹理图案缺失或破损区域和已知区域关联不大等挑战时不能得到较满意的结果。随着深度卷积神经网络的发展，生成对抗网络的提出，使得图像生成在“从无到有”与高质量生成为了可能。实现上述所说的“无中生有”以及更好的补全质量是本领域技术人员期望克服的。
技术实现思路
本专利技术的目的在于提供了一种基于并行自编码器的图像补全方法，该方法一是提出了在训练的过程中不单单使用破损图，还使用破损图的补图作为输入，来提升模型对整个图像的特征的提取能力。二是在得到的低维特征上添加噪音，以期待提高模型的鲁棒性，并利用变分自编码器(VariationalAutoencoder，VAE)框架来处理噪音，提高特征在特征空间上的光滑性。基于上述改进措施，使得模型能够在一定程度上克服图像补全部位像素不一致，生成图像细节纹理差等问题，实现从无到有的像素补全。本专利技术采用如下技术方案来实现的：一种基于并行自编码器的图像补全方法，包括以下步骤：1)根据已有破损图像数据，寻找类似风格的完整图像数据来帮助模型进行训练，类似风格的完整图像是指和破损图像接近的数据，并按照设定的比例分成训练集和测试集；2)对步骤1)的训练集和测试集分别进行复制后，进行人为的损坏，利用损坏的训练集图片和对应的完好图片来进行模型训练；3)对步骤2)中得到模型，对测试集的损坏图片进行修复，并与对应的真实的完好的图片来进行评估，同时针对缺陷进行微调模型。本专利技术进一步的改进在于，步骤1)的具体实现方法如下：首先针对目标需要修复的图像，收集风格类似的完好的图像数据来训练模型，其中风格类似指的是破损图像和原始图像有着相似的内容和色彩。本专利技术进一步的改进在于，步骤2)的具体实现方法如下：首先，针对得到的训练集和测试集进行复制后，对复制后的数据进行人为的破损，从而为后续模型训练做准备；人为的破损根据实际图片破损的情况进行类似的破坏处理，或者根据设定的破坏比例即破损像素区域/整个图像大小，进行随机的破坏；然后将训练集中补图和破损图输入模型自编码器编码器，得到各自的低维特征；为提升模型的鲁棒性，对破损的图和补图各自得到低维特征添加相同维度的不同的高斯白噪声；再将得到的各自的低维特征输入模型自编码器解码器，得到初步预测的修复图；最后将初步的修复图放入一个对抗生成网络框架当中，把上述的一个自编码器当作一个生成器，而额外引入判别器来对初步修复的结果进行一个对抗优化，期望得到更好的修复结果；使用两个判别器，分别对破损图的修复结果和补图的生成的结果分别进行判断；该过程中使用的损失函数分为两部分，其中，对于由并行的编码器构成的生成器来说：其中为对生成对抗损失函数，为平均绝对误差，为Kullback-Leibler散度，α1、α2、β1、β2、γ1、γ2为设定的超参数；对于判别器网络来说：其中为对判别对抗损失函数，∈1，∈2为超参数。本专利技术至少具有如下有益的技术效果：本专利技术提供的一种基于并行自编码器的图像补全方法，该方法在模型的训练过程中，同时使用破损图和破损图缺失的像素所构成图(后称作补图)进行训练。通过一个并行的，由CNN(卷积神经网络)所构成的编码器分别对破损图进行编码，得到对应的低维特征。然后再通过对低维特征添加高斯白噪音，来提高模型的鲁棒性。接着再通过一个由CNN构成的解码器来对低维特征进行初步的修补。最后，将得到的初步的图像修补结果放入一个生成对抗网络的判别器中，通过对抗损失函数提高性能。本专利技术的补全图像方法的一个重点在于，在训练的过程中同时使用了破损图和和其补图，并且在优化的过程使用优化函数使得补图和破损图的特征分布尽可能的接近。期待模型可以对图像的任一部分像素都能提取能够涵盖整个图像的特征。相较于普通地单单使用破损图进行训练的修复模型，对不规则的像素破损修复具有更好的模型鲁棒性。本专利技术的优点在于：1、提出一种并行的神经网络图像补全架构。在训练的过程中除了使用常见的破损图之外还使用了破损图的补图，实际上补图的这一补也全过程可以理解图像的自我重建过程。因此，和其它模型比起来，通过并行输入，部分参数共享，该专利技术对对不同区域的图像破损更加鲁棒。2、该专利技术提取特征的过程中添加了噪音，并且借助变分自编码器的思想来处理不单单使得模型对提取的特征更加鲁棒，而且也使得特征在特征空间更加光滑，更利于后续解码操作等。附图说明图1为本专利技术一种基于并行自编码器的图像补全方法的流程图。具体实施方式以下结合附图和实施例对本专利技术做出进一步的说明。本专利技术提供的一种基于并行自编码器的图像补全方法，包括以下步骤：1)根据已有破损图像数据，寻找类似风格的完整图像数据来帮助模型进行训练，类似风格的完整图像是指和破损图像接近的数据，并按照设定的比例分成训练集和测试集；具体为：首先针对目标需要修复的图像，收集风格类似的完好的图像数据来训练模型。其中风格类似指的是破损图像和原始图像有着相似的内容和色彩。例如若要修复一张破损的照片，则需要搜集一些完好的人脸图像；若要对一些街景照片进行修补，则需要搜集类似建筑风格的街景图。2)对步骤1)的训练集和测试集分别进行复制后，进行人为的损坏，利用损坏的训练集图片和对应的完好图片来进行模型训练；具体为：首先，针对得到的训练集和测试集进行复制后，对复制后的数据进行人为的破损，从而为后续模型训练做准备。人为的破损可根据实际图片破损的情况进行类似的破坏处理，也可根据人为设定的破坏比例(破损像素区域/整个图像大小)，进行随机的破坏。然后将训练集中补图(需要补足部分的像素所构成的图片)和破损图输入模型自编码器编码器，得到各自的低维特征。为提升模型的鲁棒性，对破损的图和补图各自得到低维特征添加相同维度的不同的高斯白噪声。再将得到的各自的低维特征输入模型自编码器解码器，得到初步预测的修复图。最后将初步的修复图放入一个对抗生成网络(GenerativeAdversarialNetwork,GAN)框架当中，把上述的一个自编码器当作一个生成器，而额外引入判别器来对初步修复的结果进行一个对抗优化，期望得到更好的修复结果。这里使用了两个判别器，分别对破损图的修复结果和补图的生成的结果分别进行判断。该过程中使用的损失函数分为两部分，其中，对于由并行的编码器构成的生成器来说，其中为对生成对抗损失函数，为平均绝对误差，为Kullbac本文档来自技高网...

【技术保护点】
1.一种基于并行自编码器的图像补全方法，其特征在于，包括以下步骤：/n1)根据已有破损图像数据，寻找类似风格的完整图像数据来帮助模型进行训练，类似风格的完整图像是指和破损图像接近的数据，并按照设定的比例分成训练集和测试集；/n2)对步骤1)的训练集和测试集分别进行复制后，进行人为的损坏，利用损坏的训练集图片和对应的完好图片来进行模型训练；/n3)对步骤2)中得到模型，对测试集的损坏图片进行修复，并与对应的真实的完好的图片来进行评估，同时针对缺陷进行微调模型。/n

【技术特征摘要】
1.一种基于并行自编码器的图像补全方法，其特征在于，包括以下步骤：
1)根据已有破损图像数据，寻找类似风格的完整图像数据来帮助模型进行训练，类似风格的完整图像是指和破损图像接近的数据，并按照设定的比例分成训练集和测试集；
2)对步骤1)的训练集和测试集分别进行复制后，进行人为的损坏，利用损坏的训练集图片和对应的完好图片来进行模型训练；
3)对步骤2)中得到模型，对测试集的损坏图片进行修复，并与对应的真实的完好的图片来进行评估，同时针对缺陷进行微调模型。


2.根据权利要求1所述的一种基于并行自编码器的图像补全方法，其特征在于，步骤1)的具体实现方法如下：
首先针对目标需要修复的图像，收集风格类似的完好的图像数据来训练模型，其中风格类似指的是破损图像和原始图像有着相似的内容和色彩。


3.根据权利要求1所述的一种基于并行自编码器的图像补全方法，其特征在于，步骤2)的具体实现方法如下：
首先，针对得到的训练集和测试集进行复制后，对复制后的数据进行人为的破损，从而为后续模型训练做...

【专利技术属性】
技术研发人员：王进军，邓烨，李梦柳，辛晓萌，黄文丽，惠思奇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61