一种基于堆叠生成对抗网络的图像补全方法技术

本发明专利技术涉及一种基于堆叠生成对抗网络的图像补全方法，网络结构主要由三个堆叠的生成器网络层组成。首先将蒙版图像裁剪成多个图像块，以便网络就可以提取出不同图像块的特征；然后，本发明专利技术将补全的多图像块结果放入下一层的生成器中，以进一步补全图像；最后，将不同块的补全结果应用于一整块掩模图像上，得到最终的补全输出。从粗到细的补全作业，充分利用卷积神经网络提取的高层语义信息。并且通过图像块鉴别器来区分生成图像图像和原始图像的真假。实验结果表明，本发明专利技术方法能够对具有不规则掩模的图像生成高质量的补全结果，补全的结果更逼近原始图像。果更逼近原始图像。果更逼近原始图像。

【技术实现步骤摘要】
一种基于堆叠生成对抗网络的图像补全方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于堆叠生成对抗网络的图像补全方法。

技术介绍

[0002]近来，基于深度学习方法的图像补全任务得到长足发展，其应用范围也逐渐扩大。图像补全是图像处理领域的一个基本任务，它的难点在于需要为缺失的区域填补真实自然和语义正确的内容。早期的图像补全算法使用最近邻搜索方法，在背景区域搜索最相似的图像块填补缺失区域，但是这样并不能获取图像的高水平语义信息，因而其补全方法不能产生有意义的内容。另外一些图像补全算法是基于学习整个数据集分布的目标，通过大量数据的训练来构造缺失的内容，但是这样的补全效果特别缺乏图像高频信息，因而其补全图像总是模糊扭曲，图像质量不好。随后还有一些基于深度学习方法的图像补全提出学习图像数据的基本分布，即学习到一个函数能将缺失的图像映射到真实的图像。例如典型的图像补全方法一般使用基于generative adversarial network(GAN)的方法，GAN能将正态分布的噪声映射为图像，从而学习到真实图像的分布。GAN作为生成模型使用无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于堆叠生成对抗网络的图像补全方法，其特征在于，所述方法包括以下步骤：步骤1：收集下载补全图像数据集Places2和Paris StreetView，对所述补全图像数据集进行预处理；步骤2：按照约定比例将所述补全图像数据集划分为训练集、验证集和测试集；步骤3：采用所述训练集对构建好的图像补全网络进行训练，所述的图像补全网络包括生成器和判别器，所述生成器包括三层补全网络，每层补全网络均包括一个编码器和一个解码器，第三层补全网络连接至判别器，整个补全网络为堆叠的网络层次结构，将预处理好的所述训练集分别送入对应的网络层进行训练，训练方法具体包括：步骤31：将四等分待补全图像I
m4
送入第一层补全网络，经第一编码器编码后分别输出4个块的特征图，将所述特征图按宽的维度拼接为2个第一特征图后送入第一解码器，由第一解码器输出2个块的第一补全图像；步骤32：将将2个所述第一补全图像和所述二等分待补全图像I
m2
中的2个图像块对应相加后送入第二编码器，由第二编码器输出2个第二特征图，将其和2个所述第一特征图对应相加，再按高的维度拼接为1块第二特征图后再输入第二解码器，由第二解码器输出一整块的第二补全图像；步骤33：将所述第二补全图像与所述待补全图像I
m
相加后作为第三层网络的输入，由第三编码器输出第三特征图，将第三特征图和第二层网络的所述第二特征图相加后送入第三解码器，然后由第三编码器输出最终补全图像；步骤34：判别器，将所述最终补全图像及原始图像输入到判别器中，通过判别器判断真假，当判别器不能区分所述最终补全图像和原始图像时，表示生成器网络和判别器网络已达到平衡，生成器已经捕获图像数据的真实分布；步骤35：按照设定批次大小对...

【专利技术属性】
技术研发人员：任勇鹏，李孝杰，任红萍，史沧红，吴锡，吕建成，周激流，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：