【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于u-net感知对抗网络的图像复原方法。
技术介绍
1、随着计算机技术的发展，目标识别和目标跟踪技术的高识别率往往基于完整清晰的训练图像。受各类因素影响，实际应用中的真实图像往往存在区域缺失或者细节模糊等现象。以人脸识别追踪技术为例，常需要清晰完整的人脸图像进行识别跟踪，但实际应用中获取的图像往往是模糊且不完整的。因此图像复原技术应运而生，图像复原技术旨在将合理复原受损图像，生成与真实图像语义相近、结构相似的图像。
2、近年来，深度卷积神经网络在图像复原等计算机视觉任务中展示了强大的特征提取能力，并且在各类场景的图像复原中也取得了许多重大突破。与其他场景的图像复原不同，人脸图像复原往往具有许多细节特征，且目标多样化，更依赖人类视觉感知能力。生成对抗网络以其生成能力强、多样性高成为图像复原主流方法之一。如iizuka等人(iizukas,simo-serra e,ishikawa h.globally and locally consistent image completion[j].acm transactions on graphics(tog),2017,36(4):1-14)提出利用双判别器的生成对抗网络生成图像的缺失区域，合理生成出语义相近的图像信息，但细节纹理上仍有缺陷。orest kupyn等人(kupyn o,budzan v,mykhailych m,et al.deblurgan:blind motiondeblurring using conditional
3、整体网络的感受野分布和特征提取能力对于图像复原有直观的影响，但生成对抗网络中生成器存在对原始图像信息的利用不足等问题，使得复原效果不佳，因此如何有效生成图像细节信息成为图像复原的关键问题。
技术实现思路
1、专利技术目的：本专利技术的目的是提供一种基于u-net感知对抗网络的图像复原方法，能利用图像的多尺度信息，并融合多种损失函数对生成结果进行判断，显著改善人脸图像复原效果。
2、技术方案：本专利技术基于u-net感知对抗网络的图像复原方法，包括如下步骤：
3、s1，获取人脸图像数据集，对数据集进行预处理后按照设定的比例划分为训练集、验证集和测试集，其中训练集和验证集分为缺失区域人脸图像和原图像，测试集中仅有缺失人脸图像；
4、s2，搭建基于u-net结构的感知对抗生成图像修复网络，所述感知对抗生成图像修复网络包括粗重构网络、精修复网络、shmd注意力模块，并引入改进的综合损失函数，进行反向传播；其中，粗重构网络和精修复网络的生成器结构均采用基于u-net结构的编解码模块；
5、s3，将训练集和验证集的人脸图像输入至感知对抗生成图像修复网络中训练，计算融合损失函数并进行反向传播，更新网络参数，获取最佳参数模型；
6、s4，将测试集输入到步骤s3中训练好的最佳参数模型中，输出最终复原人脸图像。
7、进一步，步骤s1中，将获取的数据集按8:1:1分为训练集、验证集、测试集；将训练集和验证集中图像分别使用位置随机的128x128矩形掩码进行遮挡，生成缺失区域人脸图像，并与原始图像一一对应；测试集中图像使用随机形状掩码进行遮挡，仅生成缺失区域人脸图像。
8、进一步，搭建感知对抗生成图像修复网络的步骤如下：
9、s21，将生成的缺失区域人脸图像和相应掩码位置输入粗重构网络的第一生成器模块中，图像输入编码区域后得到多尺度、多层次的特征图，再通过解码模块得到生成的新图像；在解码区域每层都会与之前对应编码层进行跳连接操作，将对应分辨率的编码信息和解码信息进行对应拼接；同时第一生成器模块采用融合psnr损失、ssim损失和lpips损失的综合损失函数，自动进行反向传播，更新自身网络参数，得到粗修复图像；
10、步骤22，将第一生成器模块输出的生成图像，输入粗重构网络中的第一判别器模块中，得到对生成图像的真实程度判断传给第一生成器模块，得到掩码位置；
11、步骤23，将粗修复图像和掩码位置输入到精修复网络中的第二生成器模块中，对图像进行细节纹理和结构精修复；同时第二生成器模块采用融合psnr损失、ssim损失和lpips损失的综合损失函数，自动进行反向传播，更新自身网络参数，最终得到精修复图像；
12、步骤24，将精修复图像输入第二判别器模块中，利用第二判别器模块来获得生成图像相对于真实图像的相对真实性，并反向传播给第二生成器模块，最终输出的复原人脸图像。
13、进一步，编解码模块中采用卷积层代替传统u-net网络中的下采样层；编码网络采用激活层、卷积层和归一化层组成的下采样模块构成；其中第一层仅为单独卷积层、第二到第七层为下采样模块,第八层为编码网络和解码网络的连接层，由leakyrelu激活层、卷积层、relu激活层、解卷积和归一化层组成；
14、解码网络采用激活层、解卷积层、归一化层组成上采样模块构成，其中第一层到第七层均与编码网络相对于层数进行拼接操作后再传入下一层；卷积层进行卷积核大小为4×4，步长为2的卷积操作；解卷积层进行卷积核大小为4×4，步长为2的解卷积操作；激活层在编码网络采用leakyrelu激活函数进行激活化操作，在解码网络采用relu激活函数进行激活化操作；归一化层采用batchnorm2d进行归一化操作；
15、其中，将编码网络第八层的输出作为解码网络输入。
16、进一步，粗重构网络中的第一判别器模块主要由全局判别器和局部判别器两个网络组成；
17、所述全局判别器包括：由卷积层、归一化层和激活层组成的特征提取层，共有六层；局部判别器包括：由卷积层、归一化层和激活层组成的特征提取层，共有五层；卷积层进行卷积核大小为5x5，步长为2的卷积操作；激活层采用relu激活函数进行激活化操作；归一化层采用batchnorm2d进行归一化操作；
18、所述第一判别器模块将最终粗重构图像作为输入，传入全局判别器中进行特征提取，得到长度为512的特征向量；再将粗重构图像的掩码区域单独拿出来，传入局部判别器中进行特征提取，得到长度为512的特征向量，最后将两个特征向量进行拼接，与原始图像特征向量进行比较，计算真实性差异，并将结果传给第一生成器模块中。
19、进一步，第二判别器模块主要由卷积层、归一化层和激活层组成相对论判别器；卷积层进行卷积核大小为5x5，步长为2的卷积操作；激活层采用relu激活函数进本文档来自技高网...
【技术保护点】
1.一种基于U-Net感知对抗网络的图像复原方法，其特征在于，包括如下步骤：
2.根据权利要求1所述基于U-Net感知对抗网络的图像复原方法，其特征在于，步骤S1中，将获取的数据集按8:1:1分为训练集、验证集、测试集；将训练集和验证集中图像分别使用位置随机的128x128矩形掩码进行遮挡，生成缺失区域人脸图像，并与原始图像一一对应；测试集中图像使用随机形状掩码进行遮挡，仅生成缺失区域人脸图像。
3.根据权利要求1所述基于U-Net感知对抗网络的图像复原方法，其特征在于，搭建感知对抗生成图像修复网络的步骤如下：
4.根据权利要求3所述基于U-Net感知对抗网络的图像复原方法，其特征在于，编解码模块中采用卷积层代替传统U-Net网络中的下采样层；编码网络采用激活层、卷积层和归一化层组成的下采样模块构成；其中第一层仅为单独卷积层、第二到第七层为下采样模块,第八层为编码网络和解码网络的连接层，由Leakyrelu激活层、卷积层、relu激活层、解卷积和归一化层组成；
5.根据权利要求3所述基于U-Net感知对抗网络的图像复原方法，其特征在
6.根据权利要求3所述基于U-Net感知对抗网络的图像复原方法，其特征在于，第二判别器模块主要由卷积层、归一化层和激活层组成相对论判别器；卷积层进行卷积核大小为5x5，步长为2的卷积操作；激活层采用relu激活函数进行激活化操作；归一化层采用BatchNorm2d进行归一化操作；
7.根据权利要求1所述基于U-Net感知对抗网络的图像复原方法，其特征在于，所述SHMD注意力模块基于自注意力机制，分为空间注意力模块和通道注意力模块，最终两个注意力模块的输出进行元素求和完成特征融合。
8.根据权利要求3所述基于U-Net感知对抗网络的图像复原方法，其特征在于，步骤S3中，将训练集和验证集的人脸图像输入至感知对抗生成图像修复网络中进行训练的实现步骤如下：
...【技术特征摘要】
1.一种基于u-net感知对抗网络的图像复原方法，其特征在于，包括如下步骤：
2.根据权利要求1所述基于u-net感知对抗网络的图像复原方法，其特征在于，步骤s1中，将获取的数据集按8:1:1分为训练集、验证集、测试集；将训练集和验证集中图像分别使用位置随机的128x128矩形掩码进行遮挡，生成缺失区域人脸图像，并与原始图像一一对应；测试集中图像使用随机形状掩码进行遮挡，仅生成缺失区域人脸图像。
3.根据权利要求1所述基于u-net感知对抗网络的图像复原方法，其特征在于，搭建感知对抗生成图像修复网络的步骤如下：
4.根据权利要求3所述基于u-net感知对抗网络的图像复原方法，其特征在于，编解码模块中采用卷积层代替传统u-net网络中的下采样层；编码网络采用激活层、卷积层和归一化层组成的下采样模块构成；其中第一层仅为单独卷积层、第二到第七层为下采样模块,第八层为编码网络和解码网络的连接层，由leakyrelu激活层、卷积层、relu激活...
【专利技术属性】
技术研发人员：童俊毅，张银胜，张培琰，张雁皓，陈前杭，段修贤，
申请(专利权)人：无锡学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。