基于多尺度纹理特征分支的生成对抗网络图像修复方法技术

本发明专利技术公开了一种基于多尺度纹理特征分支的生成对抗网络图像修复方法，构建包含缺失区域的待修复图像与真实图像对数据集；构建基于多尺度纹理特征分支的生成对抗网络模型；对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型；将包含缺失区域的待修复图像输入到最优的生成器网络模型中，输出最终的修复结果图像。本发明专利技术针对图像不规则随机缺失和大面积缺失情况都能得到较好的修复效果，修复图像具有较好的结构和纹理特征。的结构和纹理特征。的结构和纹理特征。

【技术实现步骤摘要】
基于多尺度纹理特征分支的生成对抗网络图像修复方法


[0001]本专利技术属于图像处理
，具体涉及一种基于多尺度纹理特征分支的生成对抗网络图像修复方法。

技术介绍

[0002]图像修复技术一直是图像处理领域的一项研究热点，图像修复技术可以对于一幅具有一定缺失区域的图像，通过利用已知的完好区域的信息来恢复缺失区域的信息，从而修复图像，并保持图像的结构与纹理特征。随着该项技术的快速发展，其已逐渐应用于文物修复、医学成像、卫星遥感等多个领域，因此开展图像修复算法的研究具有较高的研究意义和应用价值。
[0003]近些年，随着计算机视觉领域的发展，图像修复也有了长远的进步，目前可以分为四个方向：基于偏微分方程的图像修复、基于纹理合成的图像修复、基于结构和纹理的图像修复以及基于深度学习的图像修复。
[0004]基于偏微分方程的图像修复对于纹理复杂或具有较大缺失区域的图像修复结果往往非常模糊；基于纹理合成的图像修复在纹理逼近方面表现良好，但在对自然图像修复时仍然存在一定的缺陷；当一幅图像既有结构性成分又有纹理成分的时候，往往将基于偏微分方程的图像修复与基于纹理合成的图像修复结合起来，即采用基于结构和纹理的图像修复，修复得到的图像纹理和结构特征都能得到较好的保持。
[0005]随着卷积神经网络和生成对抗网络的发展，图像修复技术也有了很大的进步，基于深度学习的图像修复通过从大规模的数据集上学习到图像的语义特征，实现了良好的图像修复效果，特别是在大区域缺失的图像修复问题中可以取得远好于传统方法的效果。
>
技术实现思路

[0006]有鉴于此，本专利技术的主要目的在于提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法。
[0007]为达到上述目的，本专利技术的技术方案是这样实现的：
[0008]本专利技术实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法，该方法为：
[0009]构建包含缺失区域的待修复图像与真实图像对数据集；
[0010]构建基于多尺度纹理特征分支的生成对抗网络模型；
[0011]对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型；
[0012]将包含缺失区域的待修复图像输入到最优的生成器网络模型中，输出最终的修复结果图像。
[0013]上述方案中，所述构建包含缺失区域的待修复图像与真实图像对数据集，具体为：采用CelebA
‑
HQ人脸数据集和Places365
‑
Standard场景数据集两个基准数据集，同时制作
掩膜数据集，所述掩膜数据集包含不规则随机掩膜和矩形掩膜两种数据集，根据所述基准数据集和掩膜数据集获得所需的包含缺失区域的待修复图像与真实图像对的数据集，并划分测试数据集与训练数据集比例为2∶8。
[0014]上述方案中，所述根据所述基准数据集和掩膜数据集获得所需的包含缺失区域的待修复图像与真实图像对的数据集，具体为：将所述基准数据集图像与掩码数据集图像进行逐元素相乘，得到所需的包含缺失区域的待修复图像与真实图像对的数据集，表示为
[0015]I
M
＝I0⊙
M，I
M
∈(Ω∪Φ)
[0016]其中，M是值为1或0的二进制掩膜，数值1代表图像完好区域φ，数值0代表图像缺失区域Ω，I0是原始图像，I
M
是降质后的受损图像，
⊙
表示逐元素相乘，即降质图像I
M
可以由原始图像I0和掩膜M构建得到。
[0017]上述方案中，所述构建基于多尺度纹理特征分支的生成对抗网络模型，包括一个生成器模型G、一个全局鉴别器模型D和一个局部鉴别器模型F。
[0018]上述方案中，所述构建基于多尺度纹理特征分支的生成对抗网络模型，具体通过以下步骤实现：
[0019]步骤501：建立生成器网络模型，生成器网络结构为类似于U
‑
Net的编解码器网络结构；
[0020]步骤502：编码器和解码器通过4个空洞残差模块进行连接，空洞残差模块由1个膨胀率为2的空洞卷积层和1个传统卷积层组成，卷积核尺寸为2
×
2，步长为1，并采用Leaky ReLU激活函数；
[0021]步骤503：编码器前三层输出特征图包含更丰富的纹理信息，将编码器前三层输出特征图调整至相同大小，并串联为一张纹理特征图，再输入到多尺度纹理特征分支进行多尺度的孔洞填充，最后将填充结果用于解码器纹理特征的补充；
[0022]步骤504：解码器结构包括6层上采样卷积，上采样卷积模块使用结合最近邻(Nearest)插值和偶数卷积的插值卷积块，卷积核尺寸为4
×
4，步长为1；
[0023]步骤505：建立双鉴别器网络模型，即全局鉴别器和局部鉴别器，分别负责对修复图像整体结构的一致性判断和局部区域纹理细节的合理性判断。
[0024]上述方案中，所述对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型，具体通过以下步骤实现：
[0025]具体地，步骤601：对所述构建的包含缺失区域的待修复图像和真实图像对数据，调整尺寸大小为M
×
N；
[0026]步骤602：通过生成对抗网络模型生成器得到生成图像y
’
，并将生成图像y
’
和真实图像y分别输入到全局鉴别器网络；将所述生成图像y
’
和真实图像y中已知区域内的像素都置为0，得到只保留了修复区域的生成图像y
’
local
和真实图像y
local
，分别输入到局部鉴别器网络；
[0027]步骤603：分别计算全局鉴别器损失函数L
global
和局部鉴别器损失函数L
local
，则鉴别器损失函数L
D
为二者之和，损失函数的值越小则代表生成图像越逼近真实图像，即生成器的训练越好；
[0028]步骤604：将鉴别器判断结果反馈给生成器，并将包含缺失区域的待修复图像x输入到生成器网络模型中，继续进行训练；
[0029]步骤605：计算生成器损失函数L
G
，生成器损失函数采用了包括像素重建损失、感知损失、分格损失和对抗损失的联合损失函数；
[0030]步骤606：重复步骤602～步骤605，重复迭代生成器网络和鉴别器网络，不断对网络进行训练，直至训练稳定，得到最优的生成对抗网络模型。
[0031]上述方案中，所述将包含缺失区域的待修复图像输入到最优的生成器网络模型中，输出最终的修复图像，具体为：
[0032]输入包含缺失区域的待修复图像到编码器结构，经过6层下采样卷积，卷积层使用对称填充的偶数卷积核，每层的卷积核大小为4
×
4，步长为2，卷积核数目分别为64、128、256、512、512和5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度纹理特征分支的生成对抗网络图像修复方法，其特征在于，该方法为：构建包含缺失区域的待修复图像与真实图像对数据集；构建基于多尺度纹理特征分支的生成对抗网络模型；对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型；将包含缺失区域的待修复图像输入到最优的生成器网络模型中，输出最终的修复结果图像。2.根据权利要求1所述的基于多尺度纹理特征分支的生成对抗网络图像修复方法，其特征在于，所述构建包含缺失区域的待修复图像与真实图像对数据集，具体为：采用CelebA
‑
HQ人脸数据集和Places365
‑
Standard场景数据集两个基准数据集，同时制作掩膜数据集，所述掩膜数据集包含不规则随机掩膜和矩形掩膜两种数据集，根据所述基准数据集和掩膜数据集获得所需的包含缺失区域的待修复图像与真实图像对的数据集，并划分测试数据集与训练数据集比例为2：8。3.根据权利要求2所述的基于多尺度纹理特征分支的生成对抗网络图像修复方法，其特征在于，所述根据所述基准数据集和掩膜数据集获得所需的包含缺失区域的待修复图像与真实图像对的数据集，具体为：将所述基准数据集图像与掩码数据集图像进行逐元素相乘，得到所需的包含缺失区域的待修复图像与真实图像对的数据集，表示为I
M
＝I0⊙
M，I
M
∈(Ω∪Φ)其中，M是值为1或0的二进制掩膜，数值1代表图像完好区域Φ，数值0代表图像缺失区域Ω，I0是原始图像，I
M
是降质后的受损图像，
⊙
表示逐元素相乘，即降质图像I
M
可以由原始图像I0和掩膜M构建得到。4.根据权利要求1
‑
3任意一项所述的基于多尺度纹理特征分支的生成对抗网络图像修复方法，其特征在于，所述构建基于多尺度纹理特征分支的生成对抗网络模型，包括一个生成器模型G、一个全局鉴别器模型D和一个局部鉴别器模型F。5.根据权利要求4所述的基于多尺度纹理特征分支的生成对抗网络图像修复方法，其特征在于，所述构建基于多尺度纹理特征分支的生成对抗网络模型，具体通过以下步骤实现：步骤501：建立生成器网络模型，生成器网络结构为类似于U
‑
Net的编解码器网络结构；步骤502：编码器和解码器通过4个空洞残差模块进行连接，空洞残差模块由1个膨胀率为2的空洞卷积层和1个传统卷积层组成，卷积核尺寸为2
×
2，步长为1，并采用Leaky ReLU激活函数；步骤503：编码器前三层输出特征图包含更丰富的纹理信息，将编码器前三层输出特征图调整至相同大小，并串联为一张纹理特征图，再输入到多尺度纹理特征分支进行多尺度的孔洞填充，最后将填充结果用于解码器纹理特征的补充；步骤504：解码器结构包括6层上采样卷积，上采样卷积模块使用结合最近邻(Nearest)插值和偶数卷积的插值卷积块，卷积核尺寸为4
×
4，步长为1；步骤505：建立双鉴别器网络模型，即全局鉴别器和局部鉴别器，分别负责对修复图像整体结构的一致性判断和局部区域纹理细节的合理性判断。
6.根据权利要求5所述的基于多尺度纹理特征分支的生成对抗网络图像修复方法，其特征在于，所述对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型，具体通过以下步骤实现：具体地，步骤601：对所述构建的包含缺失区域的待修复图像和真实图像对数据，调整尺寸大小为M
×
N；步骤602：通过生成对抗网络模型生成器得到生成图像y
’
，并将生成图像y
’
和真实图像y分别输入到全局鉴别器网络；将所述生成图像y
’

【专利技术属性】
技术研发人员：于跃，田成，周慧鑫，赵星，滕翔，张鑫，王财顺，刘志宇，刘上乾，李幸，陈戈韬，赖睿，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：