一种图像修复方法技术

本发明专利技术提供了一种图像修复方法，该方法包括：确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到；基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。本发明专利技术实施例用于修复大面积不规则残缺区域时，具有较好的修复结果。有较好的修复结果。有较好的修复结果。

【技术实现步骤摘要】
一种图像修复方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种图像修复方法。

技术介绍

[0002]图像修复是用语义合理且视觉逼真的内容去填充残缺区域，是一种重建图像中丢失或损坏部分的技术，图像修复技术主要用于照片修复、照片人物移出、人脸检测面部遮挡物移出以及文物修复字画、壁画等多方面的修复。
[0003]对于大尺度的图像修复任务，当残缺面积较大时，图像的已知信息较少，难以去通过周围信息对图像进行修复，为此，修复结果在整体结构中缺乏连贯性，边缘会产生模糊的修复结果，可见，目前的图像修复的准确度较低。
[0004]为此，亟需提供一种图像修复方法，以提升图像修复的准确度。

技术实现思路

[0005]本专利技术的目的提出了一种图像修复方法，该方法通过获取残缺面积较大区域中的远距离上下文图像信息，提升了图像修复的准确度。并且修复大面积不规则残缺区域时，具有较好的修复结果。
[0006]为实现本专利技术的目的所采用的技术方案是：
[0007]第一方面，本申请实施例提供了一种图像修复方法，包括：
[0008]确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到；
[0009]基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；
[0010]利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。
[0011]可选的，所述边缘生成对抗网络包括第一生成器和第一判别器，所述第一生成器包括第一编码器、第一空洞残差块和第一解码器，第一判别器为Patch判别器，Patch判别器主要结构是包含了5个卷积层，卷积核大小均为4
×
4，所述基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，包括：
[0012]基于样本图像，利用第一生成器中的第一编码器进行第一门控卷积运算，输出第一编码器的第一编码图像；
[0013]利用第一空洞残差块对第一编码图像依次进行第一空洞卷积运算和第一残差卷积运算，输出第一空洞残差图像；
[0014]基于所述第一空洞残差图像利用第一解码器进行第一卷积运算，输出初始边缘修复图像。
[0015]可选的，所述纹理生成对抗网络包括第二生成器和第二判别器，所述第二生成器包括第二编码器、注意力模块、第二空洞残差块和第二解码器，第二判别器为Patch判别器，所述利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，包括：
[0016]基于初始边缘修复图像，利用第二生成器中的第二编码器进行第二门控卷积运算，得到第二编码图像；
[0017]对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像；
[0018]基于所述第二注意力图像，利用第二空洞残差块进行第二空洞卷积和第二残差卷积运算，得到第二空洞残差图像；
[0019]对第二空洞残差图像利用第二解码器进行第二卷积运算，输出修复图像。
[0020]可选的，所述第一门控卷积运算O
y,x
的计算公式为：
[0021][0022]其中，w
g
是用于产生特征的卷积核，w
f
表示的是产生门控运算的卷积核，I表示的是特征图，σ表示的是sigmoid函数，φ表示的是激活函数。
[0023]可选的，所述对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像，包括：
[0024]确定上下文特征信息，其中，所述上下文特征信息为残缺区域与非残缺区域中的特征信息；
[0025]基于所述上下文特征信息，对第二编码图像中的非残缺区域进行纹理查找，以确定出替补残缺区域的纹理补丁；
[0026]将所述纹理补丁和非残缺区域进行相似度计算，得到纹理补丁对应的注意力分数；
[0027]基于注意力分数结合卷积进行归一化处理，得到残缺区域的样本补丁；
[0028]将样本补丁通过反卷积处理，生成重建后的第二注意力图像。
[0029]可选的，所述纹理生成对抗网络纹理L生成对抗网络的损失总函数为：
[0030][0031]其中，L
adv
为生成对抗网络，λ
adv
为生成对抗网络的损失函数权重值，为像素重建损失，为像素重建损失的损失函数权重值，L
per
为感知损失，λ
per
为感知损失的损失函数权重值；L
sty
为风格损失，λ
sty
为风格损失的损失函数权重值。
[0032]可选的，所述像素重建损失函数的计算公式为：
[0033][0034]其中，I
gt
表示真实图像，I
out
表示模型修复的结果。
[0035]可选的，所述感知损失函数L
per
的计算公式为：
[0036][0037]其中，其中是从ImageNet数据集上预训练好的VGG
‑
19网络的池化层中第i层的激活图，N
i
是中的元素个数，I
gt
表示真实图像，I
out
表示模型修复的结果。
[0038]可选的，所述风格损失函数L
sty
的计算公式为：
[0039]L
sty
＝E
i
[Gram(I
out
)
‑
Gram(I
gt
)1][0040]其中，I
gt
表示真实图像，I
out
表示模型修复的结果，Gram矩阵用于计算特征间的相关性。
[0041]可选的，所述边缘生成对抗网络中对应的对抗损失函数L
adv
的表达式为：
[0042][0043]其中，I
gt
表示真实图像，I
out
表示模型修复的结果，表示的是真实图像的分布，表示残缺图像的分布。
[0044]基于以上，本专利技术实施例中提供了一种图像修复方法，通过确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像；基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于：包括：确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到；基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。2.根据权利要求1所述的图像修复方法，其特征在于，所述边缘生成对抗网络包括第一生成器和第一判别器，所述第一生成器包括第一编码器、第一空洞残差块和第一解码器，第一判别器为Patch判别器，Patch判别器主要结构是包含了5个卷积层，卷积核大小均为4
×
4，所述基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，包括：基于样本图像，利用第一生成器中的第一编码器进行第一门控卷积运算，输出第一编码器的第一编码图像；利用第一空洞残差块对第一编码图像依次进行第一空洞卷积运算和第一残差卷积运算，输出第一空洞残差图像；基于所述第一空洞残差图像利用第一解码器进行第一卷积运算，输出初始边缘修复图像。3.根据权利要求2所述的图像修复方法，其特征在于，所述纹理生成对抗网络包括第二生成器和第二判别器，所述第二生成器包括第二编码器、注意力模块、第二空洞残差块和第二解码器，第二判别器为Patch判别器，所述利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，包括：基于初始边缘修复图像，利用第二生成器中的第二编码器进行第二门控卷积运算，得到第二编码图像；对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像；基于所述第二注意力图像，利用第二空洞残差块进行第二空洞卷积和第二残差卷积运算，得到第二空洞残差图像；对第二空洞残差图像利用第二解码器进行第二卷积运算，输出修复图像。4.根据权利要求2所述的图像修复方法，其特征在于，所述第一门控卷积运算O
y,x
的计算公式为：其中，w
g
是用于产生特征的卷积核，w
f
表示的是产生门控运算的卷积核，I表示的是特征图，σ表示的是sigmoid函数，φ表示的是激活函数。
5.根据权利要求3所述的图像修复方法，其特征在于，所述对第二编码...

【专利技术属性】
技术研发人员：陈婷，王通，冯柔，罗建喆，廖本奇，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：