一种基于跳跃连接多尺度融合的GAN图像修复方法技术

本发明专利技术公开了一种基于跳跃连接多尺度融合的GAN图像修复方法，根据跳跃连接未考虑编解码器中各层特征之间的相关性的特点，利用编码器中相对高层的特征图与相对低层的特征图融合，再传递至各层解码器并输出生成图像。然后细化了损失的类型，重新定义损失函数为对抗损失、像素重构损失和金字塔损失来进一步指导网络的训练向正确的方向进行。本发明专利技术方法针对现有图像修复方法高层特征不能指导低层特征的生成导致修复的结果可能存在语义不连贯的问题进行改善，提升了破损图像修复的效果，在满足人类视觉感知需求的同时也能在一定程度上与原图相似。且经实验验证，该方法在人脸图像、自然场景图像和建筑图像上都达到了不错的修复效果。修复效果。修复效果。

【技术实现步骤摘要】
Bidirectional Attention Maps[C].Proceedings of the IEEE International Conference on Computer Vision.IEEE Computer Society Press,Los Alamitos,2019:8857
‑
8866)。该方法能够有效地适应不规则破损区域的前向传播，对破损图像的修复效果也较前两者有一定程度的提升，但存在修复的结果产生结构失真的情况。这几种近期典型的图像修复方法虽然各有优势，但存在一个共同的不足点，即未考虑编解码器中各层特征之间的相关性，导致修复的结果可能存在语义不连贯的问题。从模型结构层面来看，是因为生成单元使用跳跃连接时仅连接编码器与解码器的对应层，这种特征传递关系导致高层特征不能指导低层特征的生成。

技术实现思路

[0004]针对现有图像修复方法未考虑编解码器中各层特征之间的相关性，导致修复的结果可能存在语义不连贯的情况，本专利技术提供了一种基于跳跃连接多尺度融合的GAN图像修复方法，用于逐步加强各尺度特征图的传递，改善图像修复结果可能存在语义不连贯的问题。
[0005]一种基于跳跃连接多尺度融合的GAN图像修复方法，步骤如下：
[0006]步骤(1).构建基于跳跃连接多尺度融合的生成对抗网络；
[0007]以掩膜来代替图像中的破损区域，将带有破损区域的图像作为生成单元的输入，生成单元以U
‑
Net模型为基础结构，跳跃连接中使用多尺度融合将编码器各层特征图融合，然后传递至解码器与解码器特征图进行通道融合，并得到生成图像；判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原始图像的判别；
[0008]步骤(2).构建生成对抗网络的损失函数；
[0009]对步骤(1)中得到的生成图像进行处理得到破损图像的修复结果，与原图计算像素重构损失；解码器特征图输出各尺度的图像与对应尺度的原图计算金字塔损失；同时作为判别单元的输入，输出判别结果并计算对抗损失，结合三种损失函数同时指导生成对抗网络下一步的训练向正确的方向进行，使得生成单元能生成更加逼真的修复图像，判别单元能进一步区分生成的修复图像和原图；
[0010]步骤(3).通过训练好的生成对抗网络得到破损图像的修复结果。
[0011]步骤(1).具体方法如下：
[0012]步骤(1.1).生成单元由编码器、解码器和多尺度融合的跳跃连接组成，以掩膜(居中的矩形掩膜或不规则掩膜)代替图像中的破损区域，具体公式表达如下：
[0013]I
input
＝I
o
⊙
(1
‑
M)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0014]式中，I
o
为原始图像，M为掩膜(M和I
o
具有相同大小，M中对应破损区域的像素值全为1，其余为0，且为居中的矩形掩膜或不规则掩膜)，
⊙
表示矩阵逐元素相乘。
[0015]将带有破损区域的图像输入到生成单元编码器中获得编码器特征图，通过跳跃连接中的多尺度融合对编码器各层特征图进行特征融合，并传递至解码器。具体而言，即将高层特征图上采样后与其相邻的低层特征图进行融合，得到各层融合特征。
[0016]步骤(1.2).将步骤(1.1)中得到的各层融合特征通过跳跃连接传递至解码器，分别与具有相同尺度大小的解码器特征图进行通道融合，使得解码器的上采样计算能够利用编码器对应层和低层的原始信息。
[0017]步骤(1.3).解码器输出生成图像；
[0018]步骤(1.4).判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原图的判别。
[0019]步骤(2).具体方法如下：
[0020]步骤(2.1).细化损失的类型，重新定义损失函数L来指导模型的训练向正确的方向进行。公式表达如下：
[0021]L＝λ
adv
L
adv
+λ
pyramid
L
pyramid
+L
rec
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]式中，L
adv
为对抗损失，L
pyramid
为金字塔损失，L
rec
为像素重构损失，λ
adv
＞0和λ
pyramid
＞0为对应损失函数的权重值。优选λ
adv
＝0.1，λ
pyramid
＝0.5。
[0023]步骤(2.2).生成单元输出的生成图像相比于输入，破损区域和已知区域的内容都会发生改变，但只有破损区域需要修复，因此最终的修复结果由输入的已知区域和输出的破损区域组合得到，公式表达如下：
[0024]I
inpainting
＝I
g
⊙
M+I
o
⊙
(1
‑
M)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0025]式中，I
g
为生成单元输出的生成图像。
[0026]将得到的图像修复结果输入至判别单元中以计算对抗损失来使结果更逼真。以hinge函数定义对抗损失，公式表达如下：
[0027][0028][0029]式中，P
data
(I
inpainting
)为修复图像样本分布，表示期望I
inpainting
从P
data
(I
inpainting
)中获取；P
data
(I
o
)为真实样本分布，表示期望I
o
从P
data
(I
o
)中获取；D(I
o
),D(I
inpainting
)分别表示判别单元对原始图像和修复图像的判别结果，ReLU(
·
)表示激活函数，L
D
为判别单元对抗损失，也为判别单元的总损失。
[0030]步骤(2.3).生成单元输出的生成图像会同时改变输入图像I
input
的破损区域和已知区域，因此将像素重构损失L
rec
分解成图像缺失区域的像素重构损失L
hole
和已知区域的像素重构损失L
valid
。以L
hole
来指导缺失区域的输出在语义上更接近原图，L
valid
指导生成单元输出的生成图像在已知区域不会有太大改变，公式表达如下：
[0031]L
rec
＝λ
hole
L
hole
+λ
valid
L
valid
ꢀꢀꢀꢀꢀꢀꢀ
(6)
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跳跃连接多尺度融合的GAN图像修复方法，其特征在于，步骤如下：步骤(1).构建基于跳跃连接多尺度融合的生成对抗网络；以掩膜来代替图像中的破损区域，将带有破损区域的图像作为生成单元的输入，生成单元以U
‑
Net模型为基础结构，跳跃连接中使用多尺度融合将编码器各层特征图融合，然后传递至解码器与解码器特征图进行通道融合，并得到生成图像；判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原始图像的判别；步骤(2).构建生成对抗网络的损失函数；对步骤(1)中得到的生成图像进行处理得到破损图像的修复结果，与原图计算像素重构损失；解码器特征图输出各尺度的图像与对应尺度的原图计算金字塔损失；同时作为判别单元的输入，输出判别结果并计算对抗损失，结合三种损失函数同时指导生成对抗网络下一步的训练向正确的方向进行，使得生成单元能生成更加逼真的修复图像，判别单元能进一步区分生成的修复图像和原图；步骤(3).通过训练好的生成对抗网络得到破损图像的修复结果。2.根据权利要求1所述的一种基于跳跃连接多尺度融合的GAN图像修复方法，其特征在于，步骤(1).具体方法如下：步骤(1.1).生成单元由编码器、解码器和多尺度融合的跳跃连接组成，以掩膜(居中的矩形掩膜或不规则掩膜)代替图像中的破损区域，具体公式表达如下：I
input
＝I
o
⊙
(1
‑
M)
ꢀꢀꢀꢀꢀꢀ
(1)式中，I
o
为原始图像，M为掩膜，
⊙
表示矩阵逐元素相乘；将带有破损区域的图像输入到生成单元编码器中获得编码器特征图，通过跳跃连接中的多尺度融合对编码器各层特征图进行特征融合，并传递至解码器；具体而言，即将高层特征图上采样后与其相邻的低层特征图进行融合，得到各层融合特征；步骤(1.2).将步骤(1.1)中得到的各层融合特征通过跳跃连接传递至解码器，分别与具有相同尺度大小的解码器特征图进行通道融合，使得解码器的上采样计算能够利用编码器对应层和低层的原始信息；步骤(1.3).解码器输出生成图像；步骤(1.4).判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原图的判别。3.根据权利要求2所述的一种基于跳跃连接多尺度融合的GAN图像修复方法，其特征在于，步骤(2).具体方法如下：步骤(2.1).细化损失的类型，重新定义损失函数L来指导模型的训练向正确的方向进行；公式表达如下：L＝λ
adv
L
adv
+λ
pyramid
L
pyramid
+L
rec
ꢀꢀꢀꢀ
(2)式中，L
adv
为对抗损失，L
pyramid
为金字塔损失，L
rec
为像素重构损失，λ
adv
＞0和λ
pyramid
＞0为对应损失函数的权重值；优选λ
adv
＝0.1，λ
pyramid
＝0.5；步骤(2.2).生成单元输出的生成图像相比于输入，破损区域和已知区域的内容都会发生改变，但只有破损区域需要修复，因此最终的修复结果由输入的已知区域和输出的破损区域组合得到，公式表达如下：I
inpainting
＝I
g
⊙
M+I
o
⊙
(1
‑
M)
ꢀꢀꢀꢀ
(3)
式中，I
g
为生成单元输出的生成图像；将...

【专利技术属性】
技术研发人员：叶学义，曾懋胜，陈海颖，应娜，李刚，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：