一种基于稳定场跳跃连接的GAN图像修复方法技术

本发明专利技术公开了一种基于稳定场跳跃连接的GAN图像修复方法，将稳定场算子嵌入至跳跃连接中，利用稳定场算子对生成单元中编码器特征图的破损像素进行初步预测，再传递至解码器并输出生成图像。然后细化了损失的类型，重新定义损失函数为对抗损失、像素重构损失和金字塔损失来进一步指导网络的训练向正确的方向进行。本发明专利技术方法提升了破损图像修复的效果，在满足人类视觉感知需求的同时也能在一定程度上与原图相似。且经实验验证，该方法在人脸图像、自然场景图像和建筑图像上都达到了不错的修复效果。修复效果。修复效果。

【技术实现步骤摘要】
Bidirectional Attention Maps[C].Proceedings ofthe IEEE International Conference on Computer Vision.IEEE Computer Society Press,LosAlamitos,2019:8857
‑
8866)。该方法能够有效地适应不规则破损区域的前向传播，对破损图像的修复效果也较前两者有一定程度的提升，但存在修复的结果产生结构失真的情况。这几种近期典型的图像修复方法虽然各有优势，但存在一个共同的不足点，即未同时考虑破损区域和已知区域之间的相似性匹配以及破损区域内部特征修复像素之间的相关性，导致修复的结果可能产生纹理模糊、结构失真的内容。从模型结构层面来看，是因为在图像修复领域，输入为具有破损区域的待修复图像，对于破损区域的中心，U
‑
Net中跳跃连接(skip
‑
connection)的输入几乎为零，并不能将纹理信息传递到解码器，导致修复的结果产生纹理模糊、结构失真的内容。从语义层面来看，是因为这些方法未达到全局语义一致性和局部特征连续性的要求，即忽略了破损区域的语义一致性和特征连续性，造成了修复的结果破损区域语义的不连贯。
[0004]稳定场算子：叶学义,齐珍珍,何志伟等.图像场方向导数的局部区域重建[J].中国图像图形学报,2014,19(7):998
‑
1005。

技术实现思路

[0005]针对现有图像修复方法经常忽略破损区域的语义一致性和特征连续性，导致图像修复结果可能产生纹理模糊、结构失真的内容的情况，本专利技术提供了一种基于稳定场跳跃连接的GAN图像修复方法，用于保持破损区域的语义一致性和特征连续性，改善图像修复结果可能产生纹理模糊、结构失真的内容的情况。
[0006]一种基于稳定场跳跃连接的GAN图像修复方法，步骤如下：
[0007]步骤(1).构建基于稳定场跳跃连接的生成对抗网络。
[0008]以掩膜来代替图像中的破损区域，生成单元以U
‑
Net模型为基础结构，将稳定场算子嵌入到U
‑
Net模型的跳跃连接中，将带有破损区域的图像作为生成单元的输入，利用稳定场算子对编码器特征图进行对破损区域的初步像素预测，并将破损区域完成像素预测的编码器特征图传递至解码器，并得到生成图像；判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原始图像的判别；
[0009]步骤(2).构建生成对抗网络的损失函数；
[0010]对步骤(1)中得到的生成图像进行处理得到破损图像的修复结果，与原图计算像素重构损失；解码器特征图输出各尺度的图像与对应尺度的原图计算金字塔损失；同时作为判别单元的输入，输出判别结果并计算对抗损失，结合三种损失函数同时指导生成对抗网络下一步的训练向正确的方向进行，使得生成单元能生成更加逼真的修复图像，判别单元能进一步区分生成的修复图像和原图；
[0011]步骤(3).通过训练好的生成对抗网络得到破损图像的修复结果。
[0012]步骤(1).具体方法如下：
[0013]步骤(1.1).生成单元由编码器、解码器和嵌入稳定场算子的跳跃连接组成，以掩膜(居中的矩形掩膜或不规则掩膜)代替图像中的破损区域，具体公式表达如下：
[0014]I
input
＝I
o
⊙
(1
‑
M)
ꢀꢀꢀ
(1)
[0015]式中，I
o
为原始图像，M为掩膜(M和I
o
具有相同大小，M中对应破损区域的像素值全
为1，其余为0，且为居中的矩形掩膜或不规则掩膜)，
⊙
表示矩阵逐元素相乘。
[0016]将带有破损区域的图像输入到生成单元编码器中获得编码器特征图，通过稳定场算子，利用编码器特征图中的有效像素信息初步预测特征图中破损区域的像素信息，稳定场模型公式表达如下：
[0017]LG(r,r
i
)＝f
ꢀꢀꢀ
(2)
[0018]式中，L为线性微分算符，r为破损像素点，r
i
为有效像素点，G(r,r
i
)定义为有效像素点对破损像素点的影响函数，为破损区域提供能量的已知区域定义为场源f。
[0019]步骤(1.2)描述图像纹理的函数I(r)定义为：
[0020][0021]式中，I0(r
i
)为r
i
点的点源强度即像素值，n为参与计算的有效像素点的个数。式(3)说明了破损像素点的值可以表示为对其有影响的所有有效像素点像素值与影响函数乘积之和，所述的有效像素点包括已知像素点和完成恢复的像素点，距离较远的有效像素点对缺失像素点产生的影响可忽略不计，式(3)中取n＝20，即利用破损像素点r周围的20个点的像素信息来完成对r的像素预测。
[0022]步骤(1.3).从方向导数的角度定义单个点r
i
对r的影响因子g(r,r
i
)，如式(4)所示：
[0023][0024]式中，为r
i
与r之间的距离，表示r
i
点像素的梯度，θ为梯度和向量的夹角，ε的作用是为了防止分母为0。
[0025]步骤(1.4).考虑r周围所有有效像素点的影响因子并进行归一化计算，公式表达如下：
[0026][0027]式中，式(3)得到求解。
[0028]利用式(3)完成对r的填充后再对临近r的破损区域中的像素进行填充，但此时r已经从破损像素点变为有效像素点，以此类推重复步骤(1.2)至步骤(1.4)逐步完成破损区域全部像素点的填充，获得完成破损区域像素初步预测的特征图。
[0029]步骤(1.5).将步骤(1.4)中完成破损区域像素初步预测的特征图通过跳跃连接传递至对应的解码器中，实现在解码器特征图上的通道融合，使得解码器的上采样计算能够利用编码器中的原始信息和稳定场算子的初步预测信息；
[0030]步骤(1.6).解码器输出生成图像；
[0031]步骤(1.7).判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原图的判别。
[0032]步骤(2).具体方法如下：
[0033]步骤(2.1).细化损失的类型，重新定义损失函数L来指导模型的训练向正确的方向进行。公式表达如下：
[0034]L＝λ
adv
L
adv
+λ
pyramid
L
pyramid
+L
rec
ꢀꢀꢀ
(6)
[0035]式中，L
adv
为对抗损失，L
pyramid
为金字塔损失，L
rec
为像素重构损失，λ
adv
＞0和λ
pyram本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稳定场跳跃连接的GAN图像修复方法，其特征在于，步骤如下：步骤(1).构建基于稳定场跳跃连接的生成对抗网络；以掩膜来代替图像中的破损区域，生成单元以U
‑
Net模型为基础结构，将稳定场算子嵌入到U
‑
Net模型的跳跃连接中，将带有破损区域的图像作为生成单元的输入，利用稳定场算子对编码器特征图进行对破损区域的初步像素预测，并将破损区域完成像素预测的编码器特征图传递至解码器，并得到生成图像；判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原始图像的判别；步骤(2).构建生成对抗网络的损失函数；对步骤(1)中得到的生成图像进行处理得到破损图像的修复结果，与原图计算像素重构损失；解码器特征图输出各尺度的图像与对应尺度的原图计算金字塔损失；同时作为判别单元的输入，输出判别结果并计算对抗损失，结合三种损失函数同时指导生成对抗网络下一步的训练向正确的方向进行，使得生成单元能生成更加逼真的修复图像，判别单元能进一步区分生成的修复图像和原图；步骤(3).通过训练好的生成对抗网络得到破损图像的修复结果。2.根据权利要求1所述的一种基于稳定场跳跃连接的GAN图像修复方法，其特征在于，步骤(1).具体方法如下：步骤(1.1).生成单元由编码器、解码器和嵌入稳定场算子的跳跃连接组成，以掩膜代替图像中的破损区域，具体公式表达如下：I
input
＝I
o
⊙
(1
‑
M)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中，I
o
为原始图像，M为掩膜，
⊙
表示矩阵逐元素相乘；将带有破损区域的图像输入到生成单元编码器中获得编码器特征图，通过稳定场算子，利用编码器特征图中的有效像素信息初步预测特征图中破损区域的像素信息，稳定场模型公式表达如下：LG(r,r
i
)＝f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中，L为线性微分算符，r为破损像素点，r
i
为有效像素点，G(r,r
i
)定义为有效像素点对破损像素点的影响函数，为破损区域提供能量的已知区域定义为场源f；步骤(1.2)描述图像纹理的函数I(r)定义为：式中，I0(r
i
)为r
i
点的点源强度即像素值，n为参与计算的有效像素点的个数；式(3)说明了破损像素点的值可以表示为对其有影响的所有有效像素点像素值与影响函数乘积之和，所述的有效像素点包括已知像素点和完成恢复的像素点，距离较远的有效像素点对缺失像素点产生的影响可忽略不计，式(3)中取n＝20，即利用破损像素点r周围的20个点的像素信息来完成对r的像素预测；步骤(1.3).从方向导数的角度定义单个点r
i
对r的影响因子g(r,r
i
)，如式(4)所示：
式中，为r
i
与r之间的距离，表示r
i
点像素的梯度，θ为梯度和向量的夹角，ε的作用是为了防止分母为0；步骤(1.4).考虑r周围所有有效像素点的影响因子并进行归一化计算，公式表达如下：式中，式(3)得到求解；利用式(3)完成对r的填充后再对临近r的破损区域中的像素进行填充，但此时r已经从破损像素点变为有效像素点，以此类推重复步骤(1.2)至步骤(1.4)逐步完成破损区域全部像素点的填充，获得完成破损区域像素初步预测的特征图；步骤(1.5).将步骤(1.4)中完成破损区域像素初步预测的特征图通过跳跃连接传递至对应的解码器中，实现在解码器特征图上的通道融合，使得解码器的上采样计算能够利用编码器中的原始信息和稳定场算子的初步预测信息；步骤(1.6).解码器输出生成图像；步骤(1.7).判别单元由5层卷积层组成，对输入图像做二分类，负责对修复图像和原图的判别。3.根据权利要求2所述的一种基于稳定场跳跃连接的GAN图像修复方法，其特征在于，步骤(2).具体方法如下：步骤(2.1).细化损失的类型，重新定义损失函数L来指导模型的训练向正确的方向进行；公式表达如下：L＝λ
adv
L
adv
+λ
pyramid
L
pyramid
+L
rec
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式中，L
adv
为对抗损失，L
pyramid

【专利技术属性】
技术研发人员：叶学义，曾懋胜，石悦，赵知劲，陈海颖，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：