一种多尺度图像修复方法、存储介质及终端技术

本发明专利技术公开了一种多尺度图像修复方法、存储介质及终端，该方法包括：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集；构建多尺度极化自注意力生成对抗网络，并在生成器的不同尺度上嵌入极化自注意力机制模块；使用待修复图像训练集对对抗网络模型进行训练和建模；采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试；通过评价指标来评价模型的修复性能。本发明专利技术通过在跳跃连接上添加多尺度特征融合方法进一步利用图像特征，然后共享给模型的后层网络，使用压缩维度操作少的极化自注意力机制，减少特征数据的丢失，提高模型对大尺度信息缺失图像的修复精度，简化模型的结构复杂度，提高图像修复的性能。像修复的性能。像修复的性能。

【技术实现步骤摘要】
一种多尺度图像修复方法、存储介质及终端


[0001]本专利技术涉及图像修复
，尤其涉及一种多尺度图像修复方法、存储介质及终端。

技术介绍

[0002]目前，在很多场景下需要对大范围信息缺失的图像进行修复，现有基于卷积神经网络的方法在建立长距离区域相关性方面无效，由于缺失像素太多，这些方法不能获取到远距离的图像像素信息，图像修复效果差。
[0003]一些方法通过在网络中添加其它的全局特征提取模块来改善上述问题，但这会大大增加模型的复杂度，耗费巨额计算资源，且在一些特定场景下对大范围缺失像素的修复效果也不佳。
[0004]除此之外，随着生成网络(包括生成对抗网络和变分自编码器VAE)被用于图像修复领域，该类方法对大范围信息缺失图像的修复性能有了较大提高，但由于这些方法通常使用了跳跃连接和压缩维度操作，无法充分利用到原始图像丰富的语义信息和空间信息，且压缩维度操作会损失一定的图像信息，导致本来修复效果不佳的大尺度信息缺失图像更加难以修复。

技术实现思路

[0005]本专利技术提供一种多尺度图像修复方法、存储介质及终端，以解决图像修复中存在的因跳跃连接和压缩维度操作带来的无法充分利用图像原始信息的技术问题。
[0006]为解决上述问题，本专利技术提供一种多尺度图像修复方法，所述修复方法包括：
[0007]步骤S
100
：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集，以及对应的原始真实图像数据集，并将所述待修复图像数据集按照预设比例划分为训练集和测试集；
[0008]步骤S
200
：构建多尺度极化自注意力生成对抗网络，所述生成对抗网络由生成器G和判别器D构成，并在所述生成器G的不同尺度上嵌入极化自注意力机制模块，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，所述通道自注意力分支和空间自注意力分支通过并行方式进行连接；
[0009]步骤S
300
：设置网络模型超参数，使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模，采用损失函数来优化网络结构参数；
[0010]步骤S
400
：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的评价指标来评价模型的修复性能。
[0011]进一步的，在步骤S
100
中，所述获取原始真实图像与对应的二值缺损掩膜具体包括：
[0012]步骤S
101
：从图像修复数据集和Mask掩膜数据集中构建用于图像修复的缺失像素
图像数据集，并对图像进行初步的预处理；
[0013]步骤S
102
：掩膜和真实图像通过像素乘法得到缺失像素图像数据集，将该数据集中的图像和Mask掩膜一同输入到模型的生成器中。
[0014]进一步的，在步骤S
200
中，所述生成器由编码器和解码器构成，所述编码器和所述解码器之间添加跳跃连接，所述跳跃连接上添加多尺度特征融合模块，所述编码器不断地提取原始图像的不同层级的特征图，得到原始图像的深层特征；所述多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给所述解码器的反卷积层，对融合后的特征图进行像素预测。
[0015]进一步的，所述多尺度特征融合模块的内部由卷积层分支和反卷积层分支构成，
[0016]所述卷积层分支通过对输入的特征图进行卷积、归一化和激活函数激活，得到更深层次的特征图；
[0017]所述反卷积层分支通过对输入的特征图进行两层反卷积、归一化和激活函数激活，得到尺度更大的特征图；
[0018]将这两条分支的相同大小的特征图进行拼接融合，得到空间和语义信息都丰富的输出特征图。
[0019]进一步的，在步骤S
200
中，建模过程中，判别器D采用对抗损失函数算法，在对抗训练过程中通过对多个损失函数之和进行优化，得到多尺度极化自注意力生成对抗修复模型。
[0020]进一步的，在步骤S
300
中，所述使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模具体包括：
[0021]将待修复图像和对应的掩膜图像同时输入到所述生成器G中，同时提取它们的特征；
[0022]所述生成器G从待修复图像中提取原始图像整体特征，并尽可能地生成与真实图像相似的修复后的图像；
[0023]所述判别器D判断输入的图像数据是真实图像还是来自所述生成器G生成的修复后图像，并将损失结果通过梯度反馈送回所述生成器G，所述生成器G根据结果继续生成修复效果更好的图像；
[0024]经过大量的训练迭代次数，所述生成器G生成修复效果更好的图像。
[0025]进一步的，所述像素级注意力模块的具体实现包括：
[0026]分别提取输入特征图的前景和背景像素块，测量背景和前景像素块的相似性，通过计算归一化内积来进行像素值匹配；
[0027]像素块匹配完成后，使用激活函数来计算权重，得到注意力权重，然后将得到的注意力权重和原始的输入特征图进行拼接；
[0028]将得到的拼接特征图输入到改进的极化自注意力机制模块中，得到输出图像。
[0029]进一步的，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，
[0030]所述通道自注意力分支的具体实现包括：将输入的特征图输入到通道自注意力分支层，经多层卷积运算后得到通道自注意力权重，与输入特征图进行乘法运算；
[0031]所述空间自注意力分支的具体实现包括：将输入的特征图输入到空间自注意力分
支层，经池化操作和多层卷积运算后得到空间自注意力权重，与输入特征图进行乘法运算；
[0032]将通道自注意力分支和空间自注意力分支的结果进行融合，得到极化自注意力结构的修复后输出图像。
[0033]进一步的，所述损失函数包括：对抗损失函数L
adv
、感知损失函数L
perceptual
、风格损失函数L
style
、总变差损失函数L
tv
、孔洞损失函数L
hole
以及验证损失函数L
valid
；具体为：
[0034]对抗损失函数定义为：
[0035][0036]其中：D(
·
)表示对括号中的图像进行判别，D(I
gt
)表示对输入到判别器的真实图像进行判别，D(I
pred
)表示对输入到判别器的修复图像进行判别，BCELoss(
·
)表示计算二分类交叉熵损失；
[0037]感知损失函数表达式为：
[0038][0039]风格损失函数表达式为：
[0040][0041]总变差损失函数表达式为：
[0042][0043]孔洞本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度图像修复方法，其特征在于，所述修复方法包括：步骤S
100
：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集，以及对应的原始真实图像数据集，并将所述待修复图像数据集按照预设比例划分为训练集和测试集；步骤S
200
：构建多尺度极化自注意力生成对抗网络，所述生成对抗网络由生成器G和判别器D构成，并在所述生成器G的不同尺度上嵌入极化自注意力机制模块，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，所述通道自注意力分支和空间自注意力分支通过并行方式进行连接；步骤S
300
：设置网络模型超参数，使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模，采用损失函数来优化网络结构参数；步骤S
400
：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的评价指标来评价模型的修复性能。2.根据权利要求1所述的多尺度图像修复方法，其特征在于，在步骤S
100
中，所述获取原始真实图像与对应的二值缺损掩膜还包括：步骤S
101
：从图像修复数据集和Mask掩膜数据集中构建用于图像修复的缺失像素图像数据集，并对图像进行初步的预处理；步骤S
102
：掩膜和真实图像通过像素乘法得到缺失像素图像数据集，将该数据集中的图像和Mask掩膜一同输入到模型的生成器中。3.根据权利要求1所述的多尺度图像修复方法，其特征在于，在步骤S
200
中，所述生成器由编码器和解码器构成，所述编码器和所述解码器之间添加跳跃连接，所述跳跃连接上添加多尺度特征融合模块，所述编码器不断地提取原始图像的不同层级的特征图，得到原始图像的深层特征；所述多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给所述解码器的反卷积层，对融合后的特征图进行像素预测。4.根据权利要求3所述的多尺度图像修复方法，其特征在于，所述多尺度特征融合模块的内部由卷积层分支和反卷积层分支构成，所述卷积层分支通过对输入的特征图进行卷积、归一化和激活函数激活，得到更深层次的特征图；所述反卷积层分支通过对输入的特征图进行两层反卷积、归一化和激活函数激活，得到尺度更大的特征图；将这两条分支的相同大小的特征图进行拼接融合，得到空间和语义信息都丰富的输出特征图。5.根据权利要求1所述的多尺度图像修复方法，其特征在于，在步骤S
300
中，所述使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模具体包括：将待修复图像和对应的掩膜图像同时输入到所述生成器G中，同时提取它们的特征；所述生成器G从待修复图像中提取原始图像整体特征，并尽可能地生成与真实图像相似的修复后的图像；所述判别器D判断输入的图像数据是真实图像还是来自所述生成器G生成的修复后图像，并将损失结果通过梯度反馈送回所述生成器G，所述生成器G根据结果继续生成修复效
果更好的图像；经过大量的训练迭代次数，所述生成器G生成修复效果更好的图像。6.根据权利要求1所述的多尺度图像修复方法，其特征在于，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，所述通道自注意力分支的具体实现包括：将输入的特征图输入到通道自注意力分支层，经多层卷积运算后得到通道自注意力权重，与输入特征图进行乘法运算；所述空间自注意力分支的具体实现包括：将输入的特征图输入到空间自注意力分支层，经池化操作和多层卷积运算后得到空间自注意力权重，与输入特征图进行乘法运算；将通道自注意力分支和空间自注意力分支的结果进行融合，得到极化自注意力结构的修复后输出图像。7.根据权利要求6所述的多尺度图像修复方法，其特征在于，所述损失函数包括：对抗损...

【专利技术属性】
技术研发人员：李毅，刘小波，肖肖，郑可心，宋新生，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：