【技术实现步骤摘要】
本专利技术属于图像修复，具体涉及一种边缘约束的多阶段不规则图像修复方法。
技术介绍
1、图像修复技术是一种根据图像中的已知信息来推测未知信息的一种技术，使恢复后的图像在视觉上显得逼真且具有正确的语义。随着数字图像技术的飞速发展，图像在各个行业的应用都变得更加广泛。然而口罩会遮挡我们的面部，造成人脸关键信息缺失，影响很多的场景交互行为，比如监控、模式识别等技术模式。不仅如此，图像修复可以作为许多计算机领域的预处理操作，比如检测、识别、分类、定位、分割等。这些在一定条件下已经达到了较高的准确率和精度，但是图像在运输过程中难免会由于传感器噪声、通信传输错误、设备故障等各种原因导致图像部分信息丢失或损坏，导致图像质量下降，严重考验算法的鲁棒性。图像修复在信息安全管理、人机交互等智慧城市领域发展前景良好。
2、图像修复技术主要利用统计信息、结构信息和语义信息来进行，传统的图像修复方法主要包括基于扩散的方法和基于块的方法。由于基于扩散的方法是从边界朝着等值线的方向进行处理，没有考虑图像受损区域和全局之间语义信息的一致性，并且还缺少对图像更高层次的语义信息的约束过程，所以只适用于受损面积较小的图像，对于大面积的受损图像，会存在纹理错位等问题；与基于扩散的方法相比，基于块的方法从背景区域提取特征块，将其复制到受损区域，这种方法可以更好地保留图像中的纹理和结构信息。比如abdulla等人提出了基于图像块的criminisi算法，该算法通过搜索受损区域周围目标像素块的信息，大大提高了修复速度。但这种方法通常受到像素周围信息丢失、难以合理
3、近年来，随着深度学习技术的崛起，特别是卷积神经网络(cnn)的广泛应用，图像修复领域也取得了显著的进展。深度学习模型能够学习到图像中的高级特征和复杂模式，使图像修复的结果更加准确。尤其从2016年以来发展迅速，pathak等人提出的著名模型context encoder(ce)利用上下文编码器生成受其周围环境影响的任意图像区域的内容；2017年iizuka等人提出了全局结合局部判别器，使待修复区域的结构和纹理更加清晰；liu提出的部分卷积可以将掩膜与受损图像共同进行卷积操作，并对下一层的掩模保持更新，逐层减小受损区域的面积，使网络能够更好的提取完整部分的特征信息，消除受损区域的信息干扰2018年yu等提出的语义注意层，提出利用远距离特征进行修复；2020年liu等人提出了相互编码-解码器，在单阶段网络中并且在feature层级上修复图像的纹理和结构，前三层纹理特征后三层结构特征，把结构和纹理区域分别通过多尺度修复模块来进行修复，并且使用两个维度(channel和spatial)上的特征均衡方法把纹理和结构特征结合在一起。
4、虽然上述方法解决了传统图像修复方法无法恢复高级语义信息的问题，提高了不规则缺失区域的的修复质量，扩展到了交互式模型，但是修复后尤其是对于缺失区域较大的情况下会产生某些错误的结构以及过度平滑和模糊的纹理。为解决上述问题，本专利技术提出了一种基于边缘约束和残差语义注意力的图像修复方法。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供了一种基于边缘约束的多阶段不规则图像修复方法，在恢复合理结构和清晰一致的纹理上提升效果明显。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、1、基于边缘约束的多阶段不规则图像修复方法，其特征在于，包括：边缘结构生成网络、内容纹理恢复网络和判别网络；
4、边缘结构生成网络，用于针对缺失的图像以及事先提取的缺失边缘来恢复出图像完整的边缘信息，使用对应的上下文编码结构，包含八个残差块，以此捕捉到距离更远的内容细节，提高边缘信息的准确度；
5、内容纹理恢复网络，用于利用完整的边缘先验信息和缺失图像修复成完整的图像，再次利用典型的上下文编码结构，包含7个门控卷积，经过残差语义注意力(rsa)模块，最后得到最终的修复图像；
6、判别网络，在边缘结构生成网络中，把生成的预测边缘图像和真实的边缘图同时输入到判别器中，判断边缘信息是真实信息的概率，通过生成和判别网络的不断对抗来帮助最后输出的边缘图像大大接近于真实的图像边缘；在内容纹理恢复网络中，同样的把生成的图像和真实图像输入到判别器，通过不断对抗来提高生成图像的真实性；
7、2、根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，边缘结构生成网络具体为：
8、将缺失的边缘图、缺失的图像灰度图以及mask作为生成器的输入，以此生成预测的完整边缘图，该网络包括一层卷积层、两层下采样、8个残差块、两层上采样和一层用于边缘预测的sigmoid激活的卷积层组成。其中卷积层的卷积核大小为7×7，下采样和上采样的卷积核都为4×4，残差块由扩张卷积组成，并且实行了光谱归一化和实例归一化。经过上述结构得到预测的完整边缘图；
9、3、根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，内容纹理恢复网络具体为：
10、我们把第一阶段的输出结果与原本缺失的边缘图像进行结合，得到完整图像边缘，将此边缘和原始真实的缺失图像一起作为内容纹理恢复网络的输入。内容纹理恢复网络同边缘结构生成网络相似，都使用了相对应的编码解码结构，经过一层卷积层、两层下采样，三层门控卷积，经过rsa残差语义注意力模块，提取远距离的图像特征，再经过四层门控卷积和两层上采样，最后一层则是一层用于预测rgb像素强度的tanh激活的卷积层，其中的卷积层的卷积核大小为7×7，下采样和上采样的卷积核为4×4，但生成器中的所有层都减少了光谱归一化。最后就可以得到高质量的修复图像；
11、4、根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，判别网络具体为：
12、由70×70的patchgan来完成的，卷积核大小为4×4，经过五层卷积提取图像特征，卷积层的通道数由最初64以2倍逐层增加到512，包括光谱归一化，选择激活函数为leakyrelu。patchgan的结构模拟高频结构，限制在局部图片patch上的注意力，只惩罚patch规模下的结构，分辨每一个n*n的patch是真是假，然后平均所有相应的得到最后的输出。只是最终输出是一个特征图x，而非一个实数。通过对由概率值组成的概率矩阵求均值得到判别器的最终输出，这样可以强化判别网络对高频特征细节的判别能力，关注更多的局部纹理细节；
13、5、根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，所述步骤中边缘结构生成网络训练时所采用的损失函数包括：
14、(1)对抗损失
15、
16、(2)特本文档来自技高网...
【技术保护点】
1.基于边缘约束的多阶段不规则图像修复方法，其特征在于，包括：边缘结构生成网络、内容纹理恢复网络和判别网络；
2.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，边缘结构生成网络具体为：
3.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，内容纹理恢复网络具体为：
4.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，判别网络具体为：
5.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，所述步骤中边缘结构生成网络训练时所采用的损失函数包括：
6.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，所述步骤中内容纹理恢复网络训练时所采用的损失函数包括：
7.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，实验数据集来自公开数据集CelebA上评估所提出的方法，选取28000张图像作为训练集，1500张作为测试集。统一将所有用于实验的图像进行中心裁剪至178*178，再双线性插
...【技术特征摘要】
1.基于边缘约束的多阶段不规则图像修复方法，其特征在于，包括：边缘结构生成网络、内容纹理恢复网络和判别网络；
2.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，边缘结构生成网络具体为：
3.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，内容纹理恢复网络具体为：
4.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，判别网络具体为：
5.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，所述步骤中边缘结构生成网络训练时所采用的损失函数包括：
6.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，所述步骤中内容纹理恢复网络训练时所采用的损失函数包括：
7.根据权利要求1所述的基于边缘约束的多阶段不规则图像修复方法，其特征在于，实验数据集来自公开数据集celeba上评估...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。