一种基于注意力机制的双判别器图像修复方法技术

一种基于注意力机制的双判别器图像修复方法，包括3个步骤：步骤一：构造缺失区域掩膜。算法设计规则形状的掩膜，缺失区域为一个矩形并随机分布在图像中。步骤二：构造图像修复的网络模型。生成器网络包含编码器和解码器结构，网络大部分都是卷积层组成。判别器包括全局判别器和局部判别器。判别器类似于编码器结构。步骤三：搭建图像修复模型并进行训练和测试。对公开数据集ImageNet选取部分素材进行训练，之后对得到的模型进行测试，并对结果进行定性分析和定量分析。本发明专利技术主要解决现有生成对抗网络对于复杂数字图像修复，缺失区域上下文连接不自然且由于网络层数较深导致重建过程衔接处细节结构难以生成的问题。程衔接处细节结构难以生成的问题。程衔接处细节结构难以生成的问题。

【技术实现步骤摘要】
一种基于注意力机制的双判别器图像修复方法


[0001]本专利技术涉及图像处理
，具体为一种基于注意力机制的双判别器图像修复方法。

技术介绍

[0002]随着科学技术的发展，各种电子产品日益普及，通过这些电子产品获得的图像也越来越清晰，但是采集过程中由于光照、色差、环境噪声等因素，最后得到的图像并不能每次都是清晰的，以及在传输过程中，由于压缩技术、格式的原因，获得的图像可能受到一定的破坏。
[0003]深度学习技术广泛应用于数据处理任务中，其中图像处理方面使用最为广泛。包含基于卷积自编码的图像修复方法、基于GAN的图像修复方法以及基于RNN的图像修复方法。基于卷积自编码的修复方法可以处理高分辨率的图像，参数简单，结构扩展性强，但对于纹理修复较为困难，而基于RNN的图像修复方法可以生成结构连贯的修复结果图像，但对高分辨率、大样本数据集修复不理想，基于生成对抗网络的图像修复模型相比其他深度学习模型，在待修复出的结构和纹理衔接更加自然，生成效果更加逼真，可以取得好的修复结果。本专利技术研究了基于生成对抗网络的图像修复，以生成对抗网络框架为基础，配合双判别器和注意力机制等，得到了一个图像修复方法。

技术实现思路

[0004]本专利技术的研究内容为结合注意力机制构造一个生成器和两个判别器的修复网络来进行图像修复。
[0005]本专利技术采用了如下方式来实现：
[0006]步骤一：构造缺失区域的掩膜：
[0007](1)算法设计规则形状的掩膜，缺失区域为一个矩形并且随机分布在图像中。
[0008]步骤二：构建图像修复的网络模型：
[0009](1)首先是生成器网络结构，是由编码器
‑
解码器构成的生成网络，网络结构大部分都是由卷积层组成，每一次卷积操作都包含了归一化和非线性激活层，归一化计算公式为其中x是归一化后的数据，x0是原始数据。生成网络的编码部分都是卷积层的堆叠，几乎对称的结构，中间通过全连接层进行连接，并且采用了并行网络结构，增加了网络对多尺度的适应性，提取特征更加丰富，同时采取1*1卷积，降低了维度，减少计算量。在提取特征的时候引入了注意力机制，让网络专注于重要的特征，且抑制不必要的特征。
[0010](2)其次是判别器，包含全局判别器和局部判别器，类似于编码器结构，主要将生成图像和真实图像进行二分类。真实图像和生成图像输入至全局判别器，局部真实图像和局部生成样本输入至局部判别器，判别器有卷积块和全连接层构成，卷积块由卷积层，归一
化Leaky_Relu激活层构成，Leaky_Relu具体公式为采用Leaky_Relu激活函数，防止梯度消失，并且相较于Relu函数，解决了x＜0区间上神经元死亡问题。全局判别器包含4个卷积块，局部判别器由3块卷积层构成，最后通过全连接层连接。
[0011]步骤三：搭建图像修复网络进行训练和测试：
[0012](1)对公开的数据集ImageNet选择不同类型的部分图像作为素材进行训练，训练使用Minibatch的方法，优化采用SGD算法，计算公式为这里，是学习率或步长，g
t
是梯度方向，Δθ
t
是损失函数优化量，包含了优化迭代的方向和步长。初始学习率为0.2，迭代轮数epoch为200，每20个epoch衰减一次学习率。之后对得到的网络模型进行测试，并进行结果定性分析和定量分析。
[0013]优选的：所述步骤二构造图像修复的网络结构中包含并行网络结构模块、注意力模块和双判别器网络结构：并行网络结构模块，是由三层网络构成，上层结构中1*1卷积主要减少通道数量，之后进行reshape操作，重新定义特征图尺寸匹配另外两条支路的输出。中间层采用多个步幅为2的4*4卷积，实现下采样以及避免图像重影，然后将中间层的输出与上层的输出做矩阵点乘，以1*1卷积的输出作为图像空间约束，下层卷积模块是为了引入不同尺度的浅层信息，提供浅层的感受野，缓解因为神经网络层数加深而带来梯度消失问题，采用两次5*5卷积，最后通过reshape操作规范尺寸。
[0014]构造注意力模块：注意力机制是为了让网络专注于重要的特征，且抑制不必要的特征，因为卷积运算的特征是通过混合跨通道和空间信息来提取特征的，所以本专利技术借鉴CBMA的理论基础，从通道和空间两个维度考虑注意力机制。因为本专利技术针对的图像修复任务，特征提取的误差主要体现在领域大小受限造成的估计值方差增大，所以对通道和空间两个维度均用了全局平均池化。通道注意力首先进行global average pooling，然后通过一层神经网络sigmoid激活，计算公式为之后与输入特征图进行乘法操作。空间注意力采用global average pooling后，经过3*3卷积，再与输入特征做乘法。设计的注意力机制虽然简单，但是提高了对重要信息的关注。
[0015]构造双判别器的网络结构：传统的生成对抗网络，有两部分组成，包括生成器和判别器。而本专利技术的修复模型，包含一个生成器和两个判别器，两个判别器分别是一个全局判别器和一个局部判别器。真实图像和生成图像输入至全局判别器，局部真实图像和局部生成样本输入至局部判别器，进一步增强了待修复区域的细节和整体一致性。训练过程中，判别器输出的判别损失值作为梯度信息来更新判别器和生成器各层网络层的参数矩阵和偏置项。
[0016]本专利技术的有益效果为：
[0017]1、相较于卷积自编码网络，本专利技术在生成网络中采用了并行网络模块，增加网络对多尺度的适应性，增加了感受野，并行网络中采取的1*1卷积，减少了通道数量，降低了计算量。以及引入了注意力机制，可以更好的提取有用的特征，抑制不重要的特征，使修复结构具有很好的全局一致性。
[0018]2、相较于传统的GAN网络，本专利技术采取了双判别器网络，一个全局判别器和一个局
部判别器，全局判别器和局部判别器输出进行拼接得到输入图像的真假，对图像修复可以得到更加细致的结果，使图像更加真实、自然。
附图说明
[0019]图1为本专利技术所述方法流程图。
[0020]图2为本专利技术构造的并行网络结构图。
[0021]图3为本专利技术构造的注意力机制模块图。
[0022]图4为本专利技术搭建的判别网络结构图。
具体实施方式
[0023]下面结合附图和具体实施例对本专利技术的技术方案做进一步的详细说明：
[0024]具体实施一：
[0025]本实施方式的一种基于注意力机制的双判别器图像修复方法，如图1所示，所述方法包括以下步骤：
[0026]步骤一：构造缺失区域的掩膜。
[0027]步骤二：构建图像修复的网络模型。
[0028]步骤三：搭建图像修复网络进行训练和测试。
[0029]具体实施二：
[0030]与具体实施一不同的是，本实施方式的一种基于注意力机制的双判别器图像修复方法，所述步骤一构造缺失区域的掩膜具体做法为：
[0031]算法设计规则形状的掩膜，缺失区域为一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的双判别器图像修复方法，其特征在于，包含以下步骤：步骤一：构造缺失区域的掩膜：(1)算法设计规则形状的掩膜，缺失区域为一个矩形并且随机分布在图像中；步骤二：构建图像修复的网络模型：(1)首先是生成器网络结构，是由编码器
‑
解码器构成的生成网络，网络结构大部分都是由卷积层组成，每一次卷积操作都包含了归一化和非线性激活层，归一化计算公式为其中x是归一化后的数据，x0是原始数据；生成网络的编码部分都是卷积层的堆叠，几乎对称的结构，中间通过全连接层进行连接，并且采用了并行网络结构，增加了网络对多尺度的适应性，提取特征更加丰富，同时采取1*1卷积，降低了维度，减少计算量；在提取特征的时候引入了注意力机制，让网络专注于重要的特征，且抑制不必要的特征；(2)其次是判别器，包含全局判别器和局部判别器，类似于编码器结构，主要将生成图像和真实图像进行二分类；真实图像和生成图像输入至全局判别器，局部真实图像和局部生成图像输入至局部判别器；判别器由卷积块和全连接层构成，卷积块由卷积层，归一化和Leaky_Relu激活层构成，Leaky_Relu函数计算公式为采用Leaky_Relu激活函数，是为了防止梯度消失，并且相较于Relu函数，解决了x＜0区间上神经元死亡问题；全局判别器包含4个卷积块，局部判别器由3块卷积层构成，最后通过全连接层连接；步骤三：搭建图像修复网络进行训练和测试：(1)对公开的数据集ImageNet选择不同类型的部分图像作为素材进行训练，训练使用Minibatch的方法，优化采用SGD算法，计算公式为这里，是学习率或步长，g
t
是梯度方向，Δθ
t
是损失函数优化量，包含了优化迭代的方向和步长；初始学习率为0.02，迭代轮数epoch为200，每20个epoch衰减一次学习率；之后对得到的网络模型进行测试，并进行结果定性分析和定量分析。2.根据权利要求1所述一种基于注意力机制的双判别器图像修复模型，其特征在于，搭建图像修复的网络结构：(1)构造并行网络结构模型：采用并行网络结构，三个并行的网络结构，增加网络对多尺度的适应性，上层支路...

【专利技术属性】
技术研发人员：蒋志鑫，于广旺，陈梦强，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：