一种基于双门控卷积的相互编解码网络的图像修复方法技术

本发明专利技术公开了一种基于双门控卷积的相互编解码网络的图像修复方法，包括以下步骤：S1、搭建网络模型，包括修复网络和判别器网络，构建BG

【技术实现步骤摘要】
一种基于双门控卷积的相互编解码网络的图像修复方法


[0001]本专利技术属于图像处理
，具体涉及一种基于双门控卷积的相互编解码网络的图像修复方法。

技术介绍

[0002]随着大数据时代的到来，计算机硬件水平飞速提升，深度学习理念也再一次进入人们的视野，研究者尝试把深度学习模型引入到计算机视觉任务中并卓有成效，卷积神经网络(Convolutional Neural Network，CNN)的出现，使计算机能够更好地对图片进行特征学习，受此启发，基于深度学习的图像修复方法应运而生，这类方法通过训练深度模型获取图像高层语义信息，学习图像结构纹理修复大区域破损图像，这类方法解决了传统图像修复不足的问题，并且取得了出色的修复效果。生成对抗网络(Generative Adversarial Network，GAN)的出现让模型学习概率分布成为可能。
[0003]目前应对图像不规则修复所使用的卷积主要有两种：部分卷积和门控卷积，部分卷积认为不应该提取被遮挡区域的特征，部分卷积仅使感受野范围内有效的像素参与卷积运算，其使用二进制mask来判断哪些像素是有效的，即哪些像素没被遮挡，其mask的值只有0和1，1表示被遮挡，0表示不被遮挡，部分卷积简单粗暴地将区域划分为遮挡区域和非遮挡区域，但实际上是存在中间区域的，即初步修复后的半遮挡区域，mask值应该介于0和1之间。并且每一层特征的所有通道共享相同的mask，这限制了灵活性，不同通道应该享有不同的mask，例如通道1在某个位置被遮挡了，但存在通道2在相同的位置上没被遮挡的情况。门控卷积解决了部分卷积的不足，门控卷积对图片/特征学习出门控值，门控值由M
l
表示，上标l指代learning，表示为网络学习，即M
l
表示为通过网络学习得到的门控值，门控值表示图片被遮挡的权重值，其值介于0到1之间，例如表示图片或者特征在位置(i，j)(即i行j列)上的被遮挡程度，门控卷积的缺点在于M
l
的准确性不足，又或者说网络难以学习出精确的M
l
。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，提出一种基于双门控卷积的相互编解码网络的图像修复方法。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]一种基于双门控卷积的相互编解码网络的图像修复方法，包括以下步骤：
[0007]S1、搭建网络模型，包括修复网络和判别器网络，构建基于双门控卷积的相互编解码网络作为修复网络，判别器网络采用全局判别器和局部判别器；
[0008]S2、选取数据集，选取多张训练图，并在matlab中使用RTV光滑化算法得到每张训练图的结构图，训练时的mask集使用随机mask；
[0009]S3、使用mask对原图I
gt
进行遮挡，得到破损后的图片I
broken
，将I
broken
作为BG
‑
MED网络的输入，经过BG
‑
MED网络的修复，输出得到修复后的图片I
out
；
[0010]S4、计算判别器的总损失值L
dis
，使用Adam优化算法，更新全局判别器和局部判别器的参数；
[0011]S5、计算修复网络的损失值L
total
，根据L
total
，使用Adam优化算法，对BG
‑
MED模型参数进行更新；
[0012]S6、重复步骤S3
‑
S5多次，利用训练好的模型参数设置BG
‑
MED网络模型值；
[0013]S7、将模型用于实际图像修复，使用表示破损图片的破损区域的mask图片，将破损图片的待修复区域覆盖，得到被遮挡的图片I
broken
，将其作为BG
‑
MED模型的输入，I
broken
经过BG
‑
MED模型的计算输出，得到修复完成的图片I
out
。
[0014]本专利技术与现有技术相比，具有如下优点和有益效果：
[0015]1、本专利技术方法，在定性指标(PSNR(峰值信噪比)、SSIM(结构相似性))上要优于目前大部分图像修复技术；在视觉的修复结果上，要优于绝大多数图像修复技术，特别是在物体轮廓的修复上，很符合物体连贯性和语义一致性。
[0016]2、本专利技术针对目前对于图片不规则修复所使用的卷积的不足，提出了双门控卷积，将二进制mask以及网络学习出的门控值进行自适应融合，得到描述图片/特征的最终门控值；双门控卷积结合了原本的二进制mask，提高了门控值的识别精度，解决了门控卷积所提取出的门控值的准确性不足的问题。
附图说明
[0017]图1是本专利技术方法的流程图；
[0018]图2是本专利技术实施例中修复网络的结构示意图；
[0019]图3是本专利技术方法与其他图像修复技术的对比图。
具体实施方式
[0020]下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0021]实施例
[0022]如图1所示，本专利技术，一种基于双门控卷积的相互编解码网络的图像修复方法，包括以下步骤：
[0023]S1、搭建网络模型，包括修复网络和判别器网络，构建基于双门控卷积的相互编解码网络(BG
‑
MED)作为修复网络，判别器网络采用全局判别器和局部判别器；
[0024]其中，修复网络包括三部分：编码器、修复模块以及解码器；
[0025]如图2所示，修复网络具体如下：
[0026]编码器对破损图片使用5个双门控卷积，得到5个不同深度、不同大小的图像特征，编码器提取的特征分别由F
en1
、F
en2
、F
en3
、F
en4
、F
en5
表示，其中下标en表示编码器提取的特征，后面的数字代表层数；
[0027]将编码器提取出的前三个特征视为浅层特征，使用自适应空间特征融合将前三个特征进行融合，得到纹理特征，由F
te
表示，下标te指代texture，表示纹理，自适应空间特征融合的步骤如下：
[0028]将图像特征F
en1
、F
en2
、F
en3
的结构大小调整至与F
en3
相同，其中对F
en1
使用两个卷积，
对其进行结构调整，得到调整后的特征用F
fusion_1
表示，两个卷积分别为conv(64，128，3，2，1)、conv(128，256，3，2，1)；对F
en2
使用一个卷积，对其进行结构调整，得到调整后的特征用F
fusion_2
表示，该卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双门控卷积的相互编解码网络的图像修复方法，其特征在于，包括以下步骤：S1、搭建网络模型，包括修复网络和判别器网络，构建基于双门控卷积的相互编解码网络作为修复网络，判别器网络采用全局判别器和局部判别器；S2、选取数据集，选取多张训练图，并在matlab中使用RTV光滑化算法得到每张训练图的结构图，训练时的mask集使用随机mask；S3、使用mask对原图I
gt
进行遮挡，得到破损后的图片I
broken
，将I
broken
作为BG
‑
MED网络的输入，经过BG
‑
MED网络的修复，输出得到修复后的图片I
out
；S4、计算判别器的总损失值L
dis
，使用Adam优化算法，更新全局判别器和局部判别器的参数；S5、计算修复网络的损失值L
total
，根据L
total
，使用Adam优化算法，对BG
‑
MED模型参数进行更新；S6、重复步骤S3
‑
S5多次，利用训练好的模型参数设置BG
‑
MED网络模型值；S7、将模型用于实际图像修复，使用表示破损图片的破损区域的mask图片，将破损图片的待修复区域覆盖，得到被遮挡的图片I
broken
，将其作为BG
‑
MED模型的输入，I
broken
经过BG
‑
MED模型的计算输出，得到修复完成的图片I
out
。2.根据权利要求1所述的一种基于双门控卷积的相互编解码网络的图像修复方法，其特征在于，修复网络包括三部分：编码器、修复模块以及解码器；修复网络具体如下：编码器对破损图片使用5个双门控卷积，得到5个不同深度、不同大小的图像特征，编码器提取的特征分别用F
en1
、F
en2
、F
en3
、F
en4
、F
en5
表示，其中下标en表示编码器提取的特征，后面的数字代表层数；将编码器提取出的前三个特征F
en1
、F
en2
和F
en3
视为浅层特征，使用自适应空间特征融合将前三个特征进行融合，得到纹理特征，由F
te
表示，下标te指代texture，表示纹理，自适应空间特征融合的步骤如下：将图像特征F
en1
、F
en2
、F
en3
的结构大小调整至与F
en3
相同，其中对F
en1
使用两个卷积，对其进行结构调整，得到调整后的特征用F
fusion_1
表示，两个卷积分别为conv(64，128，3，2，1)、conv(128，256，3，2，1)；对F
en2
使用一个卷积，对其进行结构调整，得到调整后的特征用F
fusion_2
表示，该卷积为conv(128，256，3，2，1)；对F
en3
使用一个卷积，进一步提取F
en3
中的特征，得到调整后的特征，其结构不变，用F
fusion_3
表示，该卷积为conv(256，256，3，1，1)；conv()定义为卷积操作，具体表示为conv(in，out，kernel_size，stride，dilation)，in表示输入通道数，out表示输出通道数，kernel_size表示卷积核数，stride表示卷积的步长，dilation表示扩张因子，即卷积核之间的空间距离；使用三个相同的卷积分别对F
fusion_1
、F
fusion_2
、F
fusion_3
进行降通道操作，将特征的通道降为16，分别得到三个降通道后的特征：和三个相同的卷积具体为conv(256，16，1，1，1)；将和拼接起来得到一个48通道的特征之后再使用卷积conv(48，3，1，1，1)，对其进行降通道操作，得到一个3通道的特征，用来表
示，在中，第一个通道特征为λ
α
，第二个通道特征为λ
β
，第三个通道特征为λ
γ
；对λ
α
、λ
β
和λ
γ
使用softmax函数，得到三个系数α、β、γ，公式如下：使用softmax函数，得到三个系数α、β、γ，公式如下：使用softmax函数，得到三个系数α、β、γ，公式如下：其中，下标i和j表示为特征在i行j列上的值；最后利用得到的三个系数α、β、γ，将三个特征进行融合，最终得到纹理特征F
te
，公式如下：F
te
＝α
⊙
F
fusion_1
+β
⊙
F
fusion_2
+γ
⊙
F
fusion_3
其中，
⊙
表示为点乘操作；将编码器提取出的后三个特征F
en3
、F
en4
、F
en5
视为深层特征，使用自适应空间特征融合将后三个特征进行融合，得到结构特征F
st
，下标st指代structure，表示结构，自适应空间特征融合的步骤如下：将图像特征F
en3
、F
en4
、F
en5
的结构大小调整至与F
en3
相同，其中使用一个卷积conv(256，256，3，1，1)，进一步提取F
en3
中的特征，其结构不变，用F
fusion_4
表示；对F
en4
使用最邻近上采样，即扩大特征的尺度，再进行卷积conv(512，256，3，1，1)，对其进行结构调整，得到调整后的特征F
fusion_5
；对F
en5
使用最邻近上采样，再进行卷积conv(512，256，3，1，1)，之后再使用最邻近上采样，并进行卷积conv(256，256，3，1，1)，对其进行结构调整，得到调整后的特征F
fusion_6
；使用三个相同的卷积分别对F
fusion_4
、F
fusion_5
、F
fusion_6
进行降通道操作，将特征的通道降为16，分别得到三个降通道后的特征：和三相同的卷积具体为conv(256，16，1，1，1)；将和拼接起来得到一个48通道的特征之后再使用卷积conv(48，3，1，1，1)，对其进行降通道操作，得到一个3通道的特征，用来表示，在中，第一个通道特征为λ
α
，第二个通道特征为λ
β
，第三个通道特征为λ
γ
；对λ
α
、λ
β
和λ
γ
使用softmax函数，得到三个系数α、β、γ，公式如下：使用softmax函数，得到三个系数α、β、γ，公式如下：
其中，下标i和j表示为特征在i行j列上的值；最后利用得到的三个系数α、β、γ，将三个特征进行融合，最终得到纹理特征F
st
，公式如下：F
st
＝α
⊙
F
fusion_4
+β
⊙
F
fusion_5
+γ
⊙
F
fusion_6
其中，
⊙
表示为点乘操作。3.根据权利要求2所述的一种基于双门控卷积的相互编解码网络的图像修复方法，其特征在于，修复模块有两个修复分支，分别对结构特征F
st
和纹理特征F
te
进行修复，两个修复分支都由5个密集多尺度融合模块组成，密集多尺度融合步骤如下：使用卷积conv(256，64，3，1，1)对当前层特征F进行降通道操作，得到64通道的特征F
64
；分别使用扩张因子为1、2、4、8的扩张卷积对F
64
进行卷积，得到4个不同感受野的特征：F
d1
、F
d2
、F
d4
、F
d8
，其中下标d表示使用扩张卷积后的特征，后面衔接的数字表示扩张因子的大小，4个卷积分别为conv(64，64，3，1，1)、conv(64，64，3，1，2)、conv(64，64，3，1，4)、conv(64，64，3，1，8)；将低感受野的特征补充到高感受野的特征当中，操作如下：F
′
d2
＝F
d1
+F
d2
F
′
d4
＝F
d1
+F
d2
+F
d4
F
′
d8
＝F
d1
+F
d2
+F
d4
+F
d8
得到三个补充后的高感受野特征：F
′
d2
、F
′
d4
、F
′
d8
；将4个不同感受野的特征F
d1
、F
′
d2
、F
′
d4
、F
′
d8
进行拼接，得到拼接后的特征F
combine
，F
combine
的通道数为256，最后再使用一个卷积conv(256，256，3，1，1)，得到下一层的特征F
′
；结构特征F
sｔ
和纹理特征F
te
经过修复分支，得到修复后的结构特征F
osｔ
和修复后的纹理特征F
ote
，F
ost
和F
ote
进行拼接融合，再对每个通道进行重新加权，得到修复后的特征F
ouｔ
，通道重新加权步骤如下：将全局信息进行压缩，对当前层特征进行全局池化，得到聚合信息z，公式如下：其中，z
c
是指聚合信息z的第c个通道的特征的平均值，是对当前层第c个通道特征F在空间维度H
×
W执行全局平均池化后的结果；f
c
(i，j)表示当前层特征F在通道c中i行j列的值，将每个通道的聚合信息z
c
拼接起来，即为聚合信息z；利用得到的聚合信息z，捕获通道的依赖关系，公式如下：S＝σ(Conv2⊙
δ(Conv1⊙
Z))其中，σ表示sigmoid激活函数，δ表示relu激活函数，Conv1和Conv2是两个不同的卷积，Conv1为conv(512，16，1，1，1)，Conv2为conv(16，512，1，1，1)；将S与...

【专利技术属性】
技术研发人员：俞鹤伟，杨仁峰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：