基于多特征融合网络的图像修复方法技术

本发明专利技术公开了一种基于多特征融合网络的图像修复方法，包括：S1基于多特征融合的生成网络；S2编码器中基于多级特征提取的下采样模块；S3解码器中基于多级特征提取的上采样模块；S4解码器中基于亚像素的上采样层；S5基于块的判别网络。本发明专利技术首先将待修复图像输入基于多特征融合的生成网络中，得到具有一定结构信息的初始修复图像；然后将初始修复图像输入到基于多特征融合的精细生成网络中，进一步填充高频信息；通过计算重建损失、结构损失和对抗损失，优化网络参数，使得修复后的图像具有清晰合理的结构信息及有序的纹理信息，提升修复后图像的视觉质量。复后图像的视觉质量。复后图像的视觉质量。

【技术实现步骤摘要】
基于多特征融合网络的图像修复方法


[0001]本专利技术属于基于深度学习的图像修复领域，针对具有较大区域缺失的图像修复问题，结合图像中的全局语义信息及局部结构特征信息，提出了基于多特征融合网络的图像修复方法。

技术介绍

[0002]图像修复技术在工业界及日常生活中具有广泛的应用，例如，影视界对视频及图像的编辑、去除照片中的遮挡物、艺术品的修缮、图像的传输等。图像编辑软件Photoshop提供基于内容的图像填充技术，该技术通过匹配邻域内已知图像块，允许用户对指定图像区域进行自动填充。图像修复涉及图像特征的提取及图像语义场景的理解，近年来，深度神经网络的快速发展及应用极大促进了图像修复领域的发展。如何设计网络架构，提高神经网络对图像全局语义信息的提取及局部特征的提取成为了学术界和工业界的广泛关注点。
[0003]目前，国内外学者在基于深度学习的图像修复领域做出了很多有价值的研究成果。Deepak Pathak等人提出基于上下文编码的图像修复方法，通过结合“编码器
‑
解码器”的生成网络及判别网络学习图像中上下文特征信息，进而生成语义合理的缺失区域信息。在此基础上，Iizuka等人进一步提出基于全局及局部一致性的判别网络。为保持边界的一致性，该方法需要采用泊松融合技术对修复后的图像进行后处理。Yu等人提出了基于注意力机制的Rough
‑
to
‑
Fine架构，通过级联两个生成网络增大感受野，能够更加充分地提取全局语义信息；注意力层能够利用远距离的空间关联关系，使得生成的图像信息更加清晰。
[0004]已有的图像修复方法通过多层卷积提取图像的局部结构特征，未充分利用图像中的多尺度及多级别特征，导致网络缺乏对图像的语义理解，使得生成的图像具有纹理紊乱、结构及边界模糊的现象。

技术实现思路

[0005]本专利技术针对现有图像修复技术对已知图像区域特征提取的不足，提出了一种基于多特征融合网络的图像修复方法。首先，在生成网络中加入自适应长连接和多级短连接，不仅能够将浅层特征传递到深层，使得模型优化过程更加稳定，而且能够增加模型对特征及语义信息的提取及表达能力，使得生成的图像具有一致性的边界信息；然后，在解码阶段，采用亚像素层进行上采样，有效地降低棋盘效应和模糊现象。本专利技术采用由粗糙到精细(Rough
‑
to
‑
Fine)的网络架构，即生成网络由两个多特征融合网络构成。首先，待修复图像输入到粗糙多特征融合生成网络，得到初始的修复图像，该图像具有合理的结构信息，但缺乏精细的纹理；然后，将初始修复图像输入到精细多特征融合生成网络，在初始修复结果的基础上进一步填充精细的纹理信息；最后，本专利技术结合判别网络对生成网络进行对抗优化，使得生成网络能够产生更多的高频信息，从而提升修复图像的视觉效果。
[0006]基于多特征融合网络的图像修复方法具体步骤包括：
[0007]步骤(1).在通道维度级联具有缺失区域的图像I
in
和掩码图像I
m
，获得网络的输入
张量，公式为：
[0008]T
in
＝f
cat
(I
in
，I
m
)
[0009]步骤(2).将张量T
in
输入到多特征融合生成网络G
a
，生成网络G
a
由编码器和解码器构成。编码器由多层步长为2的卷积层构成，对输入张量进行多层特征提取，将其映射到高维度、高度抽象的潜在特征空间。解码器的结构和编码器的结构成对称分布，由多层上采样卷积层构成，将编码器输出的高级潜在特征向量映射到图像空间，同时将缺失区域填充得到修复后的图像。
[0010]本专利技术设计一种新的多特征融合生成网络，通过自适应长连接将编码器层信息和对应的解码器层信息进行自适应融合；同时，本专利技术设计了多级下采样模块和多级上采样模块分别作为编码器和解码器的基本构成模块。
[0011]初始粗糙修复图像的计算公式为：
[0012]I
a
＝G
a
(T
in
)
[0013]步骤(3).将初始修复图像I
a
级联掩膜图像输入到多特征融合生成网络G
b
进行细化。由于I
a
图像的缺失区域已被生成网络G
a
进行填充，填充的内容是基于图像中的已知信息生成的，因此，相比于G
a
网络，G
b
网络具有更大的感受野，从而能够更好地生成全局语义信息一致的像素信息。计算公式为：
[0014][0015]步骤(4).将修复图像I
out
和真实图像I
g
分别输入到判别网络。对于每幅输入图像，判别网络对其进行特征提取，并生成大小为N
×
N的矩阵X，其元素X
i，j
代表输入图像中的局部图像块。
[0016]步骤(5).计算损失，并对生成网络及判别网络进行优化。本专利技术采用L1损失，确保初始图像修复I
a
和细化修复图像I
out
和真实图像I
g
之间的像素级一致性，计算公式为：
[0017]L
re
＝E[||I
a
‑
I
g
||1+||I
out
‑
I
g
||1][0018]为了提高修复图像中结构信息的清晰度，采用多尺度SSIM损失，计算公式为：
[0019][0020]其中，D
n
(
·
)为采用平均池化对图像进行降采样，2
n
‑1为降采样倍数。本专利技术中采用N＝5，即5种不同尺度计算修复图像I
bout
和真实图像I
g
之间的SSIM损失。通过局部和全局结构相似度约束引导生成网络产生高视觉质量的图像。
[0021]本专利技术采用基于最小二乘对抗损失，进一步提升生成图像中的高频信息，计算公式为：
[0022][0023]其中，D(
·
)为判别器网络，G(
·
)为生成器网络。P
r
为真实图像分布，P
f
为待修复图像分布。常量1为真实图像标签，常量0为生成图像标签。最小二乘对抗损失能够提高训练过程的稳定性及生成网络的性能。
[0024]以上三种损失函数通过加权得到整体损失函数，其公式为：
[0025]L＝λ
r
L
re
+λ
d
L
d
+λ
MS_SSIM
L
MS_SSIM
[0026]其中，λ
r
＝4，λ
d
＝2和λ
MS_SSIM
＝1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多特征融合网络的图像修复方法，其特征在于，包括如下步骤：步骤(1).将待修复图像在通道维度级联掩膜图像，输入到多特征融合生成网络G
a
，计算公式为：T
in
＝f
cat
(I
in
，I
m
)步骤(1.1).多特征融合生成网络G
a
由编码器和解码器构成；编码器的前两层为5
×
5卷积层和Relu非线性激活层,计算公式为：步骤(1.2).接下来为5个多级下采样模块，前一层的输出特征图被输入到两个分支，上分支作为短跳跃连接通过一个卷积模块提取低级特征，下分支通过两个卷积模块提取高级特征，将两个分支提取的特征相加作为该模块的输出特征图，计算公式为：步骤(1.3).在解码器中，采用和解码器对应的结构，前5层为多级上采样模块；上一层的输出特征图被输入到两个分支中；其中，上分支为一个卷积模块，包括3
×
3卷积层和Relu非线性激活层；下分支为两个卷积模块，提取更为抽象的高级特征信息；两个分支提取的特征图相加输入到下一层中，计算公式为：步骤(1.4).接下来的1
×
1卷积层将多级融合特征及由长跳跃连接输送的编码器提取的特征进行自适应融合，计算公式为：1
×
1卷积层一方面学习在通道维度对两种特征进行最优化融合，另一方面通过减少通道数能够有效去除冗余信息；步骤(1.5).采用亚像素方法对特征图进行上采样，计算公式为：其中，f
ps
为周期性洗牌操作，将特征图中的元素进行重排；步骤(2).将以上步骤得到的初始修复图像和掩膜图像在通道维度级联，输入到精细多特征融合生成网络G
b
中，计算公式为：该网络采用和粗糙多特征融合生成网络G
a
相同的结构；首先，通过组合初始修复图像I
a
中的修复区域和输入图像中的已知区域得到生成网络G
a
的修复图像，在通道维度级联该修复图像和掩膜图像作为精细网络G

【专利技术属性】
技术研发人员：张新，王东京，陈涛，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：