一种结构与纹理相互促成的图像修复方法技术

本发明专利技术属于自然图像处理领域，特别涉及一种结构与纹理相互促成的图像修复方法。本发明专利技术遵循生成对抗网络的基本框架，包括双分支并行耦合生成器和双分支鉴别器两部分。双分支并行耦合生成器利用两个支流分别重建结构和合成纹理，在此过程中，两个支流进行频繁的双向交互，使结构和纹理相互获取互补信息，形成结构指导纹理合成，纹理促进结构重建的模式，同时，两者的频繁交互实现了结构和纹理的相互感知，精准地保证了两者之间的一致性。双分支鉴别器分别从结构和纹理两个方面对生成器生成的图像进行真假鉴别，含有结构对抗和纹理对抗两个过程，监督生成器生成结构和纹理都合理的图像。像。像。

【技术实现步骤摘要】
一种结构与纹理相互促成的图像修复方法


[0001]本专利技术属于自然图像处理领域，特别涉及一种结构与纹理相互促成的图像修复方法。

技术介绍

[0002]图像修复旨在根据受损图像中的已知区域来预测生成图像中的未知区域，从而合成视觉上合理的高质量图像。图像修复被广泛应用于图像编辑、老照片修复、目标移除等任务上。然而，生成合理的图像内容是极具挑战性的。
[0003]目前，图像修复方法主要分为传统方法和基于深度学习的方法。传统的方法主要包括基于扩散的方法和基于小块的方法。基于扩散的方法的思路是通过变分问题推导出迭代算法，达到将图像已知区域的边界像素扩散到未知区域的目的。基于小块的方法旨在已知区域寻找与未知区域最相关的小块，以复制小块的方式来填补缺失区域。但是，这些传统方法只能在图像水平上机械推理，并不能挖掘到图像的高级语义特征，对填补更大缺失区域的图像效果不理想。
[0004]近几年来，随着深度学习和神经网络的发展和应用，基于深度学习的图像修复方法弥补了传统方法的不足，并取得了更优的性能。其中，卷积神经网络和生成对抗网络在图像修复任务中被广泛应用。Pathak等人提出第一个基于深度学习的修复方法，设计了上下文编码器，采用编码器
‑
解码器结构，在其中嵌入了通道全连接层提升网络预测能力，同时，他们将对抗训练应用于该网络，使图像更加清晰。自此，众多研究者在上下文编码器的基础上进行改进。一些研究者以卷积神经网络为工具，寻求更好的特征表示和特征推理方法。Iizuka等人通过堆叠多层空洞卷积来捕获更远距离的上下文信息。Wang等人用不同大小的卷积核提取图像的多尺度特征。Zeng等人用上下文转换模块来搜集更多样的上下文信息，并实现了对上下文信息的自适应筛选。一些研究者将传统方法的思路用到深度方法中。例如，Yu等人构建了由粗修复和精修复两个阶段组成的两阶段框架，并引入上下文注意力，通过计算特征块之间的余弦相似度，将已知区域最相关的特征块聚合到未知区域中，实现特征恢复。随后，Liu等人针对上下文注意力机制语义不连贯的问题，提出了语意连贯注意力机制，使图像的局部细节更加平滑。然而，以上方法都缺乏结构先验知识的指导，导致生成的图像具有不正确的结构。
[0005]近几年来，一些研究者探寻合理的结构先验工具。在2019年，Nazeri等人提出了EdgeConnect，首次将边缘引入到图像修复任务中。其主要思路为：第一阶段先对受损的边缘进行修复，并将修复好的边缘作为结构先验，来指导第二阶段图像纹理细节的修复。同年，Ren等人提出了StructureFlow，将边缘保留的平滑结构图像作为结构先验，并应用于两阶段模型中。然而，这些两阶段的架构存在弊端，其在第一阶段得到合理的结构先验是非常困难的，不合理的结构先验会对后续图像修复的效果造成不良影响。随后，一系列新颖的一阶段模型被提出，意图在特征图的层面上对图像的结构和纹理进行建模。Li等人提出了视觉结构渐进重建网络，采用一个编码器
‑
解码器结构，在重建边缘的同时，对图像进行修复。
在2020年，Liu等人提出了结构和纹理互编码器网络，意图利用大分辨率的低级特征来合成图像的纹理，小分辨率的高级特征来重构图像的结构。然而，这些方法结构与纹理共享一个编码
‑
解码网络，会造成图像结构和纹理的杂糅和混乱。在2021年，一些研究者提出了双编码器
‑
单解码器的网络，其利用两个编码器分别编码图像的结构和纹理信息，并在一个共享的解码器中将二者进行融合。然而，以上结构
‑
纹理建模方法存在一个共同的问题，他们没有将结构和纹理之间的关系考虑全面。结构重建和纹理合成两个过程是相对分离的，两者是无法获取互补信息的，这对保持结构和纹理的一致性是不利的。
[0006]已有方法有以下的劣势：第一，传统的图像修复方法不能捕获到图像的深层语义特征；第二，基于特征表示和特征推理的方法不能获取正确的结构先验指导；第三，在已有的结构
‑
纹理建模方法中，没有将结构和纹理之间的关系考虑全面，两者相对分离，很难相互获取指导性信息，对保持结构与纹理的一致性不利。
[0007]为此，本申请的观点在于结构重建和纹理合成之间应该保持信息互通和双向影响，用以保证两者之间的一致性，同时又可以达到结构和纹理相互促进生成的效果。

技术实现思路

[0008]本专利技术的目的是提供一种结构与纹理相互促成的图像修复方法。此方法遵循生成对抗网络的基本框架，包括双分支并行耦合生成器和双分支鉴别器两部分。双分支并行耦合生成器利用两个支流分别重建结构和合成纹理，在此过程中，两个支流进行频繁的双向交互，使结构和纹理相互获取互补信息，形成结构指导纹理合成，纹理促进结构重建的模式，同时，两者的频繁交互实现了结构和纹理的相互感知，精准地保证了两者之间的一致性。双分支鉴别器分别从结构和纹理两个方面对生成器生成的图像进行真假鉴别，含有结构对抗和纹理对抗两个过程，监督生成器生成结构和纹理都合理的图像。
[0009]为了实现上述目的，本专利技术提供了如下技术方案：
[0010]一种结构与纹理相互促成的图像修复方法，包括如下步骤：
[0011]步骤a、搭建双分支并行耦合生成器的网络框架：
[0012]双分支并行耦合生成器以边缘作为结构表示，以图像作为纹理表示，对图像的结构和纹理进行建模；该框架包含并行的结构支流和纹理支流；结构支流以受损边缘E
in
、受损灰度图像Y
in
和二值掩码M为输入，旨在重建受损的结构，其中，所述二值掩码中，0代表未受损区域，1代表受损区域；纹理支流是以受损图像I
in
和二值掩码M为输入，旨在为受损区域合成纹理细节；与此同时，在两个支流之间嵌入两种特征交互机制，即结构
‑
纹理交互单元STIU和基于空间域和通道域的交互模块SCIM，用以实现结构特征和纹理特征的双向交互，使两者能够相互获取到互补信息，来增强自身特征；
[0013]双分支并行耦合生成器包括四个部分：1、结构
‑
纹理交互的编码器STIE；2、结构
‑
纹理远距离交互STDI；3、结构
‑
纹理交互的解码器STID；4、结构
‑
纹理融合STF；
[0014]其中，结构
‑
纹理交互的编码器STIE包括结构编码器SE、纹理编码器TE和3个结构
‑
纹理交互单元STIU；其中，结构编码器SE和纹理编码器TE都包含3层卷积层，结构编码器SE提取结构特征，纹理编码器TE提取纹理特征，且结构特征和纹理特征通过结构
‑
纹理交互单元STIU进行双向交互、提取互补信息；结构
‑
纹理交互的编码器STIE的步骤表示为如下公式：
[0015][0016]在公式1中，i＝1,2,3；是SE中第i层卷积层输出的结构特征；是TE中第i层卷积层输出的纹理特征；和分别是SE本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构与纹理相互促成的图像修复方法，其特征在于：所述方法包括如下步骤：步骤a、搭建双分支并行耦合生成器的网络框架：双分支并行耦合生成器以边缘作为结构表示，以图像作为纹理表示，对图像的结构和纹理进行建模；该框架包含并行的结构支流和纹理支流；结构支流以受损边缘E
in
、受损灰度图像Y
in
和二值掩码M为输入，旨在重建受损的结构，其中，所述二值掩码中，0代表未受损区域，1代表受损区域；纹理支流是以受损图像I
in
和二值掩码M为输入，旨在为受损区域合成纹理细节；与此同时，在两个支流之间嵌入两种特征交互机制，即结构
‑
纹理交互单元STIU和基于空间域和通道域的交互模块SCIM，用以实现结构特征和纹理特征的双向交互，使两者能够相互获取到互补信息，来增强自身特征；双分支并行耦合生成器包括四个部分：1、结构
‑
纹理交互的编码器STIE；2、结构
‑
纹理远距离交互STDI；3、结构
‑
纹理交互的解码器STID；4、结构
‑
纹理融合STF；其中，结构
‑
纹理交互的编码器STIE包括结构编码器SE、纹理编码器TE和3个结构
‑
纹理交互单元STIU；其中，结构编码器SE和纹理编码器TE都包含3层卷积层，结构编码器SE提取结构特征，纹理编码器TE提取纹理特征，且结构特征和纹理特征通过结构
‑
纹理交互单元STIU进行双向交互、提取互补信息；结构
‑
纹理交互的编码器STIE的步骤表示为如下公式：在公式1中，i＝1,2,3；是SE中第i层卷积层输出的结构特征；T
iTE
是TE中第i层卷积层输出的纹理特征；和分别是SE和TE中第i层卷积层；和都是增强后的结构特征；和都是增强后的纹理特征；为STIE中第i个结构
‑
纹理交互单元；“||”指按通道维度拼接操作；按照以上方式，计算出和两者随后被输出下述的结构
‑
纹理远距离交互；结构
‑
纹理远距离交互STDI包括结构瓶颈层SB、纹理瓶颈层TB和4个SCIM；结构瓶颈层SB和纹理瓶颈层TB都由4个残差空洞卷积模块RDCB组成，通过残差空洞卷积模块RDCB能够利用不同的空洞卷积层来搜索上下文信息，分别捕获结构和纹理的上下文信息；基于空间域和通道域的交互模块SCIM分别在空间域和通道域上对捕获的结构特征和纹理特征进行关注，实现结构
‑
纹理的远距离交互；结构
‑
纹理远距离交互STDI的模式表示为以下形式：在公式2中，j＝1,2,3,4；是SB中第j个RDCB输出的远距离结构特征；是TB中第j个RDCB输出的远距离纹理特征；和分别为SB和TB中第j个残差空洞卷积模块；和都是增强后的远距离结构特征；和都是增强后的远距离纹理特征；
SCIM
j
(
·
，
·
)是第j个基于空间域和通道域的交互模块；通过以上方式，计算出和两者随后被输入到下述的结构
‑
纹理交互的解码器；结构
‑
纹理交互的解码器STID包括结构解码器SD、纹理解码器TD和3个STIU；结构解码器SD和纹理解码器TD都包含2层卷积层和2层反卷积层，分别对结构和纹理进行恢复；结构
‑
纹理交互单元STIU用来对结构和纹理进行交互；具体地，结构解码器SD和纹理解码器TD中的第一层卷积层用来对和进行整合，分别得出和T
1TD
；随后过程的表达方式如下：在公式3中，k＝1,2,3；和都是增强后的结构特征；和都是增强后的纹理特征；是STID中第k个结构
‑
纹理交互单元；是SD中第k层卷积层输出的结构特征；是SD中第k+1层卷积层输出的结构特征；是TD中第k层卷积层输出的纹理特征；是TD中第k+1层卷积层输出的纹理特征；和是SD和TD中第k+1层卷积层；按照以上方式得出被恢复的结构特征和纹理特征同时，在结构
‑
纹理交互的解码器STID中构建了结构特征金字塔和纹理特征金字塔；在得出恢复好的结构特征和纹理特征后，嵌入一个结构
‑
纹理交互单元来对两者进行融合，表示为以下形式：在公式4中，F1和F2是两个融合后的特征；STIU
STF
(
·
，
·
)为结构
‑
纹理交互单元；为被恢复的结构特征；为被恢复的纹理特征；最后，两融合特征被按通道维度拼接，输入到输出层来生成最后的预测图像I
out
；步骤b、结构
‑
纹理双向交互模块的设计：由步骤a看出，两个结构
‑
纹理双向交互机制被嵌入到结构支流和纹理支流之间，分别是结构
‑
纹理交互单元STIU和基于空间域和通道域的交互模块SCIM；结构
‑
纹理交互单元STIU和基于空间域和通道域的交...

【专利技术属性】
技术研发人员：文成林，曹飞龙，宋执环，张清华，
申请(专利权)人：广东石油化工学院，
类型：发明
国别省市：