基于全局纹理与结构的图像修复方法技术

本发明专利技术公开了一种基于全局纹理与结构的图像修复方法，涉及图像处理领域，包括以下步骤：输入待修复图像，获取待修复图像的纹理参考集；利用已知区域和已经粗糙填充过的遮挡块作为条件，对后续的遮挡块进行填充，新的遮挡块粗糙填充后，放到条件里面，继续帮助后续的填充，具体包括：从纹理参考集中选取参考向量，修补所述粗糙填充块，并计算纹理参考集与粗糙填充块之间的注意力分数；利用桥接注意力模块与注意力分数重构粗糙填充块，经过多层构建后得到语料集合，从语料集合中选取关联最强的候选块，得到最终修复输出。本发明专利技术的方法得到的修复输出在语义上更加连贯。修复输出在语义上更加连贯。修复输出在语义上更加连贯。

【技术实现步骤摘要】
基于全局纹理与结构的图像修复方法


[0001]本专利技术涉及图像处理领域，更具体的说是涉及一种基于全局纹理与结构的图像修复方法。

技术介绍

[0002]图像修复是一种对图像的遮挡区域进行修复的技术，支持图像编辑和恢复等多种应用。开创性的以扩散为基础的和基于小块的方法只能通过简单的像素级颜色信息来对较小尺寸的掩蔽区域进行修复，无法捕获修复区域的高级语义。为了解决这一问题，人们将大量注意力转移到深度模型上，其中基于卷积神经网络(CNNs)的模型遵循编码器
‑
解码器架构来学习高级语义信息。然而，CNNs的局部归纳先验只接收到掩蔽区域局部空间范围内有界已知区域的填充信息。
[0003]为了解决这一问题，人们提出了基于注意机制的模型。特别地，以块为单位表示的遮挡区域，首先用粗糙内容填充，作为对图像中所有已知小块的查询，然后选择得分较大的候选块进行替换。值得注意的是，PENNet提出了一个跨层注意模块，计算深层特征图的注意分数，并根据注意分数对底层特征图进行块替换，最后通过上采样得到修复结果的输出。虽然它考虑了整个图像中所有已知的小块，但是每个已知的小块都被独立地考虑在遮挡区域上，这种策略会误导遮挡小块只被一个注意分数最大的已知显性块进行嵌入，从而导致修复输出不理想。
[0004]类似于基于注意力的方法，基于Transformer的模型也考虑来自所有已知区域的信息。而不是关注补丁池,它基于像素级,其中遮挡区域的每个像素作为查询去激发已知区域的像素,以便被重建,然后进一步投射到颜色词汇库中为修复选择最相关的颜色。然后，修复好的像素加入到已知的像素池中，这样的过程重复，直到所有像素按照预定义的顺序进行修复。技术上，BAT和ICT提出了一种解码器转换器，通过密集注意力机制模块捕获像素级的结构先验，并投射到视觉颜色语料库中，选择相应的颜色。一方面，它探究所有已知区域，而不是只确定有限的已知区域，因此优于注意力模型；另一方面，像素级不能很好地像小块级一样捕获语义，因此劣于注意力模型。此外，仅利用位置信息获得注意力分数，与纹理语义级别相差很远。此外，Transformer模型对大量像素进行计算可能导致计算负担由于自注意模块所带来的二次复杂度。
[0005]再进一步从纹理和结构的角度来看，上述方法基本上可以分为两类：一种是单纯的纹理方法，另一种是基于结构
‑
纹理的方法。由于纯纹理方法，如基于CNNs的和基于注意力的模型，严重依赖于已知的纹理信息来恢复掩蔽区域，但忽略结构可能会导致合理的纹理无法恢复；更糟糕的是，用于修复的纹理信息仅来自有界的已知区域，而不是整个图像，因此无法很好地捕捉全局图像中纹理之间的语义相关性。与此不同的是，基于结构
‑
纹理的方法旨在为受结构约束引导的遮挡区域生成更好的纹理语义。然后，通过不同的上采样网络进行纹理恢复。综上所述，它们的核心问题在于如何将结构信息填充到掩码区域。
[0006]EdgeConnect通过CNNs将边缘信息恢复为基于边缘图和遮挡黑白图的结构信息。
修复后的边缘图与含有纹理信息的被遮挡的真实图像结合，通过编解码器模型恢复遮挡区域。EII采用CNNs模型重构黑白图像的遮挡区域作为结构约束，在此基础上，颜色信息作为纹理流通过多尺度学习在图像中传播。MEDFE遵循编码器
‑
解码器架构，其中编码器的目标是均衡来自CNNs深层的结构特征和来自CNNs浅层的纹理特征，通过信道和空间均衡化处理，再作为输入反馈给解码器生成补画图像。尽管直觉上可以捕捉到结构信息，但未能利用所有已知块的信息，因此将其称为“伪全局结构”，与Transformer模型相比，可能会误导非理想的纹理恢复。CTSDG最近提出了一种结构和纹理可以通过基于U
‑
Net变体的两流结构相互引导。但是，它会利用局部纹理来引导全局结构，从而产生模糊伪影。在此基础上，如何生成全局纹理和结构信息，可以很好地利用整个图像的语义，以及如何匹配这两种类型的全局信息，对于图像修复是非常有益的。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种基于全局纹理与结构的图像修复方法，以解决
技术介绍
中存在的问题。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]一种基于全局纹理与结构的图像修复方法，包括以下步骤：
[0010]输入待修复图像，获取待修复图像的纹理参考集；
[0011]用已知区域和已经粗糙填充过的遮挡块作为条件，对后续的遮挡块进行填充，新的遮挡块粗糙填充后，放到条件里面，继续帮助后续的填充，具体包括：
[0012]从纹理参考集中选取参考向量，修补所述粗糙填充块，并计算纹理参考集与粗糙填充块之间的注意力分数；
[0013]利用桥接注意力模块与注意力分数重构粗糙填充块，经过多层构建后得到语料集合，从语料集合中选取关联最强的候选块，得到最终修复输出。
[0014]可选的，所述桥接注意力模块的计算公式如下：
[0015][0016]其中代表桥接注意力模块，是可学习的线性映射矩阵，d
c
，d
r
是维度，为纹理参考集；利用粗糙结构信息作为查询去与已知块集合进行注意力计算，已知块集合中的每个值有作为查询去与进行注意力计算，从而最终可以重构粗糙结构信息
[0017]可选的，所述注意力分数计算公式如下：
[0018][0019]其中，是直接计算与间的注意力分数；是可学习的线性映射矩阵，d
i
是维度。
[0020]可选的，所述候选块关联性概率计算如下：
[0021][0022][0023]其中，O
t
‑1表示已知区域，为纹理参考集；为第M层直接计算与间的注意力分数，为第M层利用桥接注意力模块与间的注意力分数，λ表示权重，||
·
||1是将与纹理参考相关的所有注意力分数进行相加得到的，从而帮助重构得到相应的N
C
是中元素的个数。挑选最相关的候选作为第t轮的结果通过选取在上利用||
·
||1计算出的最大的注意力分数之和。
[0024]可选的，所述粗糙填充块计算公式如下：
[0025][0026][0027]其中，d
m
是维度，和为可学习的线性映射矩阵；通过注意力机制利用未被遮挡的块和其余粗糙填充的块形成的集合P
k
‑1,最后加入粗糙填充好的块去进一步组成集合P
k
。
[0028]可选的，基于Transformer的编码器结构获取待修复图像的纹理参考集，其中Transformer的编码器结构，包括N层，每一层都有一个多头自注意力MSA和前馈网络FFN。
[0029]可选的，对于Transformer的编码器第l层有：
[0030][0031][0032]其中表示第l层的输入，表示第l层的中间结果，表示表示第l+1层的输入，LN(
·
...

【技术保护点】

【技术特征摘要】
1.一种基于全局纹理与结构的图像修复方法，其特征在于，包括以下步骤：输入待修复图像，获取待修复图像的纹理参考集；用已知区域和已经粗糙填充过的遮挡块作为条件，对后续的遮挡块进行填充，新的遮挡块粗糙填充后，放到条件里面，继续帮助后续的填充，具体包括：从纹理参考集中选取参考向量，修补所述粗糙填充块，并计算纹理参考集与粗糙填充块之间的注意力分数；利用桥接注意力模块与注意力分数重构粗糙填充块，经过多层构建后得到语料集合，从语料集合中选取关联最强的候选块，得到最终修复输出。2.根据权利要求1所述的一种基于全局纹理与结构的图像修复方法，其特征在于，所述桥接注意力模块的计算公式如下：其中代表桥接注意力模块，是可学习的线性映射矩阵，d
c
，d
r
是维度，为纹理参考集；利用粗糙结构信息作为查询去与已知块集合进行注意力计算，已知块集合中的每一个块作为查询去与进行注意力计算，从而最终可以重构粗糙结构信息3.根据权利要求1所述的一种基于全局纹理与结构的图像修复方法，其特征在于，所述注意力分数计算公式如下：其中，是直接计算与间的注意力分数；是可学习的线性映射矩阵，d
i
是维度。4.根据权利要求1所述的一种基于全局纹理与结构的图像修复方法，其特征在于，所述候选块关联性概率计算如下：候选块关联性概率计算如下：其中，O
t
‑1表示已知块集合，为纹理参考集；为第M层直接计算与间的注意力分数，为第M层利用桥接注意力模块与间的注意力分数，λ表示权重，||
·
||1是将与纹理参考相关的所有注意力分数进行相加得到的，从而帮助重构得到相应的N
C
是中元素的个数。挑选最相关的候选作为第t轮的结果通过选取在上利用|
|
·
||1计算出的最大的注意力分数之和。5.根据权利要求1所述的一种基于全局纹理与结构的图像修复方法，其特征在于，所述粗糙填充块计算公式如下：粗糙填充块计算公式如下：其中，d
m
是维度，和为可学习的线性映射矩阵；通过...

【专利技术属性】
技术研发人员：王杨，刘海鹏，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：