一种结构和纹理特征引导的双编码器图像修复方法技术

本发明专利技术公开了一种结构和纹理特征引导的双编码器图像修复方法，属于图像修复技术领域，本发明专利技术提出一种由结构特征和纹理特征引导的双编码器粗修复网络和基于长短期注意力机制、多尺度感受野的细修复网络，实现了对视野缺损图像结构和纹理的联合修复。缺损图像结构和纹理的联合修复。缺损图像结构和纹理的联合修复。

【技术实现步骤摘要】
一种结构和纹理特征引导的双编码器图像修复方法


[0001]本专利技术涉及图像修复
，特别涉及一种结构和纹理特征引导的双编码器图像修复方法。

技术介绍

[0002]视野缺损图像修复的目的是修复数字图像中的掩码区域，以合理逼真的内容和正确的上下文语义填充掩码区域，使之全景还原，提升画面质感。它是计算机视觉中的一项重要任务，可用作图像编辑工具来移除不需要的对象和恢复缺损图像，早期的图像修复方法主要有基于扩散的方法和基于块的方法。基于扩散的方法是通过偏微分方程和变分原理，利用物理学中的热扩散方程将待修补区域周围的信息传播到修补区域中。这种方法仅适用于图像中的小尺度缺损修补。基于块的方法首先从待修补区域的边界上选取一个像素点，同时以该点为中心，根据图像的纹理特征，选取大小合适的纹理块，然后在待修补区域的周围寻找与之最相近的纹理匹配块来替代该纹理块。
[0003]然而，当关键区域和重要结构缺损时，这种方法不再适用，随着深度学习技术的不断发展，基于卷积神经网络(CNN)和生成式对抗网络(GAN)修复方法得到广泛应用，为图像修复提供了一种有效工具。现有的图像修复方法通常采用编
‑
解码器提取图像的结构、纹理和上下文语义，然后借助生成对抗网络完成对缺损图像视觉上的合理修复任务。
[0004]虽然现有方法可以在掩码区域内生成内容逼真且语义上可信的结构和纹理，但通常是使用单个编
‑
解码器进行修复，或是使用两个编
‑
解码器进行单独地修复，忽略了图像结构和纹理之间的联系，这导致了图像的纹理在结构上表达不充分或不匹配。图像的生成过程缺少对图像结构和纹理特征联合提取的引导。为此，本专利技术提出一种由结构特征和纹理特征引导的双编码器粗修复网络和基于长短期注意力机制、多尺度感受野的细修复网络，实现了对视野缺损图像结构和纹理的联合修复。

技术实现思路

[0005]本专利技术目的就在于为了解决上述的问题，而提供一种结构和纹理特征引导的双编码器图像修复方法。
[0006]为实现上述目的，本专利技术采取的技术方案为：所述双编码器图像修复方法包括粗修复网络和细修复网络两个部分，所述粗修复网络和细修复网络实现步骤如下：
[0007]S1：将待修复缺损图像和二进制掩码(mask＝1)图像共同作为结构编码器和纹理编码器的输入，两个编码器逐层提取图像特征后，由外部输入的两个高斯分布函数N(0,1)拟合结构分布特征数据和纹理分布特征数据。
[0008]S2：结构特征空间和纹理特征空间经过交叉语义注意力模块映射到潜在空间，解码器从潜在空间随机采样恢复图像掩码区域。
[0009]S3：在特征提取过程中，将结构编码器和纹理编码器提取到的特征进行金字塔式融合，将融合后的特征空间用于引导解码器的图像修复，得到粗修复结果。
[0010]S4：采用融合图像I
fuse
和掩码图像M共同作为细修复网络的输入。
[0011]S5：使用残差门卷积网络消除细修复网络融合图像掩码区域的伪影，提取图像特征信息；
[0012]S6：设计3个不同的感受野，自动过滤有用的局部特征和结构特征，有效减少图像中无用细节特征的干扰，3个不同感受野的尺寸分别为3
×
3、5
×
5、7
×
7；
[0013]S7：加入长短期注意力模块，解决图像中存在的模糊区域问题和上下文语义不一致问题。在长短期注意力模块中，注意力权重矩阵既能够联系解码特征控制空间上下文，又可以获取细修复网络的编码特征，结合网络解码特征和编码特征，完成对掩码区域的修复。
[0014]S8：解码器通过联系远距离的空间上下文，捕获远处特征，保持图像全局语义一致性，根据修复图像的本地特征选择编码特征中更细粒度的特征和有效语义特征，以及短期和长期注意力分数逐步重建图像，获得具有高分辨率特点的细修复图像。
[0015]进一步地，所述S1中的两种分布的拟合采用Kullback
‑
Leibler Divergence(KL)散度；
[0016]KL散度用于正则化学习的重要性采样函数，将采样函数约束在潜在先验上；
[0017]潜在先验分布定义为高斯分布，其中结构编码器和纹理编码器的KL正则化如下所示：
[0018][0019][0020]其中，I
m
表示受损图像；z表示潜在空间，它是结构特征和纹理特征对应的压缩数据空间，相似数据点在潜在空间上距离更小；q
ψ
和分别是图像结构分布和纹理分布的重要性采样函数；N(0,I)表示高斯分布；L
SKL
表示结构特征的KL散度损失函数；L
TKL
表示纹理特征的KL散度损失函数。
[0021]进一步地，所述S2中的交叉语义注意力模块放置在双编码器模块之后，结构编码器特征空间F
S
和纹理编码器特征空间F
T
通过1x1的卷积滤波器将两个特征空间映射到潜在空间。交叉语义注意力模块计算两个特征空间的注意力，得到两个特征空间的注意力分数。
[0022][0023]其中
[0024][0025]在公式(3)
‑
公式(4)中，β
j,i
表示在合成第j个区域时，模型关注第i个位置的程度。N表示粗修复图像像素数；s
ij
是交叉注意力模块中Q
T
和K相乘的结果；Q(F
T
)表示图像纹理特征；K(F
s
)表示图像结构特征。最终可以得到交叉语义注意力模块输出O的计算公式为：
[0026][0027]O＝αF
ST
+F
S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0028]其中
[0029]V(F
S
)＝W
v
F
S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0030]在公式(5)
‑
公式(7)中，F
ST
表示注意力分数；V(F
S
)表示待计算的图像结构特征，W
v
是1x1卷积滤波器，α是平衡F
ST
和F
S
之间权重的可学习尺度参数，初始值设置为0；交叉语义注意力网络从学习结构特征和纹理特征的相关性开始，最后扩展到从特征图学习结构特征和纹理特征的相互依赖和联系。
[0031]进一步地，所述S3中的图像的粗修复结果，采用平均绝对误差(MAE)距离进行逐像素重建：
[0032][0033][0034]在公式(8)
‑
公式(9)中，I
Cout
表示图像的粗修复结果；I
g
表示金标准图像(Ground Truth图像)；M表示二进制掩码图像；L<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构和纹理特征引导的双编码器图像修复方法，其特征在于，所述双编码器图像修复方法包括粗修复网络和细修复网络两个部分，所述粗修复网络和细修复网络实现步骤如下：S1：将待修复缺损图像和二进制掩码(mask＝1)图像共同作为结构编码器和纹理编码器的输入，两个编码器逐层提取图像特征后，由外部输入的两个高斯分布函数N(0,1)拟合结构分布特征数据和纹理分布特征数据。S2：结构特征空间和纹理特征空间经过交叉语义注意力模块映射到潜在空间，解码器从潜在空间随机采样恢复图像掩码区域。S3：在特征提取过程中，将结构编码器和纹理编码器提取到的特征进行金字塔式融合，将融合后的特征空间用于引导解码器的图像修复，得到粗修复结果。S4：采用融合图像I
fuse
和掩码图像M共同作为细修复网络的输入。S5：使用残差门卷积网络消除细修复网络融合图像掩码区域的伪影，提取图像特征信息；S6：设计3个不同的感受野，自动过滤有用的局部特征和结构特征，有效减少图像中无用细节特征的干扰，3个不同感受野的尺寸分别为3
×
3、5
×
5、7
×
7；S7：加入长短期注意力模块，解决图像中存在的模糊区域问题和上下文语义不一致问题。在长短期注意力模块中，注意力权重矩阵既能够联系解码特征控制空间上下文，又可以获取细修复网络的编码特征，结合网络解码特征和编码特征，完成对掩码区域的修复。S8：解码器通过联系远距离的空间上下文，捕获远处特征，保持图像全局语义一致性，根据修复图像的本地特征选择编码特征中更细粒度的特征和有效语义特征，以及短期和长期注意力分数逐步重建图像，获得具有高分辨率特点的细修复图像。2.根据权利要求1的一种结构和纹理特征引导的双编码器图像修复方法，其特征在于，所述S1中的两种分布的拟合采用Kullback
‑
Leibler Divergence(KL)散度；KL散度用于正则化学习的重要性采样函数，将采样函数约束在潜在先验上；潜在先验分布定义为高斯分布，其中结构编码器和纹理编码器的KL正则化如下所示：潜在先验分布定义为高斯分布，其中结构编码器和纹理编码器的KL正则化如下所示：其中，I
m
表示受损图像；z表示潜在空间，它是结构特征和纹理特征对应的压缩数据空间，相似数据点在潜在空间上距离更小；q
ψ
和分别是图像结构分布和纹理分布的重要性采样函数；N(0,I)表示高斯分布；L
SKL
表示结构特征的KL散度损失函数；L
TKL
表示纹理特征的KL散度损失函数。3.根据权利要求1的一种结构和纹理特征引导的双编码器图像修复方法，其特征在于，所述S2中的交叉语义注意力模块放置在双编码器模块之后，结构编码器特征空间F
S
和纹理编码器特征空间F
T
通过1x1的卷积滤波器将两个特征空间映射到潜在空间。交叉语义注意力模块计算两个特征空间的注意力，得到两个特征空间的注意力分数。其中
s
ij
＝Q(F
T
)
T
K(F
S
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)在公式(3)
‑
公式(4)中，β
j,i
表示在合成第j个区域时，模型关注第i个位置的程度。N表示粗修复图像像素数；s
ij
是交叉注意力模块中Q
T
和K相乘的结果；Q(F
T
)表示图像纹理特征；K(F
s
)表示图像结构特征。最终可以得到交叉语义注意力模块输出O的计算公式为：O＝αF
ST
+F
S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中V(F
S
)＝W
v
F
S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)在公式(5)
‑
公式(7)中，F
ST
表示注意力分数；V(F
S
)表示待计算的图像结构特征，W
v
是1x1卷积滤波器，α是平衡F
ST
和F
S
之间权重的可学习尺度参数，初始值设置为0；交叉语义注意力网络从学习结构特征和纹理特征的相关性开始，最后扩展到从特征图学习结构特征和纹理特征的相互依赖和联系。4.根据权利要求1的一种结构和纹理特征引导的双编码器图像修复方法，其特征在于，所述S3中图像的粗修复结果，采用平均绝对误差(MAE)进行逐像素重建：所述S3中图像的粗修复结果，采用平均绝对误差(MAE)进行逐像素重建：在公式(8)
‑
公式(9)中，I
Cout
表示图像的粗修复结果；I
g
表示金标准图像(Ground Truth图像)；M表示二进制掩码图像；L
Chole
表示缺损图像掩码区域的重建损失函数；L
Cvalid
表示缺损图像非掩码区域的重建损失函数。因此，逐像素重建损失L
Cr
为：在公式...

【专利技术属性】
技术研发人员：张家骏，廉敬，刘津颖，刘冀钊，张怀堃，董子龙，郑礼，汤春阳，
申请(专利权)人：兰州交通大学，
类型：发明
国别省市：