【技术实现步骤摘要】
一种基于纹理和结构调和的双向信息流方法
[0001]本专利技术涉及图像修复
，尤其涉及一种基于纹理和结构调和的双向信息流方法
。
技术介绍
[0002]纹理和结构是图像中的两个重要特征，现实中的图像一般包括复杂的纹理与结构特征，图像修复旨在将待修补区域周围的信息传播填充到修补区域中
。
或去除不必要的遮挡物体，利用图像可见部分生成在结构和纹理上与可见部分保持一致的填充内容，使修复后的图像接近或达到原图的视觉效果
。
[0003]传统方法大多是基于像素插值
、
扩散和填充等从图像浅层特征出发修复缺失区域
。
然而，在遇到图像中复杂纹理和结构特征缺失时，传统方法无法重建出合理的内容
。
近年来，深度学习方法从更高的语义级别出发，处理复杂的纹理特征和重建缺失区域，能够生成视觉效果逼真的填充内容
。
因此，基于
GANs[1]和
VAE[2]的方法在图像修复中越来越受欢迎
。
[0004]虽然...
【技术保护点】
【技术特征摘要】
1.
一种基于纹理和结构调和的双向信息流方法，其特征在于，包括以下步骤，
S1
：通过融合图像的纹理和结构特征，对孔洞图像完成合理重建，首先，对孔洞图像进行编码，提取出浅层特征和深层特征，编码层将输入图像映射为高维特征，来捕捉图像中的结构
、
纹理等重要信息，编码层的浅层可以提取到图像的低级特征，如边缘
、
纹理等图像细节，为了平衡纹理和结构特征，还加入了纹理
‑
结构调和模块，避免图像修复结果过度平滑或过度锐化，其中浅层特征为纹理特征，深层特征为结构特征；
S2
：设置双向信息流模块用于交互纹理和结构特征，该模块使用双向结构，来解决单一架构对特征交互不足的问题，该模块可以更充分地交互纹理和结构信息，增强纹理和结构特征的全局相关性，使生成的图像保持整体一致且有合理的语义信息，并在每路中使用
Transformer
编码层对纹理和结构信息进行交互传播；
S3
：双向信息流模块使用
Transformer
编码层使纹理和结构信息相互感知并加入细节强化模块，将编码中的最后一层细节特征引入到双向信息流模块中；
S4
：在解码层设计并嵌入多核注意力模块，该模块使用了不同扩张率的扩张卷积来获得不同感受野的特征，并通过级联多个注意力将不同尺度特征进行集成，集成后的模块可以根据不同尺度特征的重要性，动态调整不同特征之间的权重，在一定程度上提高了模型对于图像中各尺度信息的感知能力，使模型能够聚焦于图像的全局结构和局部纹理信息，为了让解码层能够学习到远距离的特征，联系上下文信息，分别在多尺度融合模块中引入最初提取到的纹理和结构特征，其中，二个模块中分别引入纹理特征和结构特征；
S5
：引入像素重建损失
、
感知损失
、
风格损失和对抗损失来达到期望的修复效果
。2.
根据权利要求1所述的一种基于纹理和结构调和的双向信息流方法，其特征在于，步骤1中的纹理
‑
结构调和模块的具体情况如下，首先将纹理和结构特征连接，在通道上增加特征信息，利用卷积操作对特征在通道上进行降维，并通过
Sigmoid
软门控进一步细化特征，对纹理和结构特征中的关键像素加权表示，进而提取到更准确和重要的语义信息，通过软门控可以反映出纹理和结构特征的重要程度，公式如下所示：
G
＝
σ
(conv(concat(F
t
，
F
s
)))
ꢀꢀꢀꢀ
(1)
其中，
G
为软门控特征值，
concat(.)
是通道拼接操作，
conv(.)
是卷积核大小为1的卷积操作，
σ
(.)
是
Sigmoid
函数，将
G
分别与纹理和结构特征逐元素相乘，赋予特征相应的权重，并将细化后的特征按通道连接，公式如下所示：其中，
F
为按通道连接的特征图，表示逐元素相乘操作，对编码器的浅层特征融合得到纹理特征记为
F
t
，深层特征融合得到结构特征记为
F
s
，利用最大池化操作对
F
进行尺寸降维，通过全连接操作把纹理和结构特征映射到更高维度的特征空间，从而捕捉到复杂特征，并通过
Softmax
调和门控机制衡量纹理和结构特征的重要性，通过特征调和门控计算图像中纹理和结构特征的权重：
G
s
，
G
t
＝
chunk(soft(mlp(maxp(F))))
ꢀꢀꢀꢀ
(3)
其中，
G
s
和
G
t
分别为纹理和结构特征的门控，
maxp
是最大池化，
mlp
是全连接层，
soft
是
Softmax
函数，
chunck
表示特征通道的维度分割，最后，我们通过调和特征权重
G
s
和
G
t
，赋予
F
t
和
F
s
不同的通道权重：
F
′
t
＝
G
t
F
t
ꢀꢀꢀꢀ
(4)F
′
s
＝
G
s
F
s
ꢀꢀꢀꢀ
(5)
其中，
F
′
t
和
F
′
s
分别表示为调和后的纹理和结构特征
。3.
根据权利要求1所述的一种基于纹理和结构调和的双向信息流方法，其特征在于，步骤2中还包括使用多头注意力，捕捉不同级别的语义信息，来增强模型对于不同特征的关注度，也可使模型学习到更加多样化和复杂的特征，在多头注意力机制中，输入数据会被分成多个头，将每个头独立计算的结果拼接在一起：
MHA(Q
，
K
，
V)
＝
concat(head1，
head2，
…
，
head
i
)L
ꢀꢀꢀꢀ
(6)
其中，
Q、K
和
V
分别表示查询向量
(Query)、
键向量
(Key)
和值向量
(Value)
，
MHA(.)
表示多头注意力，
i
表示头的数量，在本文中
i
的值设置为8，
head
i
表示第
i
个头的输出，
L
为线性变换矩阵，
head
i
可以表示为：其中，
W
Qi
、W
Ki
和
W
Vi
分别表示第
i
个头
Q、K、V
使用的线性变阵矩阵，
Attention
表示注意力计算函数，如下式所示：其中，
d
k
是
Q、K
矩阵的向量的维度，
sm
为
Softmax
函数，用于计算特征之间的相似度权重，然后将权重系数与
V
相乘得到注意力输出；在第一层编码器中交换纹理和结构特征并加入位置编码，通过计算
Q
和
K
可以全面捕捉到纹理和结构特征之间的相关性，并在两种特征之间交互信息，纹理感知结构特征
F
1t&s
的公式表达式为：其中，
F
t
为加入位置编码的纹理特征，
F
s
为加入位置编码的结构特征，并且引入残差连接，用于解决多层网络训练的问题，对称的结构感知纹理特征
F
1s&t
的公式表达式为：在第二层编码器中引入细节强化特征，来弥补特征交互过程中丢失的细节信息，进一步细化纹理和结构特征，细化后的纹理特征
F
2t&s
的公式表达式为：其中，
h
为细节特征，相应的，细化后的结构特征
F
2s&t
的公式表达式为：在第三层编码器中对特征建立全局性的关联，使交互后的纹理和结构特征有长程依赖关系；其中，纹理感知结构的特征
F
3t&s
的公式表达式为：
相应的，结构感知纹理特征
F
3s&t
的公式表达式为：最后，我们按...
【专利技术属性】
技术研发人员：张继保，廉敬，高德成，郑礼，张家骏，刘冀钊，董子龙，
申请(专利权)人：兰州交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。