一种基于注意力融合机制的改进图像修复方法技术

本发明专利技术涉及一种基于注意力融合机制的改进图像修复方法，包括以下步骤：(1)获取缺损图片I；(2)利用现有的两种不同的修复模型对缺损图片I进行修复得到预修复图片I1,I2；(3)由预修复图片I1,I2得到融合图片I

【技术实现步骤摘要】
一种基于注意力融合机制的改进图像修复方法


[0001]本专利技术属于图像修复
，涉及一种基于注意力融合机制的改进图像修复方法。

技术介绍

[0002]图像修复作为计算机视觉领域的重要研究方向之一，在许多领域中都有重要的应用，如老旧照片的修复、图像目标移除和图像文本编辑等等。其主要目的是对图像中的缺失区域进行修复，使得修复结果在语义上具有合理性、视觉上具有可信性，最重要的是与图像已有信息保持一致。由于图像在生成、保存和传输中的受损情况多变，例如污渍斑点、部分缺失和失真等，并且待修复区域往往是任意区域或任意大小，使得图像修复研究是一项复杂困难的课题。
[0003]随着深度学习的广泛应用，目前主流的图像修复算法分为两类：一是基于卷积神经网络的编解码器，编解码网络的核心是图像的特征信息，如果编码阶段没有完成提取和学习图像的各项特征，会导致解码阶段图像还原不完全，出现模糊等现象；二是采取对抗式生成网络的对抗训练思想，然而过于复杂的卷积操作会导致模型的过拟合，生成的修复图片带有冗余的噪声，并且辨别器设计不佳会使模型陷入局部收敛，即使有较好的视觉效果也会失去真值图片的语义信息。同时，图像修复领域中算法模型的稳定性、鲁棒性和泛化性为了应对实际应用需要进一步研究和优化。

技术实现思路

[0004]本专利技术的目的是解决现有技术中存在的问题，提供一种基于注意力融合机制的改进图像修复方法。
[0005]为达到上述目的，本专利技术采用的技术方案如下：
[0006]一种基于注意力融合机制的改进图像修复方法，包括以下步骤：
[0007](1)获取缺损图片I；
[0008](2)利用现有的两种不同的修复模型对缺损图片I进行修复得到预修复图片I1,I2；
[0009](3)由预修复图片I1,I2得到融合图片I
F
，其中：
[0010]I
F
＝W1·
I1+W2·
I2；
[0011]式中：
[0012]W1和W2分别代表评估权重图W的两个通道值；
[0013]评估权重图W是通过将修复质量权重图o1,o2按照通道维度堆叠在一起作为横向对比分析阶段的输入，对比分析后再经过上采样得到的；修复质量权重图o1,o2的表达式如下：
[0014][0015][0016][0017][0018][0019][0020]式中：
[0021]N表示特征位置的数目；
[0022]x1为预修复图片I1经过特征提取后得到的特征图；x2为预修复图片I2经过特征提取后得到的特征图；
[0023]f(x1)、g(x1)、h(x1)分别对应为x1经过三个卷积核为1的卷积层线性映射到三种不同的特征空间后得到的Query值、Key值和Value值；f(x2)、g(x2)、h(x2)分别对应为x2经过三个卷积核为1的卷积层线性映射到三种不同的特征空间后得到的Query值、Key值和Value值；
[0024]j和i均为求解矩阵的坐标；
[0025]表示相似度分数矩阵；表示相似度分数矩阵；
[0026]表示的第i个特征位置对中第j个特征位置的关系权重；表示的第i个特征位置对中第j个特征位置的关系权重；
[0027](4)搭建精细修复网络聚焦修复质量差的区域，对融合图片I
F
进行进一步修复，得到最终修复结果。
[0028]作为优选的技术方案：
[0029]如上所述的一种基于注意力融合机制的改进图像修复方法，步骤(2)中，现有的两种不同的修复模型选自U
‑
Net网络、RFR
‑
Net网络、CR
‑
Fill网络、PEPSI++网络、FiNet网络和StructureFlow网络。
[0030]如上所述的一种基于注意力融合机制的改进图像修复方法，步骤(3)中，特征提取采用由ImageNet预训练的VGG
‑
16网络作为特征提取器；特征图x1,x2的尺寸为256
×
32
×
32。
[0031]如上所述的一种基于注意力融合机制的改进图像修复方法，步骤(3)中，评估权重图W的像素值取值区间为[0,1]。
[0032]如上所述的一种基于注意力融合机制的改进图像修复方法，步骤(4)中，精细修复网络采用U
‑
Net网络，网络所有的卷积核反卷积层计算中，卷积核的大小均为4，步长均为2，激活函数选用Leaky_ReLU，其超参数设置均为0.2，且在卷积后的归一化操作中，选择可加速模型收敛的实例归一化(Instance Normalization)，而不是批量归一化(Batch Normalization)，批量归一化注重对每个批次的特征图进行归一化，保证数据分布一致，而在图像风格化任务中，生成结果主要依赖于某个图像实例，适合在长高尺寸上进行归一化，可以加速模型收敛，并且保持每个图像实例之间的独立。
[0033]如上所述的一种基于注意力融合机制的改进图像修复方法，精细修复网络针对编码器的每个阶段生成自注意特征图o通过跳跃连接(Skip
‑
Connection)传输至解码器，并与解码器对应阶段上采样层的输出特征图进行通道拼接；根据信息论，上采样操作无法恢复图像的空间信息，尤其是边缘信息，所以在恢复图像的过程中需要编码阶段的多尺度特征信息的辅助，为了在上采样时充分利用特征信息，编码层特征先经过自注意力机制的计算来得到特征的相关性，再与解码层特征融合。
[0034]本专利技术的原理如下：
[0035]本专利技术利用注意力融合模块对初步修复结果进行动态评估，注意力融合模块由两部分组成：特征提取与处理部分和对比评估部分，其中，特征提取与处理部分用于由预修复图片I1,I2得到修复质量权重图o1,o2，对比评估部分用于由修复质量权重图o1,o2得到融合图片I
F
，具体说明如下：
[0036]首先需要对预修复图片I1,I2进行特征提取和分析，特征的提取是双向并行的，采用由ImageNet预训练的VGG
‑
16网络作为特征提取器分别得到尺寸为256
×
32
×
32的特征图x1,x2，目的是得到图像的多尺度特征，包括颜色纹理等低维特征以及高维结构特征。得到每张图片的特征信息后，还需要关注特征信息的相关性，也就是全局特征，因为方法选取了现有的两种不同的修复模型，所以在分析全局特征时，不仅要关注单张图片特征之间的相关性，而且要考虑两张图片同种特征之间的相关性，这样有助于后续网络能够高效地对比和评估两张图片修复质量。受自注意力机制启发，本专利技术设计了交叉注意力机制，对于两张图片各自对应的特征图x1,x2，首先分别经过三个卷积核为1的卷积层，将输入线性映射到三种不同的特征空间，也就是传统自注意力机制(如图3所示)所指的查询值(Query)和键值对(Key
‑
Val本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力融合机制的改进图像修复方法，其特征在于，包括以下步骤：(1)获取缺损图片I；(2)利用现有的两种不同的修复模型对缺损图片I进行修复得到预修复图片I1,I2；(3)由预修复图片I1,I2得到融合图片I
F
，其中：I
F
＝W1·
I1+W2·
I2；式中：W1和W2分别代表评估权重图W的两个通道值；评估权重图W是通过将修复质量权重图o1,o2按照通道维度堆叠在一起作为横向对比分析阶段的输入，对比分析后再经过上采样得到的；修复质量权重图o1,o2的表达式如下：的表达式如下：的表达式如下：的表达式如下：的表达式如下：的表达式如下：式中：N表示特征位置的数目；x1为预修复图片I1经过特征提取后得到的特征图；x2为预修复图片I2经过特征提取后得到的特征图；f(x1)、g(x1)、h(x1)分别对应为x1经过三个卷积核为1的卷积层线性映射到三种不同的特征空间后得到的Query值、Key值和Value值；f(x2)、g(x2)、h(x2)分别对应为x2经过三个卷积核为1的卷积层线性映射到三种不同的特征空间后得到的Query值、Key值和Value值；j和i均为求解矩阵的坐标；表示相似度分数矩阵；表示相似度分数矩阵；表示的第i个特征位置对中第j个特征位置的关系权重；表示的第i个特征位置对中第j个特征位置的关系权重；(4)搭建精细修复网络聚焦修复质量差的区域，对...

【专利技术属性】
技术研发人员：王彤，邵义伟，郝矿荣，汤方明，陈琦，
申请(专利权)人：江苏恒力化纤股份有限公司，
类型：发明
国别省市：