一种基于并行处理的注意力模块的图像去模糊方法技术

本发明专利技术公开一种基于并行处理的注意力模块的图像去模糊方法，包括以下步骤：(1)搭建生成对抗网络模型，设置参数；(2)设置图像语义内容约束项，图像结构重建约束项和判别目标损失函数；(3)为了预测清晰图像特征，抑制模糊图像特征，引入了PAA模块；(4)对于判别网络，将生成图像和标签图像输入到生成网络中，判别网络对图像内容的真假进行判别并将判别的结果反馈给生成网络，驱使生成网络生成图像结构显著的图像；(5)生成网络根据判别网络的反馈更新网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到网络训练收敛；(6)将模糊图像载入到训练收敛的生成网络中，即可得到结构显著的生成图像。即可得到结构显著的生成图像。即可得到结构显著的生成图像。

【技术实现步骤摘要】
一种基于并行处理的注意力模块的图像去模糊方法


[0001]本专利技术属于图像处理、计算机视觉
，具体涉及一种基于并行处理的注意力模块的图像去模糊方法。

技术介绍

[0002]作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的结构和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何清晰化运动模糊图像，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。
[0003]针对如何清晰化模糊图像这个问题，人们主要从以下两个方面展开研究：基于传统的方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。

技术实现思路

[0004]本专利技术的目的是为了克服现有技术中的不足，通过综合利用对抗生成模型以及结构注意机制，研究一种能够有效减少网络模型大小、满足图像去模糊实时处理需求，解决图像纹理和细节丢失等问题的图像去模糊方法。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种基于并行处理的注意力模块的图像去模糊方法，包括以下步骤：
[0007](1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；其中标签图像未经模糊退化的清晰图像，生成对抗网络模型包括生成网络和判别网络两个子网络；
[0008](2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用U型网络结构，生成网络包括编码器和解码器两部分，编码器用以下采样并提取输入图像中有用的细节特征进行编码，解码器用于上采样并解码输入图像；所述编码器和解码器之间还设置有并行注意力网络模块，用于学习图像的非局部特征对图像清晰特征的预测；所述并
行注意力网络模块由垂直注意力模块和水平注意力模块组成，分别用于计算网络垂直方向和水平方向的非局部特征，具体的：
[0009]将模糊图像送入生成网络中，在生成网络优化训练过程中，对生成网络增加语义目标损失函数和结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义以及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构较为完整的图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到生成对抗网络的训练收敛；
[0010](3)设置生成对抗网络模型的目标损失函数：生成网络中的目标损失函数包括图像语义目标损失函数L
content
、图像结构重建目标损失函数L
gradient
；其中，L
content
保证恢复前后的图像能保持相同的语义内容，L
gradient
约束生成图像与标签图像，在图像结构方面具有一致性；判别网络中的目标损失函数L
adv
，L
adv
用于完成生成图像与标签图像的判别，以提升判别网络对图像真假的判别学习能力；
[0011](4)将模糊图像、标签图像输送到生成对抗网络模型中，判别网络用以判别生成图像和标签图像在内容方面的一致性；判别网络将判断得到的结果反馈给生成网络，生成网络和判别网络之间竞争学习，直到达到纳什均衡，生成对抗网络模型收敛；将模糊图像载入到训练收敛的生成网络中，最终得到结构完整的生成图像；
[0012]进一步的，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：
[0013]L(G,D)＝βL
content
+λL
gradient
+αL
adv
[0014]其中，β，λ和α分别是L
content
，L
gradient
和L
adv
的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表对应部分越重要。
[0015]进一步的，对于生成网络，所述编码器包括一个卷积层用于将输入图像的维度映射到64
×
64；三个下采样层用以下采样并编码图像，在第二和第三个下采样层后面分别添加三个残差块，图像分辨率由256
×
256递减至64
×
64；在上述操作完成之后引入一个并行注意力网络模块；对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前分别添加三个残差块，图像分辨率由64
×
64递减至256
×
256；最终，去模糊后的图像由一个Tanh层和一个卷积层重建得到；对于判别网络，采用基于块的生成对抗网络作为判别网络的网络结构，包括一个平卷积层、三个下采样卷积层、一个特征重建块；所述下采样卷积层用于降低输入图像的分辨率和编码局部特征；每个下采样卷积层后面都添加了样本标准化层和带泄露修正线性单元激活函数Leaky ReLU，并且每个下采样卷积层的卷积核大小为4
×
4。
[0016]进一步的，编码器输入至并行注意力网络模块内的长、宽尺寸为H
×
W的C个的输入特征，记作H
×
W
×
C；输入特征H
×
W
×
C传入到垂直注意力模块后被分为4个分支，第一分支经过卷积层Conv1_v，用于特征的变换和转置，抽离出图像垂直方向的维度，获得维度为WC
×
H的特征；第二分支经过卷积层Conv2_v，用于特征的变换，抽离出图像垂直方向的维度，获得维度是H
×
WC的特征；经过第一分支和第二分支得到的特征，进行点乘操作后转换，获得维度是H
×
W
×
C的特征F_V；第三分支经过卷积层Conv3_v，用于特征的变换，抽离出图像垂直方向的维度，获得维度是H
×
WC的特征；经过第三分支处理得到的特征，与特征F_V进行点乘操作，得到特征F_V_F；在第四分支特征与特征F_V_F之间建立残差连接，得到经过垂直注意力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于并行处理的注意力模块的图像去模糊方法，其特征在于，包括以下步骤：(1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；其中标签图像未经模糊退化的清晰图像，生成对抗网络模型包括生成网络和判别网络两个子网络；(2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用U型网络结构，生成网络包括编码器和解码器两部分，编码器用以下采样并提取输入图像中有用的细节特征进行编码，解码器用于上采样并解码输入图像；所述编码器和解码器之间还设置有并行注意力网络模块，用于学习图像的非局部特征对图像清晰特征的预测；所述并行注意力网络模块由垂直注意力模块和水平注意力模块组成，分别用于计算网络垂直方向和水平方向的非局部特征，具体的：将模糊图像送入生成网络中，在生成网络优化训练过程中，对生成网络增加语义目标损失函数和结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义以及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络能够生成图像结构较为完整的图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到生成对抗网络的训练收敛；(3)设置生成对抗网络模型的目标损失函数：生成网络中的目标损失函数包括图像语义目标损失函数L
content
、图像结构重建目标损失函数L
gradient
；其中，L
content
保证恢复前后的图像能保持相同的语义内容，L
gradient
约束生成图像与标签图像，在图像结构方面具有一致性；判别网络中的目标损失函数L
adv
，L
adv
用于完成生成图像与标签图像的判别，以提升判别网络对图像真假的判别学习能力。(4)将模糊图像、标签图像输送到生成对抗网络模型中，判别网络用以判别生成图像和标签图像在内容方面的一致性；判别网络将判断得到的结果反馈给生成网络，生成网络和判别网络之间竞争学习，直到达到纳什均衡，生成对抗网络模型收敛；将模糊图像载入到训练收敛的生成网络中，最终得到结构完整的生成图像。2.根据权利要求1所述一种基于并行处理的注意力模块的图像去模糊方法，其特征在于，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：L(G,D)＝βL
content
+λL
gradient
+αL
adv
其中，β，λ和α分别是L
content
，L
gradient
和L
adv
的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表对应部分越重要。3.根据权利要求1所述一种基于并行处理的注意力模块的图像去模糊方法，其特征在于，对于生成网络，所述编码器包括一个卷积层用于将输入图像的维度映射到64
×
64；三个下采样层用以下采样并编码图像，在第二和第三个下采样层后面分别添加三个残差块，图像分辨率由256
×
256递减至64
×
64；在上述操作完成之后引入一个并行注意力网络模块；对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64
×
64递减至256
×
256；最终，去模糊后的图像由一个T...

【专利技术属性】
技术研发人员：祁清，
申请(专利权)人：青海民族大学，
类型：发明
国别省市：