一种基于注意力网络的图像运动去模糊方法技术

本发明专利技术提供了一种基于注意力网络的图像运动去模糊方法，包括S1，对待去模糊运动图像进行预处理；S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；本发明专利技术提出的端到端的注意力网络模型，将真实场景下图像运动模糊在空间域所表现的非一致性用空间域注意力机制进行刻画，并通过注意力权重引导模型对非一致运动模糊进行不同的处理，能够得到更好的效果。

【技术实现步骤摘要】
一种基于注意力网络的图像运动去模糊方法
本专利技术属于数字图像处理的
，具体涉及一种基于注意力网络的图像运动去模糊方法，该方法能够将相机获得的带有失焦模糊的数字图像恢复成清晰的数字图像。
技术介绍
图像作为视觉信息的载体，在日常生活中有着重要的作用。在信息化的时代，日常生活离不开图像及其传播，通过图像分享来沟通和联系。数字图像的获取一般是通过传感器如相机，手机等设备，在获取图像的过程中，很多因素都能造成图像的退化，例如设备的抖动或者拍摄物体的移动，就会导致获取的图像存在运动模糊。运动模糊的存在不仅影响图像的清晰度及美感，还降低了图像所表示信息的可理解程度。在这种情况下，如何将运动模糊的图像恢复到清晰图像，是一个不可缺少且具有价值的研究课题。图像运动去模糊大致可以分为两类方法，其中第一类是基于模糊核估计的方法，该类方法会先估计模糊图像的模糊核，例如运动模糊的方向和幅度，然后根据估计得到的模糊核进行非盲的去模糊。其中估计模糊核又可以根据使用的方法分为优化学习方法和深度学习方法，前者通过对图像的一些自然先验，如稀疏假设，图像的边等对优化方法进行限制得到优化解，后者通过数据驱动学习模糊图像的模糊核。基于模糊核的方法往往假设运动模糊是一致的或者是局部一致的，这个假设往往在现实场景中是不存在的。所以另一类方法直接学习模糊图像到清晰图像的复原，该类方法一般是深度学习方法，通过数据驱动学习模糊图像到清晰图像的映射。该类方法能够解决与现实场景符合的非一致性运动去模糊。现实场景的运动模糊往往表现为非一致性，即图像上不同位置的运动模糊表现不同，例如不同物体的运动模糊方向不一致，以及运动模糊幅度不一致。目前大部分深度学习的方法没有考虑将运动模糊在空间上的不一致性体现在网络结构设计中，这也使得目前方法对非一致性运动去模糊的表现没有达到较佳效果。因此，行业内急需研发一种能对不同空间位置的运动模糊具有不同的处理能力的去模糊方法或者系统。
技术实现思路
本专利技术的主要目的是设计一种可以有效进行图像运动模糊恢复的端到端的基于注意力网络的图像运动去模糊方法。为了达到上述目的，本专利技术采用以下技术方案：一种基于注意力网络的图像运动去模糊方法，包括下述步骤：S1，对待去模糊运动图像进行预处理；S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；其中，注意力网络模型的训练包括下述步骤：(1)获取运动模糊图像数据库；(2)将数据库内的运动模糊图像进行预处理，将预处理后的运动模糊图像划分为训练集和验证集；(3)利用训练集对注意力网络模型进行训练，保存训练完成的网络参数；(4)利用验证集对注意力网络模型进行验证。优选地，步骤(1)中包括：选择并下载在真实场景下采集的高分辨率运动模糊图像数据集。优选地，步骤(2)中，在训练集中，清晰图像及对应的运动模糊图像为一组。优选地，将数据库内的运动模糊图像的预处理包括：尺寸裁剪、随机翻转并进行归一化处理。优选地，步骤(3)包括：将训练集的运动模糊图像输入已搭建好的注意力网络模型中，注意力网络模型输出恢复图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。优选地，注意力网络模型包括：编码器和解码器；编码器和解码器之间还采用跳跃连接来传递消息；编码器通过卷积和注意力模块不断减少特征图的分辨率并增加特征图个数，编码器为网络的前半部分，编码器包括3个卷积层及9个注意力模块；解码器通过将编码器得到的特征渐上采样和减少通道数来恢复清晰图像，解码器为网络后半部分，解码器包括3个卷积层和9个注意力模块。优选地，注意力网络模型包括：卷积层1：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；注意力模块1-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；注意力模块1-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；注意力模块1-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；卷积层2：卷积核大小为5*5，卷积核个数为64，步长stride＝2，padding＝2；注意力模块2-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；注意力模块2-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；注意力模块2-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；卷积层3：卷积核大小为5*5，卷积核个数为128，步长stride＝2，padding＝2；注意力模块3-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；注意力模块3-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；注意力模块3-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；注意力模块4-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；注意力模块4-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；注意力模块4-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；上采样操作1：将特征图上采样到x2的分辨率；卷积层4：卷积核大小为5*5，卷积核个数为64，步长stride＝1，padding＝2；注意力模块5-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；注意力模块5-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；注意力模块5-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；上采样操作2：将特征图上采样到x2的分辨率；卷积层5：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；注意力模块6-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；注意力模块6-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；注意力模块6-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；卷积层6：卷积核大小为5*5，卷积核个数为3，步长stride＝1，padding＝2；跳跃连接1：注意力模块2-3的输出与注意力卷积层4的输出级联，作为注意力模块5-1的输入；跳跃连接2：注意力模块1-3的输出与注意力卷积层5的输出级联，作为注意力模块6-1的输入。优选地，注意力网络模型的注意力模块由两个卷积层和一个注意力机制组成，其中注意力机制计算通过两个卷积核为1*1的卷积得到一个注意力权重。优选地，注意力网络中的激活函数为ReLu函数，ReLu函数表达式为：f(x)＝max(0，x)，非线性激活函数用于增加模型的非线性，加快模型收敛。优选地，损失函数为：L＝本文档来自技高网...

【技术保护点】
1.一种基于注意力网络的图像运动去模糊方法，其特征在于，包括下述步骤：/nS1，对待去模糊运动图像进行预处理；/nS2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；/nS3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；/n其中，注意力网络模型的训练包括下述步骤：/n(1)获取运动模糊图像数据库；/n(2)将数据库内的运动模糊图像进行预处理，将预处理后的运动模糊图像划分为训练集和验证集；/n(3)利用训练集对注意力网络模型进行训练，保存训练完成的网络参数；/n(4)利用验证集对注意力网络模型进行验证。/n

【技术特征摘要】
1.一种基于注意力网络的图像运动去模糊方法，其特征在于，包括下述步骤：
S1，对待去模糊运动图像进行预处理；
S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；
其中，注意力网络模型的训练包括下述步骤：
(1)获取运动模糊图像数据库；
(2)将数据库内的运动模糊图像进行预处理，将预处理后的运动模糊图像划分为训练集和验证集；
(3)利用训练集对注意力网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对注意力网络模型进行验证。


2.根据权利要求1所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，步骤(1)中包括：选择并下载在真实场景下采集的高分辨率运动模糊图像数据集。


3.根据权利要求1所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，步骤(2)中，在训练集中，清晰图像及对应的运动模糊图像为一组。


4.根据权利要求3所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，将数据库内的运动模糊图像的预处理包括：尺寸裁剪、随机翻转并进行归一化处理。


5.根据权利要求1所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，步骤(3)包括：将训练集的运动模糊图像输入已搭建好的注意力网络模型中，注意力网络模型输出恢复图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。


6.根据权利要求5所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，注意力网络模型包括：编码器和解码器；编码器和解码器之间还采用跳跃连接来传递消息；
编码器通过卷积和注意力模块不断减少特征图的分辨率并增加特征图个数，编码器为网络的前半部分，编码器包括3个卷积层及9个注意力模块；
解码器通过将编码器得到的特征渐上采样和减少通道数来恢复清晰图像，解码器为网络后半部分，解码器包括3个卷积层和9个注意力模块。


7.根据权利要求6所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，注意力网络模型包括：
卷积层1：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块1-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层2：卷积核大小为5*5，卷积核个数为64，步长stride＝2，padding＝2；
注意力模块2-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
卷积层3...

【专利技术属性】
技术研发人员：许勇，祝叶，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44