一种基于注意力模型的非均匀运动模糊图像自适应复原方法技术

一种基于注意力模型的非均匀运动模糊图像自适应复原方法属于数字图像/视频信号处理领域。本发明专利技术设计了一个结合注意力机制的条件生成对抗网络。生成网络为一个编解码结构，编码阶段采用密集连接网络提取特征，提高特征利用率，加强特征的传播，并加入视觉注意力机制，使网络对于不同的输入图像能够自适应地调解网络参数，动态去除图像模糊。本发明专利技术可以从非均匀运动模糊图像中有效复原出清晰图像。该技术在目标跟踪、交通检测、军事侦察等领域具有广泛的应用前景。

An adaptive restoration method of non-uniform motion blurred image based on attention model

【技术实现步骤摘要】
一种基于注意力模型的非均匀运动模糊图像自适应复原方法
本专利技术属于数字图像/视频信号处理领域，特别涉及一种基于注意力模型的非均匀运动模糊图像自适应复原方法。
技术介绍
图像已成为人们获取信息的一种重要方式，图像中的文本、标识和标牌等信息对场景的理解具有重要的作用。然而，在图像采集的过程中，由于受到相机抖动、图像场景深度变化以及物体运动等因素的影响，往往会造成图像模糊，且由于拍摄场景不可再现，从而导致图像信息永久性丢失，给人们的工作生活带来诸多损失。虽然可以通过提高设备质量减少图像模糊，但是购置设备成本昂贵，且仍然存在很多模糊问题难以解决。因此，一个行之有效的模糊图像复原算法对于充分发挥图像质量有着重要意义，具有重要的学术价值和应用价值。模糊图像复原方法包含两大类：基于传统方法的图像复原和基于深度学习方法的图像复原。传统的模糊复原方法需要估计每个像素点对应的模糊核，因此传统方法往往需要对模糊源作出假设，且大部分传统方法的研究主要集中于解决相机平移、旋转产生的均匀模糊，而真实模糊图像的模糊核往往是非均匀的。传统方法难以解决实际情况中复杂因素引起的图像模糊。真实模糊图像的模糊核往往是未知的，再加上盲复原问题的欠定性，使得非均匀模糊图像盲复原成为一个极具挑战性的计算机视觉问题。近年来，基于深度学习的卷积神经网络在图像复原问题中得到了广泛的应用，这类图像复原方法避免了传统方法手工设计特征的过程，仅通过卷积神经网络端到端地学习图像的层级特征，得到低质图像与高质图像的映射关系。但是，现有的基于学习的方法过分依赖于数据驱动，缺乏对图像模糊信息的关注，并未考虑到运动模糊图像场景的深度特征，容易造成复原图像平均化，这类方法对于没有训练过的图像数据处理效果往往并不理想。近几年，越来越多的研究开始结合视觉注意力机制开展工作。视觉注意力机制能够定位图像中的目标区域并捕捉感兴趣的区域特征，目前已经成功应用于识别和分类问题。模糊图像复原的目标是将图像中的模糊部分还原成清晰图像，因此图像中的模糊区域是我们复原和关注的主要目标，所以搭建一个可以捕捉模糊区域及其周围结构信息的注意力模型对解决非均匀模糊问题具有显著优势。本专利技术提出了一种基于注意力模型的非均匀运动模糊图像自适应复原方法。设计了一个结合注意力机制的条件生成对抗网络。生成网络为一个编解码结构，编码阶段采用密集连接网络提取特征，提高特征利用率，加强特征的传播，并加入视觉注意力机制，使网络对于不同的输入图像能够自适应地调解网络参数，动态去除图像模糊。本专利技术可以从非均匀运动模糊图像中有效复原出清晰图像。该技术在目标跟踪、交通检测、军事侦察等领域具有广泛的应用前景。
技术实现思路
本专利技术的目的在于克服现有模糊复原方法依赖于数据驱动而忽略了运动模糊图像场景深度特征信息的不足，针对非均匀模糊图像的动态盲复原的问题，提供了一个基于注意力模型的运动模糊图像自适应复原网络，该网络可以根据模糊位置及模糊程度差异，自适应地提取特征权重，捕捉模糊区域及其周围结构特征，实现非均匀模糊图像的动态去模糊。本专利技术是采用以下技术手段实现的：一种基于注意力模型的非均匀运动模糊图像自适应复原方法。该方法采用生成对抗网络框架，首先，模糊图像通过融入视觉注意力机制的生成网络得到复原图像，然后，将复原图像与清晰图像送入判别网络进行判断，在两种网络的相互博弈中，训练得到复原能力更强的生成网络。该方法的整体网络如附图1所示，分为两部分：生成网络和判别网络，如附图2、3所示。现有的针对模糊图像复原问题的网络结构缺乏对模糊信息的关注，大部分方法忽略了模糊位置及模糊程度的差异，对所有模糊图像均采用相同权重的网络结构进行处理，容易造成复原图像平均化，使得重建效果不佳。本专利技术在设计的生成网络中添加视觉注意力机制，并使用密集连接提取图像细节信息。生成网络由4部分组成，特征降维网络、密集连接网络、注意力网络和特征重建网络。判别网络采用马尔可夫判别器，由全卷积网络组成。以下是分别对生成网络和判别网络的介绍。该方法具体包括以下步骤：1)生成网络：第一步，特征降维网络降低特征维度。由于输入网络的图像较大，所以需要对输入图像进行降维处理。特征降维网络由3个卷积操作组成，输入图像分别送入一个7×7卷积层和两个3×3卷积层，每个卷积层后都跟有InstanceNormalization归一化操作和RELU激活层。第二步，密集连接网络提取特征。由于模糊图像和清晰图像在数值上本身比较接近，差异性较小，所以大部分的图像复原方法在网络设计过程中都会引入残差模块学习两者之间的差异信息，但是传统的残差模块仍然存在信息丢失和网络收敛速度慢的问题。所以本专利技术在生成网络中设计了针对模糊图像复原任务的密集连接网络，密集连接比传统卷积网络需要更少参数，不需要去学习冗余特征图，通过特征重用减少信息丢失和梯度消失现象，改善整个网络信息流和梯度流的传递，从而易于网络训练，帮助网络提取丰富的图像特征。密集连接网络包含3个密集连接子模块，每个子模块由6个卷积层组成，记xl为密集连接子模块第l层的输出，第0到第l-1层的输出特征图分别用x0...xl-1表示，其中每层的输入是前面所有输出层在通道维度的叠加，可以用公式(1)表示：xl＝Fl([x0,x1,...,xl-1])，(1)其中，Fl(·)表示非线性转换函数，它是一个组合操作，包括InstanceNormalization归一化操作、RELU激活层和3×3卷积操作，卷积层的输出通道数，也即增长率growthrate为72。为了降低密集连接子模块的规模和复杂度，设计了bottleneck结构减少计算量，在每个密集连接子模块内部的6个卷积层的相邻卷积层之间加入一个1×1的卷积层，其后跟一个Instancenormalization归一化操作和一个RELU激活函数，进行特征降维操作。为了防止出现过拟合现象进一步优化模型的简洁性，在三个密集连接子模块中相邻子模块之间加入过渡层，过渡层是一个组合操作，包括InstanceNormalization归一化操作和1×1的卷积操作，卷积操作的输出通道维度为θ×N，其中θ为压缩率，N为输入过渡层的通道数，在实验中θ＝0.5。第三步，注意力机制提取模糊图像的位置信息。针对缺乏对模糊图像的空间模糊信息的提取，本专利技术设计了混合注意力机制帮助网络自适应地选择并提取模糊图像的区域特征。混合注意力机制由通道和空间注意力机制两个模块串联组成，通道注意力模块是基于两种池化操作在通道平面提取的融合，具体操作为，首先分别计算输入特征图基于每个通道平面的Averagepooling和Maxpooling，得到两个维度为C(输入特征图的通道数)×1的特征向量，然后将两个特征向量分别经过权值共享的单隐层多层感知机(Multi-LayerPerceptron,MLP)，其中输入层到隐藏层的权重隐藏层到输出层的权重得到两个C×1维的特征向量，最后将两个特征向量线性相加后经过sigmoid激活层得到维度为C×1的通道注意力特本文档来自技高网...

【技术保护点】
1.一种基于注意力模型的非均匀运动模糊图像自适应复原方法，其特征在于：/n该方法采用生成对抗网络框架，首先，模糊图像通过融入视觉注意力机制的生成网络得到复原图像，然后，将复原图像与清晰图像送入判别网络进行判断，在两种网络的相互博弈中，训练得到复原能力更强的生成网络；/n该方法的整体网络分为两部分：生成网络和判别网络/n生成网络由4部分组成，特征降维网络、密集连接网络、注意力网络和特征重建网络；判别网络采用马尔可夫判别器，由全卷积网络组成；/n以下是分别对生成网络和判别网络的介绍；/n1)生成网络：/n第一步，特征降维网络降低特征维度；/n特征降维网络由3个卷积操作组成，输入图像分别送入一个7×7卷积层和两个3×3卷积层，每个卷积层后都跟有Instance Normalization归一化操作和RELU激活层；/n第二步，密集连接网络提取特征；/n在生成网络中设计了针对模糊图像复原任务的密集连接网络，密集连接网络包含3个密集连接子模块，每个子模块由6个卷积层组成，记x

【技术特征摘要】
1.一种基于注意力模型的非均匀运动模糊图像自适应复原方法，其特征在于：
该方法采用生成对抗网络框架，首先，模糊图像通过融入视觉注意力机制的生成网络得到复原图像，然后，将复原图像与清晰图像送入判别网络进行判断，在两种网络的相互博弈中，训练得到复原能力更强的生成网络；
该方法的整体网络分为两部分：生成网络和判别网络
生成网络由4部分组成，特征降维网络、密集连接网络、注意力网络和特征重建网络；判别网络采用马尔可夫判别器，由全卷积网络组成；
以下是分别对生成网络和判别网络的介绍；
1)生成网络：
第一步，特征降维网络降低特征维度；
特征降维网络由3个卷积操作组成，输入图像分别送入一个7×7卷积层和两个3×3卷积层，每个卷积层后都跟有InstanceNormalization归一化操作和RELU激活层；
第二步，密集连接网络提取特征；
在生成网络中设计了针对模糊图像复原任务的密集连接网络，密集连接网络包含3个密集连接子模块，每个子模块由6个卷积层组成，记xl为密集连接子模块第l层的输出，第0到第l-1层的输出特征图分别用x0...xl-1表示，其中每层的输入是前面所有输出层在通道维度的叠加，用公式(1)表示：
xl＝Fl([x0,x1,...,xl-1])，(1)
其中，Fl(·)表示非线性转换函数，它是一个组合操作，包括InstanceNormalization归一化操作、RELU激活层和3×3卷积操作，卷积层的输出通道数，也即增长率growthrate为72；
为了降低密集连接子模块的规模和复杂度，设计了bottleneck结构减少计算量，在每个密集连接子模块内部的6个卷积层的相邻卷积层之间加入一个1×1的卷积层，其后跟一个Instancenormalization归一化操作和一个RELU激活函数，进行特征降维操作；
在三个密集连接子模块中相邻子模块之间加入过渡层，过渡层是一个组合操作，包括InstanceNormalization归一化操作和1×1的卷积操作，卷积操作的输出通道维度为θ×N，其中θ为压缩率，N为输入过渡层的通道数，θ＝0.5；
第三步，设计了混合注意力机制帮助网络自适应地选择并提取模糊图像的区域特征；
混合注意力机制由通道和空间注意力机制两个模块串联组成，具体操作为，首先分别计算输入特征图基于每个通道平面的Averagepooling和Maxpooling，得到两个维度为C即输入特征图的通道数×1的特征向量，然后将两个特征向量分别经过权值共享的单隐层多层感知机，其中输入层到隐藏层的权重隐藏层到输出层的权重得到两个C×1维的特征向量，最后将两个特征向量线性相加后经过sigmoid激活层得到维度为C×1的通道注意力特征图；
空...

【专利技术属性】
技术研发人员：李晓光，杨飞璠，张辉，卓力，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11