【技术实现步骤摘要】
基于注意力机制的图像盲去模糊方法及系统
本专利技术涉及图像处理
，特别涉及一种基于注意力机制的图像盲去模糊方法及系统。
技术介绍
动态场景模糊是一种在图像获取过程中，由拍摄设备的抖动、不同景深下目标物体运动、相机失焦等因素引起的常见现象。模糊的图像不仅会影响视觉效果，同时不利于目标检测、语义分割等后续计算机视觉任务，因此去模糊一直是图像处理领域一个基本但十分重要的问题。通常模糊图像在数学上被建模为：其中，表示二维空间卷积运算。模糊图像IBlur是由清晰图像ISharp和模糊核K卷积，再叠加噪声N形成。根据模糊核是否已知分为非盲和盲去模糊两类问题。另外，根据图像任意位置上像素点的模糊核是否相同，也分为均匀模糊(空间不变模糊)和非均匀模糊(空间变化模糊)。模糊图像复原就是从模糊图像重建出潜在的清晰图像，通常，真实动态场景中的模糊是不可预知且空间变化的。因此非均匀盲去模糊具有重要的研究价值。早期研究者们基于式(1)的数学模型方法中，遵循先估计模糊核K再估计潜在清晰图像ISharp的框架...
【技术保护点】
1.一种基于注意力机制的图像盲去模糊方法，其特征在于，所述基于注意力机制的图像盲去模糊方法包括：/n多尺度注意力网络采用端到端方式，直接恢复清晰图像；/n所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；/n所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；/n所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；/n暗通道先验损失和多尺度内容损失组成损失函数，所述损失函...
【技术特征摘要】 【专利技术属性】
1.一种基于注意力机制的图像盲去模糊方法，其特征在于，所述基于注意力机制的图像盲去模糊方法包括：
多尺度注意力网络采用端到端方式，直接恢复清晰图像；
所述多尺度注意力网络采用非对称的编解码结构，所述编解码结构的编码侧采用残差密集网络块，以完成所述多尺度注意力网络对输入图像进行特征提取和表达；
所述编解码结构的解码侧设置多个注意力模块，所述注意力模块输出初步复原图像，所述初步复原图像形成图像金字塔式的多尺度结构；
所述注意力模块还输出注意力特征图，所述注意力特征图从全局角度建模远距离区域之间的关系处理模糊图像；
暗通道先验损失和多尺度内容损失组成损失函数，所述损失函数用于反向优化网络。
2.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述非对称的编解码结构包括：
所述编码侧由四个卷积模块组成，每个尺度下包含步长为2的卷积层和三个残差连接的密集网络块；
所述解码侧由三个注意力模块和重建模块组成，所述注意力模块与所述重建模块相互补充，自适应的校准特征图的重要性有助于重建信息；每个重建模块包含一个转置卷积层和三个瓶颈残差块；
所述瓶颈残差块的结构由两个卷积层组成，先通过1×1卷积层增加通道维度，再通过3×3卷积核得到目标输出，每个卷积层之后均有非线性激活函数；
所述编解码两侧相同尺寸的注意力特征图之间加入跳跃连接，通过相加完成低层特征与高层特征的融合。
3.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述残差密集网络块包括：
根据输入图像与输出图像之间的恒等映射完成残差学习，在图像复原过程中恒等映射将相似度达到阈值的输入图像与输出图像直接相连；
所述残差密集网络块将上一个注意力模块的输出传递到当前注意力模块中每个卷积层的输入上，完成特征的连续传递；
每个卷积层的输出通过在通道维度上的拼接，以密集连接的方式传递到之后各个卷积层的输入上；
拼接后的密集特征通过卷积层进行非线性变换将多通道特征融合；
在密集网络块的局部残差学习中使用残差缩放；
残差密集网络块将残差网络块和密集网络块进行整合。
4.如权利要求1所述的基于注意力机制的图像盲去模糊方法，其特征在于，所述注意力模块包括：
所述注意力模块对于输入特征为1×1的图像进行非线性变换，生成通道数为64的注意力特征图；
经过5×5预测卷积层将通道数压缩为3，输出当前分辨率下的清晰图像；
将输出图像通过最近邻插值进行上采样，再通过非线性变换得到全局特征图；
所述全局特征图包含从所述初步复原图像中提取的浅层特征，与解码侧的重建模块得到的深层特征在通道维度上进行拼接，调整不同空间位置上特征的重要性。
技术研发人员：林晨，王子健，尹增山，
申请(专利权)人：中国科学院微小卫星创新研究院，上海微小卫星工程中心，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。