一种基于多补丁多尺度网络的图像运动去模糊方法技术

本发明专利技术公开了一种基于多补丁多尺度网络的图像运动去模糊方法。本发明专利技术首先预处理数据集；然后创建多补丁多尺度网络，包括结构自相似性处理模块和多尺度通道空间注意力机制的创建；接着定义损失函数；然后对多补丁多尺度网络进行训练直到网络收敛；最后送入运动模糊图像得出恢复后的图像。本发明专利技术深度利用图像的先验信息，并与深度学习结合，在定量和定性两个方面都取得很好的效果。个方面都取得很好的效果。个方面都取得很好的效果。

【技术实现步骤摘要】
一种基于多补丁多尺度网络的图像运动去模糊方法


[0001]本专利技术属于数字图像处理
，具体涉及一种基于多补丁多尺度网络的图像运动去模糊方法。

技术介绍

[0002]运动模糊图像主要由成像过程中相机与物体之间的相对运动产生。运动模糊导致的图像质量下降会影响图像分割、聚类、估计和质量评估等高级语义任务的准确性。图像运动去模糊算法根据模糊核的性质可分为盲运动去模糊和非盲运动去模糊，盲和非盲的区别在于是否已知模糊核。图像运动去模糊算法还可以根据空间一致性分为均匀运动去模糊和非均匀运动去模糊，均匀和非均匀的区别在于运动模糊图像是否保持相同程度的空间性损失。然而，在真实环境中生成的运动模糊图像具有盲运动和非均匀运动的特点。因此，主流的运动去模糊算法一般都是非均匀盲运动去模糊，主要分为两类：基于先验的传统算法和基于深度学习的算法。
[0003]基于先验的传统算法存在一定的局限性，且该类算法的泛化能力也较弱。该类大多数算法都存在模糊核是否被合理估计的问题。例如，在复杂的动态场景中很难获得先验信息，从而难以有效地估计模糊核。<br/>[0004]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于包括如下步骤：步骤1：准备公开运动模糊数据集；步骤2：预处理运动模糊数据集；步骤3：将预处理后的运动模糊数据集的训练集送入多补丁多尺度网络进行训练；步骤4：多补丁多尺度网络输出恢复的图像，并与对应的真实图像进行比对，计算损失函数；经过多次训练迭代使得出的损失函数值趋于稳定，达到网络收敛的目的，保存网络权重参数；所述多补丁多尺度网络包括多补丁多尺度编码器、多补丁多尺度解码器、结构自相似性处理模块和多尺度通道空间注意力机制；所述结构自相似性处理模块通过利用图像本身的结构自相似性来恢复运动去模糊图像；所述多补丁多尺度编码器不断的增加特征图谱的补丁个数、减小特征图谱的补丁尺寸和增加特征图谱的个数；多补丁多尺度编码器位于网络的前半部分，多补丁多尺度编码器包含三个阶段，每个阶段处理不同补丁个数和不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock；所述多尺度通道空间注意力机制通过多尺度空间和通道信息提取感兴趣区域，充分利用尺度、空间和通道的融合信息；所述多补丁多尺度解码器通过不断的减少特征图谱的补丁个数、增大特征图谱的补丁尺寸和减少特征图谱的个数来恢复运动去模糊图像，多补丁多尺度解码器位于网络的后半部分，多补丁多尺度解码器也包括三个阶段，每个阶段处理不同补丁个数的特征图谱，阶段二和阶段三处理相同补丁尺度的特征图谱，阶段一处理与阶段二和阶段三不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock；步骤5：将预处理后的运动模糊数据集的测试集送入已经训练好的网络中，得出恢复后的运动去模糊图像。2.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述步骤1中的准备的公开数据集是GoPro数据集。3.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述步骤2中的预处理方法为：将准备的公开数据集中的每一张图像随机裁剪为256
×
256大小。4.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，ResBlock包括：尺度不变卷积运算子模块、尺度减小卷积运算子模块和尺度增大转置卷积运算子模块；尺度不变卷积运算子模块包括2个卷积核大小为3
×
3，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；尺度减小卷积运算子模块包括1个卷积核大小为3
×
3，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3
×
3，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；尺度增大转置卷积运算子模块包括1个卷积核大小为4
×
4，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3
×
3，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
5.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述结构自相似性处理模块执行以下步骤：s1，对图像执行超像素分割，超像素初始尺寸设置为8
×
8，最终分割为M个超像素；s2，搜索相似超像素，在当前图像中搜索与当前超像素sp
i
最相似的超像素如公式(1)所示：其中i＝1，2，
…
，M代表第i个超像素，s代表相似度，pm
i
为超像素sp
i
中边长为b的中心像素矩阵，为超像素中边长为b的中心像素矩阵，是像素矩阵pm
i
中的像素，是像素矩阵中的像素，l＝1，2，
…
，N表示第l个像素，SSIM为测量准则；s3，比较超像素的锐度，采用灰度方差积...

【专利技术属性】
技术研发人员：乔念祖，孙长银，葛泉波，董璐，
申请(专利权)人：同济大学，
类型：发明
国别省市：