【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种基于卷积稀疏残差学习的混合失真图像复原方法。
技术介绍
1、成像系统往往受到多种退化因素的影响，例如大气扰动、光学系统像差、相机和物体之间的相对运动等等，从而使获取的图像受到不同程度的降质。图像复原是指从一幅或多幅低质量图像中恢复出潜在高质量图像的过程，是数字图像处理领域的一项重要任务，涉及到诸多信号处理方法和数学基础理论，例如估计理论、数字滤波、数值分析、线性代数等。常用的图像复原方法包括滤波法和空间域迭代法，前者通常需要预知图像的失真类型甚至某些重要的失真参数，滤波后的图像会损失部分边缘和细节信息，后者则需要手动选择正则化参数以获得最优模型，缺乏自适应性，且计算复杂度和时间成本较高。随着计算机技术的发展，基于机器学习和神经网络的图像复原方法得到广泛应用，是当前图像复原领域的主流方法。图像复原技术可以广泛应用于医学影像处理、监控系统、人脸识别、卫星遥感等多个领域，同时还可用来改善普通摄影器材拍摄的图像质量，使之达到与高性能摄影器材同等或类似的拍摄效果，从而降低用户或生产商对摄影器材中某些关键电子元器件高性能、高精密度的要求，最终降低生产成本，因此具有重要的研究价值和意义。
技术实现思路
1、本专利技术的目的在于克服空间非均匀混合失真伪影的建模、表示和去除的问题，提供一种基于卷积稀疏残差学习的混合失真图像复原方法。
2、为了达到上述目的，本专利技术采用如下技术方案：
3、第一方面，本专利技术提供一种基于卷积稀疏残差学习
4、基于div2k数据集的无失真图像，构建同时包含高斯模糊、高斯噪声和jpeg压缩三种失真类型的空间非均匀混合失真图像数据集，使用空间非均匀混合失真图像数据集训练一个端到端的聚合激发网络；
5、将待测混合失真图像输入到训练后的聚合激发网络中进行失真参数估计，得到相应的空间失真参数图；
6、采用空间非均匀混合失真图像数据集训练多尺度卷积残差稀疏编码网络；
7、将待测混合失真图像和估计的空间失真参数图输入到训练后的多尺度卷积残差稀疏编码网络中，得到复原图像。
8、本专利技术进一步的改进在于，聚合激发网络采用三分支四尺度的u-net结构，每个尺度的编码器输出特征均通过残差连接与解码器模块的上采样特征拼接，最后经过两层卷积输出失真参数图。
9、本专利技术进一步的改进在于，聚合激发网络的编码器通过聚合激发模块组成，聚合激发模块用于融合不同分支的特征以建模不同失真类型之间的相互作用，以及将融合特征与不同分支的特征拼接，从而建模混合失真对单个失真类型参数估计的影响。
10、本专利技术进一步的改进在于，多尺度卷积残差稀疏编码网络采用多尺度u-transformer网络架构，多尺度卷积残差稀疏编码网络的编解码器之间通过卷积残差稀疏编码模块连接。
11、本专利技术进一步的改进在于，编码器的输出图像特征经过卷积残差稀疏编码模块后得到复原特征，最后经过解码器重建复原图像。
12、本专利技术进一步的改进在于，卷积残差稀疏编码模块为深度展开网络。
13、本专利技术进一步的改进在于，深度展开网络的网络结构通过多尺度卷积残差稀疏编码问题的优化求解过程决定。
14、本专利技术进一步的改进在于，多尺度卷积残差稀疏编码的优化问题可以通过公式(1)～(4)表示：
15、
16、
17、
18、
19、其中，ei＝xi-x′i(i＝1,2,3,4)表示各尺度的残差特征；和分别代表共同的和独立的卷积稀疏表示，其中nc和分别表示c和zi的通道维度，且满足和表示相应的卷积滤波器，其中ni＝{48,72,96,120}；↓n表示将图像下采样到原尺寸的*表示卷积运算；和中卷积滤波器的数量等于ei的通道维度；
20、求解公式(1)～(4)等价于求解如下优化问题：
21、
22、其中λ是惩罚参数，公式(5)采用固定其他变量，求解剩余一个变量的方法依次求解该优化问题中的每个变量。首先固定c和任意三个zi，求解剩下的zi，得到：
23、
24、将公式(6)重写为：
25、
26、其中
27、求解公式(7)得到：
28、
29、其中ei，di和θ是独立的可学习变量；tb表示transformer模块；固定所有的zi求解公式(5)中的变量c，等价于求解如下的优化问题：
30、
31、其中将公式(9)重写为：
32、
33、其中↑n表示上采样图像至原尺寸的n倍，合并公式(10)中的前四个范数，得到：
34、
35、其中表示不同的特征图沿通道维度拼接，利用公式(8)的方法求解公式(11)中的变量c，得到：
36、
37、其中，e和d是独立的可学习变量；tb的定义与公式(8)相同。
38、最终，通过迭代求解公式(8)和(12)可以得到最优的从而将复原的图像特征表示为：
39、
40、与现有技术相比，本专利技术具有如下有益效果：
41、本专利技术处理的失真类型和强度在空间分布上更具随机性，更符合现实场景中的图像失真情况；本专利技术使用基于转置注意力机制的学习迭代阈值收缩算法解决多尺度卷积残差稀疏编码优化问题，并将深度展开网络嵌入到u-transformer网络中，兼具学习能力强和可解释性好的优点；本专利技术与传统复原网络所经常采用的卷积运算相比，本专利技术将转置注意力机制引入复原网络模型，建模了通道间的依赖关系，在保持参数量较小的情况下，改善了网络的自适应能力和性能。
本文档来自技高网...【技术保护点】
1.一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，聚合激发网络采用三分支四尺度的U-Net结构，每个尺度的编码器输出特征均通过残差连接与解码器模块的上采样特征拼接，最后经过两层卷积输出失真参数图。
3.根据权利要求2所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，聚合激发网络的编码器通过聚合激发模块组成，聚合激发模块用于融合不同分支的特征以建模不同失真类型之间的相互作用，以及将融合特征与不同分支的特征拼接，从而建模混合失真对单个失真类型参数估计的影响。
4.根据权利要求1所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，多尺度卷积残差稀疏编码网络采用多尺度U-Transformer网络架构，多尺度卷积残差稀疏编码网络的编解码器之间通过卷积残差稀疏编码模块连接。
5.根据权利要求4所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，编码器的输出图像特征经过卷积残差稀疏编码模块
6.根据权利要求4所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，卷积残差稀疏编码模块为深度展开网络。
7.根据权利要求4所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，深度展开网络的网络结构通过多尺度卷积残差稀疏编码问题的优化求解过程决定。
8.根据权利要求7所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，多尺度卷积残差稀疏编码优化问题可以通过公式(1)～(4)表示：
...【技术特征摘要】
1.一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，聚合激发网络采用三分支四尺度的u-net结构，每个尺度的编码器输出特征均通过残差连接与解码器模块的上采样特征拼接，最后经过两层卷积输出失真参数图。
3.根据权利要求2所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，聚合激发网络的编码器通过聚合激发模块组成，聚合激发模块用于融合不同分支的特征以建模不同失真类型之间的相互作用，以及将融合特征与不同分支的特征拼接，从而建模混合失真对单个失真类型参数估计的影响。
4.根据权利要求1所述的一种基于卷积稀疏残差学习的混合失真图像复原方法，其特征在于，多尺度卷积残差稀疏编码网络采用多尺度u-t...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。