一种可微分的低秩学习网络图像修复方法技术

本发明专利技术涉及一种可微分的低秩学习网络图像修复方法。将一个含有噪声的不完整的图像矩阵作为神经网络的输入，并输出重构后的图像。通过将近端梯度映射方法转换为带约束的优化问题，本发明专利技术方法提出了一种可以进行低秩矩阵重构的神经网络，该神经网络由多个可微分且可复用的模块堆叠组成，每一个模块都可以解决一个关于低秩优化的子问题。本发明专利技术方法的每一个模块输出一个优化得到的子矩阵，并对这些子矩阵连乘以得到重构后的图像矩阵。本发明专利技术成功利用了神经网络来解决图像低秩修复问题，并避免了传统方法在迭代过程中进行的奇异值分解过程，从而节省大量的计算时间，同时本发明专利技术依然能够在图像修复上有良好的性能，具有一定的实用价值。用价值。用价值。

【技术实现步骤摘要】
一种可微分的低秩学习网络图像修复方法


[0001]本专利技术涉及深度学习，低秩优化和图像修复领域，特别是一种可微分的低秩学习网络图像修复方法。

技术介绍

[0002]低秩矩阵优化是机器学习中的一项关键技术，在许多领域都有所研究，包括推荐系统、计算机视觉和特征表示等。因为低秩优化问题属于NP困难问题，所以许多算法使用一些非凸的替代函数来进行优化求解。例如，现有研究经常使用核范数来替代原始的秩函数，通过累加矩阵的奇异值来近似计算矩阵的秩。然而在一些实际应用中，基于核范数的优化算法往往只能得到次优解。为了解决这一问题，研究人员提出了许多针对低秩优化的非凸松弛函数，例如l
p
范数，mini-max concave plus(MCP)和smoothly clipped absolute deviation(SCAD)等函数。许多研究也进一步提出了基于截断核范数或加权核范数的优化方法。此外，Schatten-p范数作为对多种范数函数的统一表达式，其被应用在许多低秩优化问题上。例如，Zhang等人提出了一种Schatten-p范数最小化的算法来学习低秩表示。Huang等人提出了多通道加权Schatten-p范数最小化算法来对RGB图像进行去噪。Zhang等人为了解决图像修复和推荐系统问题，进一步改进了Schatten-p范数来解决仿射矩阵秩最小化问题。然而，大部分基于Schatten-p范数的方法在算法优化的每一步迭代中都需要进行奇异值分解，这导致算法需要花费大量的时间成本。这类算法在矩阵维度较高时，大多表现不佳。因此本专利技术提出了一种端对端的神经网络结构来解决图像修复中的矩阵补全问题。相比于大部分的传统方法在每次迭代中都需要进行奇异值分解，本专利技术将传统机器学习算法转换为可微分可复用的网络结构，从而避免了复杂度较高的奇异值分解，大大提高了算法运算速度。
[0003]可微分编程是一种新型的编程方式，该方法构建可微分的参数化模型，并使用基于梯度的优化方法来学习这些参数，以最小化模型的损失函数。深度学习是可微分编程的一个重要研究领域，而可微分编程是对包括深度学习在内的一系列基于梯度计算的优化算法的高度统一。可微分编程比传统机器学习算法更加高效，且能够以数据驱动的方式来自适应学习原本传统机器学习模型中的超参数，也可以用于解决现有深度学习算法难以处理的带约束的优化问题。近年来，可微分编程的思想被应用于各个机器学习领域。例如，Zhang等人提出了可学习的迭代收缩阈值算法，以类似于循环神经网络的结构对传统的稀疏编码优化问题进行求解。Sun等人提出了基于可微分编程思想的交替方向乘子网络，并应用于医学图像处理领域。Simonyan等人将行为理解问题和可微分编程思想进行结合，从而对现有算法进行改进。总而言之，可微分编程是一个新颖但热门的话题，在近几年重要的国际期刊和会议中成为重要研究对象。
[0004]图像修复是视觉领域中的一个经典的问题，并被广泛应用于多种实际应用场景中。在现实应用中，经常会遇到图像受到损坏的情况，而图像修复的目标就是通过算法来替换图像中丢失或损坏的像素点，从而恢复出原始的干净的图像。传统的图像修复方法大多
是基于数学或物理的研究方法。近年来，随着深度学习的高速发展，又有大量的基于深度学习方法被应用于图像修复问题。例如Pathak等人利用卷积神经网络来学习图像中的高层次特征，并利用这些特征来对图像缺失部分进行修复。然而，和传统的数学方法相比，大多数的深度学习算法忽略了网络的可解释性，而传统的机器学习算法在效率和性能上仍需提升。故而，还需要开发更多的基于神经网络的图像修复方法，并同时兼顾神经网络的效率和可解释性。

技术实现思路

[0005]本专利技术的目的在于提供一种可微分的低秩学习网络图像修复方法，能够有效的修复被损坏的图像，针对图像像素丢失以及图像含有噪声的情形都能取得比较好的修复效果，具有一定的实用价值。
[0006]为实现上述目的，本专利技术的技术方案是：一种可微分的低秩学习网络图像修复方法，包括如下步骤：
[0007]步骤S1、输入一个带噪声的图像矩阵M，将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值；
[0008]步骤S2、利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络计算过程构建为一个神经网络模块；
[0009]步骤S3、将步骤S2中构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，并通过矩阵连乘得到低秩优化后的重构图像矩阵；
[0010]步骤S4、根据步骤S3得到的重构图像矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的参数W
i
以及η，若损失函数未收敛到稳定值则返回步骤S3；
[0011]步骤S5、输出优化得到的重构图像矩阵。
[0012]在本专利技术一实施例中，所述步骤S1通过Schatten-p范数替代算法将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值，具体实现如下：
[0013]Schatten-p范数替代算法的优化目标为：
[0014][0015]其中为分解得到的I个子矩阵，M为原始已观测到部分像素值的图像矩阵，P
Ω
为基于元素的投影操作，使得优化目标的前半部分仅计算未被噪声污染部分(或已观测到)的图像矩阵的误差。正则项计算多个子矩阵的Schatten-p范数和，p
i
为每个子矩阵对应的范数的超参数。根据该优化目标，该算法随机初始化每个子矩阵同时初始化每个子矩阵所对应的Schatten-p范数的参数集合且每一个p
i
应满足0＜p
i
≤2。
[0016]在本专利技术一实施例中，所述步骤S2具体实现如下：
[0017]根据拉格朗日乘子法和近端梯度下降算法的变形，将拉格朗日乘子法中的拉格朗日乘子转换为神经网络中可学习的权重参数W，构建可微分且可复用的神经网络模块，对于第i个神经网络模块的第k次迭代，其神经网络计算过程如下公式所示：
[0018][0019][0020][0021][0022][0023][0024]其中{W
i
，η}为可学习的神经网络参数，L
i
为利普希茨常数，∈为给定的一个极小的常量，ReLU(
·
)为ReLU激活函数，H为01指示矩阵，标注出已观测到的像素值，
⊙
表示矩阵的哈达马积，计算优化目标中重构误差在X
i
处的梯度。
[0025]在本专利技术一实施例中，所述步骤S3具体实现如下：
[0026]步骤S31、在每一个神经网络模块中根据步骤S2计算得到最优的
[0027]步骤S32、根据步骤S31得到的计算当前的重构图像矩阵计算当前的重构图像矩阵为第i个神经网络模块输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可微分的低秩学习网络图像修复方法，其特征在于，包括如下步骤：步骤S1、输入一个带噪声的图像矩阵M，将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值；步骤S2、利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络计算过程构建为一个神经网络模块；步骤S3、将步骤S2中构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，并通过矩阵连乘得到低秩优化后的重构图像矩阵；步骤S4、根据步骤S3得到的重构图像矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的参数W
i
以及η，若损失函数未收敛到稳定值则返回步骤S3；步骤S5、输出优化得到的重构图像矩阵。2.根据权利要求1所述的一种可微分的低秩学习网络图像修复方法，其特征在于，所述步骤S1通过Schatten-p范数替代算法将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值，具体实现如下：Schatten-p范数替代算法的优化目标为：其中为分解得到的I个子矩阵，M为原始已观测到部分像素值的图像矩阵，P
Ω
为基于元素的投影操作，使得优化目标的前半部分仅计算未被噪声污染部分或已观测到的图像矩阵的误差；正则项计算多个子矩阵的Schatten-p范数和，p
i
为每个子矩阵对应的范数的超参数；根据优化目标，该算法随机初始化每个子矩阵同时初始化每个子矩阵所对应的Schatten-p范数的参数集合且每一个p
i
应满足0＜p
i
≤2。3.根据权利要求2所述的一种可微分的低秩学习网络图像修复方法，其特征在于，所述步骤S2具体实现如下：根据拉格朗日乘子法和近端梯度下降...

【专利技术属性】
技术研发人员：王石平，陈赵亮，姚杰，郭文忠，
申请(专利权)人：福州大学，
类型：发明
国别省市：