基于可学习可微分矩阵逆及矩阵分解的图像恢复方法技术

本发明专利技术公布了一种基于可学习可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆模块LD‑Minv、可学习的可微分奇异值分解模块D‑SVD和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像。采用本发明专利技术的技术方案，能够以更小的计算消耗实现更卓越的图像恢复性能，并且模型具有可解释性以及更好的泛化性能。

【技术实现步骤摘要】
基于可学习可微分矩阵逆及矩阵分解的图像恢复方法
本专利技术属于模式识别、机器学习、人工智能
，涉及图像分类恢复方法，尤其涉及一种基于可学习的可微分矩阵逆及矩阵分解框架的图像恢复方法。
技术介绍
矩阵逆(包括矩阵伪逆)和奇异值分解(SVD)是最基本的线性代数矩阵运算，其广泛应用于机器学习、统计学、信号处理等领域。一般来说，解决科学计算或优化问题(Solveaoptimizationproblem)通常需要执行这两种运算，例如最小二乘回归算法需要矩阵(伪)逆，数据降维算法需要奇异值分解(SVD)，基于低秩的图像恢复算法以及基于图的聚类算法都需要矩阵逆以及SVD。尽管在传统机器学习领域，矩阵逆以及SVD深受欢迎。然而，在深度学习主导的现代机器学习中，他们被使用的频率却越来越低。这其中主要有两个原因。第一个是效率原因。一般的矩阵逆以及SVD算法的计算效率很低。对于大规模问题，计算SVD和矩阵逆非常耗时。然而，在当前大数据和深度学习时代，高效率是算法应用与实际问题的一个重要前提第二个原因是矩阵逆和SVD的不可微性。目前，主流本文档来自技高网...

【技术保护点】
1.一种基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆模块LD-Minv、可学习的可微分奇异值分解模块D-SVD和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像；包括：/nS1)通过设计可学习的可微分矩阵逆模块LD-Minv、可学习的可微分奇异值分解模块D-SVD和基于学习的近邻算子，构建可学习可微分图像恢复神经网络模型；包括步骤1)-步骤10)：/n1)将单张图像向量化成一个d维向量，图像恢复过程表示为：

【技术特征摘要】
1.一种基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆模块LD-Minv、可学习的可微分奇异值分解模块D-SVD和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像；包括：
S1)通过设计可学习的可微分矩阵逆模块LD-Minv、可学习的可微分奇异值分解模块D-SVD和基于学习的近邻算子，构建可学习可微分图像恢复神经网络模型；包括步骤1)-步骤10)：
1)将单张图像向量化成一个d维向量，图像恢复过程表示为：其中是最终可能恢复出的图像；为输入观测图像，即待恢复的图像；是给定的线性变换算子；是随机噪声；
将图像恢复过程转化为对进行优化，其中，f(·)表示当前x的拟合程度；g(·)是基于先验信息添加的正则项；
2)引入辅助变量并将对进行优化转换成式(3)：



其中，是依据上下文指定的线性或者非线性变换算子；
3)初始化x＝x0，z＝z0，令x0＝y，并引入拉格朗日乘子项初始化为全0向量；
4)选取增广项系数β＞0；
5)选取关于函数f(·)的近端算子proxαf(·)中的惩罚系数α＞0；设定可学习可微分的算子将其初始化为恒等映射记近端算子输入为a，近端算子输出为b；利用基于学习的近邻算子方法更新辅助变量z，具体执行如下操作：
5a)计算关于f(·)的近端算子输入
5b)计算关于f(·)的近端算子输出b＝proxαf(a)，其中：



5c)通过z＝b更新辅助变量z；
6)选取关于函数g(·)的近端算子proxγg(·)中的惩罚系数γ＞0，利用基于学习的近邻算子更新变量x；具体执行如下操作：
6a)计算关于g(·)的近端算子输入
其中，是另一个可学习可微分的算子，初始化为的伴随映射
6b)计算关于g(·)的近端算子输出其中：



6c)通过更新变量x；
7)若步骤5b)、6b)中的近端算子proxγg(·)、proxαf(·)输出计算中需要进行矩阵逆运算，则给定正整数K和L，使用式(6)表示的LD-Minv模块：



LD-Minv模块是一个K层神经网络，每一层为一个L阶矩阵多项式，共包含K×L个可学参数；其中，L指的是神经网络每一层的矩阵多项式的阶数；A是需要执行矩阵逆操作的矩阵，下标0≤k≤K表示神经网络的当前层数，是可学习的参数；对Xk进行初始化，即指的是矩阵A的最大奇异值；
8)若步骤5b)、6b)中的近端算子proxγg(·)、proxαf(·)输出计算中需要进行SVD运算，则使用步骤8a)至步骤8j)中定义的Ksvd层神经网络；初始化奇异值向量矩阵U＝U0，V＝V0，其中U0，V0为任意满足条件的矩阵，I是合适维度的恒等矩阵；
Ksvd层神经网络的每一层均执行如下步骤：
8a)假定需要进行奇异值分解的矩阵为A，计算得到训练损失函数相对于U的梯度矩阵GU；
8b)计算梯度矩阵GU在施蒂费尔Stiefel流形上的投影PU；
8c)计算步长
8d)实例化步骤7)中定义的LD-Minv模块，记为LD-MinvU(·)，计算矩阵的近似逆HU；
8e)根据HU更新U；
8f)计算得到训练损失函数相对于V梯度矩阵G；
8g)计算得到梯度矩阵GV在Stiefel流形上的投影矩阵PV；
8h)计算步长
8i)实例化LD-Minv模块LD-MinvV(·)，计算得到矩阵的近似逆HV；
8j)根据HV更新V：
9)更新β为步骤4)选取的增广项系数；
10)重复步骤4)-7)N次，构建得到N层神经网络，包含：多个LD-Minv模块，多个D-SVD模块及2N个可学习近端算子，即得到可学习可微分的图像恢复神经网络模型；
S2)对可学习可微分的图像恢复神经网络模型中可学习的模块进行训练，包括LD-Minv模块、D-SVD模块以及可学习近端算子；包括步骤a)-d)：
a)训练LD-Minv模块：
固定可学模块D-SVD及可学习近端算子中可学的参数，收集LD-Minv实例的所有输入组成训练数据，即将需要进行矩阵逆转换的所有矩阵记为训练数据，设训练数据的数量为nMinv；基于训练数据，用任意一阶无约束梯度算法训练LD-Minv模块，其最小化目标即训练损失函数定义如下：



其中，C是LD-Minv实例中所有的可学参数，Ai表示的是第i个训练数据，X{k，i}指的是LD-Minv实例在第i个训练数据上第k层的输出；
b)训练D-SVD模块：
固定可学模块LD-Minv和可学习的近端算子中可学的参数，收集D-SVD实例的所有输入组成训练数据，将需要进行奇异值分解的所有矩阵记为训练数据，设训练数据数量为...

【专利技术属性】
技术研发人员：林宙辰，谢星宇，孔浩，吴建龙，刘光灿，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11