一种基于自适应秩估计黎曼流形优化的图像补全方法技术

本发明专利技术公开了一种基于自适应秩估计黎曼流形优化的图像补全方法。在L1范数正则化矩阵补全算法(L1MC)的基础上，引入自适应秩估计惩罚项和固定秩的黎曼流形，利用惩罚项λR，迭代优化函数f(R)以及不断修正由经验公式确定的矩阵的秩

An Image Completion Method Based on Adaptive Rank Estimation Riemannian Manifold Optimization

The invention discloses an image completion method based on adaptive rank estimation Riemannian manifold optimization. On the basis of L1 norm regularized matrix complementation algorithm (L1MC), the penalty term of adaptive rank estimation and Riemannian manifold with fixed rank are introduced. The penalty term lambda R, the iterative optimization function f(R) and the rank of matrix determined by empirical formula are utilized.

【技术实现步骤摘要】
一种基于自适应秩估计黎曼流形优化的图像补全方法
本专利技术属于图像补全
，具体涉及一种基于自适应秩估计黎曼流形优化的图像补全方法。
技术介绍
图像补全技术愈发成为计算机视觉和图像处理的一个研究趋势，该技术旨在从缺失像素的周围结构和纹理信息中恢复和补全缺失像素，进而获得恢复图像。在实际应用中，图像的缺失、损坏和噪声污染一般不可避免。以图像的无线传输为例，即使图像在传输的过程中能避免失真，但为了增大储存空间利用率以及延长图像传感器的使用寿命等目的，完整图像也经常被人为采样和压缩。图像补全技术有着广泛的应用领域，例如文物历史图像恢复，医疗、航空和军事图像处理，电影后期制作和目标识别检测等领域。图像补全算法是根据有限的已知像素恢复其它未知像素，从而获得恢复图像的一种通用方法。现有的图像补全算法主要分为两类，具体为基于偏微分的算法和基于稀疏的算法。基于偏微分的算法是针对缺失像素建立偏微分方程，利用偏微分方程估计缺失像素，从而获得恢复图像的一类算法；基于稀疏的算法是将缺失图像转换于变换域，利用缺失图像在变换域的稀疏性来补全缺失像素的一类算法。有人提出了一种基于奇异值阈值(SVT)的图像补全算法，该算法有效地估计了缺失像素，但存在恢复图像边界模糊的缺陷。一种基于奇异值投影(SVP)的图像补全算法，该算法虽有效改善了恢复图像边界模糊的缺陷，但存在恢复图像高频部分辨率不佳的问题。有学者提出了一种基于压缩渲染(CR)预可视化的方法，压缩渲染可以在合适的时间内对图像的缺失像素进行可信重构，体现了压缩感知在图像补全
的优越性。随着黎曼流形理论研究的兴起，基于黎曼流形的多种优化方法被广泛地应用于计算机视觉和图像处理等领域。有人提出了一种将黎曼优化用于低秩矩阵补全的算法，该算法利用具有固定秩的黎曼流形来补全矩阵，但在该算法中，黎曼流形的固定秩一般难以直接求得，因此该算法需要进行大量的实验求解合适的秩数，导致本算法计算效率较低。有人提出一种基于OptSpace的图像补全算法，有人提出了一种基于IALM(InexactAugmentedLagrangeMultipliers)的图像补全算法，这两种算法虽充分考虑了低秩估计问题，但所得补全图像的视觉效果欠佳。由于缺失像素在图像中的分布具有随机性，因此现有算法不能提供防止边界模糊的局部场景结构，不完全适用于路径跟踪的预可视化。当缺失图像的缺失率较高时，现有算法重构出的恢复图像具有精度低、恢复效率低等缺点。
技术实现思路
本专利技术的目的在于针对上述现有技术中的问题，提供一种基于自适应秩估计黎曼流形优化的图像补全方法，避免使用软阈值算法，提高了运算速率，节省了运算空间。为达到上述目的，本专利技术采用以下技术方案予以实现：一种基于自适应秩估计黎曼流形优化的图像补全方法，包括以下步骤，步骤1，读入均匀随机采样的图像，根据该图像的物象信息得到对应像素矩阵和样本索引Ω；步骤2，搭建并训练卷积神经网络，利用经训练的卷积神经网络对S做预处理，得到预处理结果步骤3，将I平均分成大小为np×mp的Q个像素块矩阵，其中的第q个像素块矩阵记作Iq(q＝1,2,3,...,Q)，将I1作为下一步的输入；步骤4，将Iq列向量化作为低秩矩阵的第一列，利用欧式距离在I中分别取得与Iq等大相似的a个像素块，将该a个像素块分别列向量化排列为具有低秩特性矩阵Cq的第二到a+1列，预估Cq的秩为步骤5，引入关于自适应秩估计的惩罚项λR，利用自适应秩估计算法估计矩阵Cq的秩；步骤6，运用基于黎曼流形的优化算法获得对应Cq的重构矩阵Uq；步骤7，取下一个像素块Iq+1，重复步骤4-步骤6，直到获得Q个重构矩阵Uq(q＝1,2,3,...,Q)，仅对重构矩阵Uq的第一列向量按步骤4中的方法逆列向量化，获得重构像素块Iq*，将Iq*(q＝1,2,3,...,Q)分别按次序重组获得完整像素矩阵，由物象关系得到恢复图像S*。本专利技术进一步的改进在于：步骤2的搭建并训练卷积神经网络具体包括：步骤2.1，构建需要学习的卷积神经网络参数θ为：θ＝{Wi,Bi}其中，Wi为卷积核，Bi是偏置，i是迭代次数；步骤2.2，利用递推关系设置卷积神经网络卷积核Wi：其中，Δ为动量，l为卷积神经网络的层数；步骤2.3，设定动量标准传播递推关系为：其中，η为学习率，L为损失函数；步骤2.4，获取完整图像素材Ir及其对应的随机抽样的不完整图像Iy，利用n对素材训练卷积神经网络，卷积神经网络的预处理结果Fl(Iyi)为：其中，Wl是l层中维度为sl×sl、数量为nl的卷积核，Bl是第l层的偏置，为卷积算子，为sigmoid函数，将原图像素材记为Ri，不完整图像Iy的训练结果记为F(Iyi,θ)，定义图像损失值为网络参数θ的函数L(θ)：其中n代表训练样本数。步骤4中构建具有低秩特性的矩阵和预估秩具体包括：步骤4.1，在I中选取与Iq欧氏距离最小的a个相似像素块，将此a+1个像素块分别按顺序排列为列向量cx(x＝1,2,...,a+1)，按列构建低秩矩阵步骤4.2，按照经验公式对构造的低秩矩阵Cq的秩赋予初值步骤5包括如下步骤：步骤5.1，设定正则系数μ,λ，最大迭代数K，终止容错度为tol，构建与Cq等维度的零矩阵Zq和Xq，令PΩ(Xq)＝PΩ(Cq)，其中PΩ(Xq),PΩ(Cq)分别为矩阵Xq,Cq在Ω上的投影；步骤5.2，对低秩特性矩阵Cq做奇异值分解，得到奇异值矩阵为U,W,V，将U的第r列单位化并记为ur的初始值，将V的第r行单位化并记为vr的初始值，将W中的奇异值分别记为ωr的初始值，r＝1,2,...,min(np×mp,a+1)；步骤5.3，建立最小化的目标函数f，引入惩罚项λR，其中，ur,vr,ωr与步骤5.2中意义相同，R为离散型正整数变量；步骤5.4，利用块坐标下降法，将目标函数f(Xq,ωr,ur,vr,R)分为R+2块，基于第r块的元素ur,vr,ωr，构建拉格朗日函数L：取第一块元素u1,v1,ω1作为下一步的输入，进行第一次迭代；步骤5.5，若ωr＝0，则直接取第r+1块元素ur+1,vr+1,ωr+1作为输入，重复步骤5.5；相反，若ωr≠0，则在第k次迭代过程中，保持其他参数不变，求函数L对ur的驻点，并更新ur：ur(k+1)＝Xq,r(k)vr(k)/ωr(k)用相同方法求得vr的迭代关系：vr(k+1)＝Xq,rT(k)ur(k)/ωr(k)分别将ur(k+1),vr(k+1)单位化；步骤5.6，在第k次迭代过程中，保持其它参数不变，求函数L对ωr的驻点：引入软阈值操作算子shrinkμ获得数值解：解得步骤5.7，取下一块元素ur+1,vr+1,ωr+1，重复步骤5.5-步骤5.6，直到获得块的更新，在第k次迭代过程中，计算重构矩阵由观测索引Ω更新Xq：其中PΩ(Xq),分别为矩阵Xq,Zq(k+1)在Ω及其补集上的投影，取Rq*＝1作为下一步的输入；步骤5.8，保持其他参数不变，计算函数值f(Rq*),f(Rq*+1)：Rq*＝1,2,...,min(np×mp,a+1)-1步骤5.9，若f(Rq*)-f(Rq*+1)<0，则令Rq＝Rq*；否则令Rq*＝Rq*+1，并重复步骤5.8，直到本文档来自技高网...

【技术保护点】
1.一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，包括以下步骤，步骤1，读入均匀随机采样的图像，根据该图像的物象信息得到对应像素矩阵

【技术特征摘要】
1.一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，包括以下步骤，步骤1，读入均匀随机采样的图像，根据该图像的物象信息得到对应像素矩阵和样本索引Ω；步骤2，搭建并训练卷积神经网络，利用经训练的卷积神经网络对S做预处理，得到预处理结果步骤3，将I平均分成大小为np×mp的Q个像素块矩阵，其中的第q个像素块矩阵记作Iq(q＝1,2,3,...,Q)，将I1作为下一步的输入；步骤4，将Iq列向量化作为低秩矩阵的第一列，利用欧式距离在I中分别取得与Iq等大相似的a个像素块，将该a个像素块分别列向量化排列为具有低秩特性矩阵Cq的第二到a+1列，预估Cq的秩为步骤5，引入关于自适应秩估计的惩罚项λR，利用自适应秩估计算法估计矩阵Cq的秩；步骤6，运用基于黎曼流形的优化算法获得对应Cq的重构矩阵Uq；步骤7，取下一个像素块Iq+1，重复步骤4-步骤6，直到获得Q个重构矩阵Uq(q＝1,2,3,...,Q)，仅对重构矩阵Uq的第一列向量按步骤4中的方法逆列向量化，获得重构像素块Iq*，将Iq*(q＝1,2,3,...,Q)分别按次序重组获得完整像素矩阵，由物象关系得到恢复图像S*。2.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤2的搭建并训练卷积神经网络具体包括：步骤2.1，构建需要学习的卷积神经网络参数θ为：θ＝{Wi,Bi}其中，Wi为卷积核，Bi是偏置，i是迭代次数；步骤2.2，利用递推关系设置卷积神经网络卷积核Wi：Wi+1l＝Wil+Δi+1其中，Δ为动量，l为卷积神经网络的层数；步骤2.3，设定动量标准传播递推关系为：其中，η为学习率，L为损失函数；步骤2.4，获取完整图像素材Ir及其对应的随机抽样的不完整图像Iy，利用n对素材训练卷积神经网络，卷积神经网络的预处理结果Fl(Iyi)为：其中，Wl是l层中维度为sl×sl、数量为nl的卷积核，Bl是第l层的偏置，为卷积算子，为sigmoid函数，将原图像素材记为Ri，不完整图像Iy的训练结果记为F(Iyi,θ)，定义图像损失值为网络参数θ的函数L(θ)：其中n代表训练样本数。3.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤4中构建具有低秩特性的矩阵和预估秩具体包括：步骤4.1，在I中选取与Iq欧氏距离最小的a个相似像素块，将此a+1个像素块分别按顺序排列为列向量cx(x＝1,2,...,a+1)，按列构建低秩矩阵步骤4.2，按照经验公式对构造的低秩矩阵Cq的秩赋予初值4.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤5包括如下步骤：步骤5.1，设定正则系数μ,λ，最大迭代数K，终止容错度为tol，构建与Cq等维度的零矩阵Zq和Xq，令PΩ(Xq)＝PΩ(Cq)，其中PΩ(Xq),PΩ(Cq)分别为矩阵Xq,Cq在Ω上的投影；步骤5.2，对低秩特性矩阵Cq做奇异值分解，得到奇异值矩阵为U,W,V，将U的第r列单位化并记为ur的初始值，将V的第...

【专利技术属性】
技术研发人员：刘静，刘涵，苏立玉，黄开宇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61