基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法技术

本发明专利技术公开了一种基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法，包括；(1)获取在不同角度对于同一场景拍摄得到的多个图像；(2)利用siftflow算法将多个图像对齐；(3)将参考图像P0划分为多个相同大小的patch；(4)对于每个patch，执行如下步骤：A、获取当前patch以及其他图像中与其相似的patch的RGB值形成的列向量，将所述列向量组成RGB矩阵；B、获取当前patch以及其他图像中与其相似的patch中每个像素的最小梯度值所形成的列向量，将所述列向量作为每列的列向量组成最小梯度矩阵；C、根据最小梯度矩阵和RGB矩阵进行稀疏矩阵与低秩矩阵分解；(5)将所有patch对应的低秩矩阵重组，得到抑制反射光后的图像。本发明专利技术图像处理效果更好。

【技术实现步骤摘要】
基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法
本专利技术涉及图像处理，尤其涉及一种基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法。
技术介绍
在生活中，当透过玻璃拍摄图像时，拍摄的照片既包括玻璃内想拍摄的场景，同时也包含了不需要的玻璃外部的反射光场景。反射光去除就是从拍摄图像中去除不需要的反射场景。目前大多数的方法是把玻璃图像看成是透射图像和反射图像的线性组合，通过抑制反射图像从而重构透射图像，例如下面所述方法：第一类方法借助单幅图像。此类方法主要利用从玻璃生成的图像的先验知识和假设，如梯度稀疏，相对平滑，重像线索等。Levin和Weiss通过使用图像中的梯度分布模型来最小化代价函数，重构一幅优化的反射图像。Li和Brown借助反射光的梯度比折射光梯度更加平滑，模糊的特点，利用梯度域的反射能量抑制，达到去除反射成分的效果。然而这个假设不适用于光线非常强的场景。Shin等人考虑到玻璃的多次反射特性，借助玻璃的前后两表面反射光的重像效果抑制反射。此类方法参考文献A.LevinandY.Weiss.Userassistedseparationofreflectionsfromasingleimageusingasparsityprior.IEEETrans.ImageProcess.,29(9):1647–1654,Sept.2007；Y.LiandM.S.Brown.Singleimagelayerseparationusingrelativesmoothness.InProc.IEEECVPR,pages2752–2759,June2014；Y.Shih,D.Krishnan,F.Durand,andW.T.Freeman.Reflectionremovalusingghostingcues.InProc.IEEECVPR,pages3193–3201,June2015.第二类方法借助多幅相关图像。这类方法可以借助特殊的拍摄装置，如偏振器、闪光灯等。利用偏振器去除反射光的原理在于折射和反射对光波偏振的差异性，通过调整偏振器的角度，拍摄多张图片，从而重构出理想的透射图。除此之外，也可以通过改变相机的视点，获取多幅相关图片。Li和Brown通过对齐这一系列不同角度拍摄的图像，分离出折射图像和反射图像的梯度，来分析多张图片梯度特征。Xue等评估透射和反射场景各自的不同密集程度，优化出透射和反射图像。此类方法参考文献Y.LiandM.S.Brown.Exploitingreflectionchangeforautomaticreflectionremoval.InProc.IEEEICCV,pages2432–2439,Dec.2013；T.Xue,M.Rubinstein,C.Liu,andW.T.Freeman.Acomputationalapproachforobstruction-freephotography.ACMTrans.Graph.,34(4):79:1–79:11,July2015.通常而言，利用多张图片的反射光去除获得的效果比基于单张图片的效果更理想，使用的场景也更广泛。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法，该方法直接利用原图像和梯度进行最优化，可以得到对比度更高的图像，颜色不会失真。技术方案：本专利技术所述的基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法包括；(1)获取在不同角度对于同一场景拍摄得到的多个图像；(2)利用siftflow算法将多个图像对齐；(3)从对齐后的图像中选取其中一个图像作为参考图像P0，并将参考图像P0划分为多个相同大小的patch；(4)对于每个patch，执行如下步骤：A、获取当前patch以及其他图像中与其相似的patch的RGB值形成的列向量，将所述列向量组成RGB矩阵；B、获取当前patch以及其他图像中与其相似的patch中每个像素的最小梯度值所形成的列向量，将所述列向量作为每列的列向量组成最小梯度矩阵；C、根据最小梯度矩阵和RGB矩阵进行稀疏矩阵与低秩矩阵分解；(5)将所有patch对应的低秩矩阵重组，得到抑制反射光后的图像。进一步的，步骤(4)中A具体包括：A-1、将当前patch标记为ph0，并从其他每个对齐后的图像中匹配出一个与ph0最相似的patch，得到相似patch集合PH1＝{phj|j＝1,…,K-1}，其中，phj表示在图像Pj中与ph0最相似的patch，K为所有图像的数目；A-2、将ph0添加到集合PH1中，形成新的集合PH2＝{phj|j＝0,…,K-1}；A-3、将集合PH2中每个patch的像素RGB值作为一个列向量，所有列向量组成RGB矩阵I＝[pr0,...,prK-1]，其中，prk表PH2中第k个patch的所有像素的RGB值所形成的列向量。进一步的，步骤(4)中B具体包括：B-1、将当前patch标记为ph0，并从其他每个对齐后的图像中匹配出一个与ph0最相似的patch，得到相似patch集合PH1＝{phj|j＝1,…,K-1}，其中，phj表示在图像Pj中与ph0最相似的patch，K为所有图像的数目；B-2、将ph0添加到集合PH1中，形成新的集合PH2＝{phj|j＝0,…,K-1}；B-3、计算集合PH2中每一patch的每一像素的梯度值，得到集合▽PH2＝{▽phj(p)|p∈area,j＝0,...,K-1}，▽phj(p)表示patchphj在像素位置p处的梯度值，area表示patch的像素位置区域；B-4、对于任意位置q，从所有patch的像素位置q的梯度值中选取一个最小值▽(q)，即▽(q)＝min{▽phj(q)|j＝0,...,K-1}，作为像素位置q的最小梯度值，并重复该步骤，得到所有像素位置的最小梯度值，并将所有像素位置的最小梯度值形成一个列向量t；，B-5、将所述列向量组成最小梯度矩阵Gmin＝[t,...,t]；Gmin的列数与所述RGB矩阵列数相等。进一步的，步骤(4)中C具体包括：C-1、建立目标优化函数为：s.t.I＝T+R,R＝H式中，I表示RGB矩阵，T表示低秩矩阵，即图像中折射成分；R为稀疏矩阵，即图像中反射成分；Gmin表示最小梯度矩阵；λ和τ是用户定义参数，用于调节优化目标函数中每一项的权重；H为辅助变量，▽H为H的梯度；C-2、采用迭代增广拉格朗日函数方法求解所述目标优化函数，得到低秩矩阵T。进一步的，步骤C-2具体包括：C-2-1：将I,Gmin作为输入；C-2-2：初始化:T＝I,H＝TC-2-3：按照下式更新：Tk+1＝D1/(2u)[(I-Rk+Hk+(Y1k-Y2k)/u)/2]Rk+1＝Sλ/u[I-Tk+Y1k/u]Hk+1＝(τGmin+Y2k+uTk-τ▽Hk)/uY1(k+1)＝Y1k+u(I-Tk-Rk)Y2(k+1)＝Y2k+u(Tk-Hk)式中，下标k表示第k次迭代，D1/(2u)(X)＝US1/(2u)(∑)V*，S1/(2u)(∑)＝sng(∑)max(|∑|-1/(2u),0)，∑为矩阵X的特征值组成的对角矩阵，U、V*为矩阵X进行SVD分解对应的矩阵本文档来自技高网...

【技术保护点】
1.一种基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法，其特征在于该方法包括；(1)获取在不同角度对于同一场景拍摄得到的多个图像；(2)利用siftflow算法将多个图像对齐；(3)从对齐后的图像中选取其中一个图像作为参考图像P0，并将参考图像P0划分为多个相同大小的patch；(4)对于每个patch，执行如下步骤：A、获取当前patch以及其他图像中与其相似的patch的RGB值形成的列向量，将所述列向量组成RGB矩阵；B、获取当前patch以及其他图像中与其相似的patch中每个像素的最小梯度值所形成的列向量，将所述列向量作为每列的列向量组成最小梯度矩阵；C、根据最小梯度矩阵和RGB矩阵进行稀疏矩阵与低秩矩阵分解；(5)将所有patch对应的低秩矩阵重组，得到抑制反射光后的图像。

【技术特征摘要】
1.一种基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法，其特征在于该方法包括；(1)获取在不同角度对于同一场景拍摄得到的多个图像；(2)利用siftflow算法将多个图像对齐；(3)从对齐后的图像中选取其中一个图像作为参考图像P0，并将参考图像P0划分为多个相同大小的patch；(4)对于每个patch，执行如下步骤：A、获取当前patch以及其他图像中与其相似的patch的RGB值形成的列向量，将所述列向量组成RGB矩阵；B、获取当前patch以及其他图像中与其相似的patch中每个像素的最小梯度值所形成的列向量，将所述列向量作为每列的列向量组成最小梯度矩阵；C、根据最小梯度矩阵和RGB矩阵进行稀疏矩阵与低秩矩阵分解；(5)将所有patch对应的低秩矩阵重组，得到抑制反射光后的图像。2.根据权利要求1所述的基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法，其特征在于：步骤(4)中A具体包括：A-1、将当前patch标记为ph0，并从其他每个对齐后的图像中匹配出一个与ph0最相似的patch，得到相似patch集合PH1＝{phj|j＝1,…,K-1}，其中，phj表示在图像Pj中与ph0最相似的patch，K为所有图像的数目；A-2、将ph0添加到集合PH1中，形成新的集合PH2＝{phj|j＝0,…,K-1}；A-3、将集合PH2中每个patch的像素RGB值作为一个列向量，所有列向量组成RGB矩阵I＝[pr0,...,prK-1]，其中，prk表PH2中第k个patch的所有像素的RGB值所形成的列向量。3.根据权利要求1所述的基于稀疏与低秩矩阵分解的多幅图片反射光抑制方法，其特征在于：步骤(4)中B具体包括：B-1、将当前patch标记为ph0，并从其他每个对齐后的图像中匹配出一个与ph0最相似的patch，得到相似patch集合PH1＝{phj|j＝1,…,K-1}，其中，phj表示在图像Pj中与ph0最相似的patch，K为所有图像的数目；B-2、将ph0添加到集合PH1中，形成新的集合PH2＝{p...

【专利技术属性】
技术研发人员：过洁，李春游，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32