基于耦合字典学习的低秩核范数正则人脸图像超分辨方法技术

本发明专利技术公开了一种基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，属于图像处理领域。本方法首先以图像中每个像素位置为中心，获取低质量测试样本和低质量训练样本图像各个像素位置的图像块；其次，通过基于耦合字典学习的低秩核范数正则编码算法，获得低质量测试图像块对应的高质量测试图像块，并整合高质量测试图像块，获得高质量测试图像；最后，对上述步骤迭代多次，输出最终的高质量的测试图像。

【技术实现步骤摘要】
基于耦合字典学习的低秩核范数正则人脸图像超分辨方法
本专利技术涉及一种人脸超分辨率方法，特别涉及一种基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，属于图像处理

技术介绍
在视频监控中，当目标人物距离摄像机较远时，往往会导致感兴趣的人脸区域较小。低分辨率的人脸图像丢失了许多重要的面部特征，为了更好的识别人物身份，需要从低分辨率图像中复原出高分辨率图像，这项技术被称为图像超分辨率。目前的人脸图像重构算法主要分为两种类型：基于重建的人脸图像超分辨率算法和基于学习的人脸图像超分辨率算法。基于重建的人脸超分辨率算法存在两方面的不足：一方面由于多幅图像的相对运动估计不够精确、输入的图像相对较少以及噪声的影响，这将导致合成的超分辨率人脸图像的能力受到限制；另一方面由于该方法自身具有一定的局限性，当图像放大倍数达到一定值时，无论输入再多的人脸图像都不可能获得更多的高频人脸特征细节。相对于该方法，基于学习的人脸图像超分辨率算法更受研究者的青睐。此方法又可分为基于全局的人脸图像超分率算法和基于局部的人脸图像超分辨率算法。基于全局的人脸图像超分辨率算法利用整体人脸图像结构相似性获得人脸的细节特征，但忽略了局部人脸图像块的结构信息。而基于局部的人脸图像超分辨率算法是将人脸按照一定的位置进行分块然后按块进行合成，这样有利于合成更多的高频特征信息，从而提高人脸的分辨率。目前基于局部人脸图像的超分辨率算法大致可分为：最小平方差重构模型，稀疏编码重构模型，核范数重构模型。最小平方差重构模型，就是所有的训练样本都参与人脸图像的合成，并进行误差分布的描述。最初大部分局部图像超分辨率方法都是基于此函数模型，但此方法对噪声的鲁棒性很弱，导致合成的图像往往受噪声干扰而出现些许模糊。稀疏编码重构模型，就是部分训练样本参与人脸图像的合成，即稀疏译码。这种局部图像合成方法能相对更精确合成人脸图像，对噪声具有较强的鲁棒性。核范数重构模型，它是对合成图像的误差矩阵的奇异值求和，与其矢量无关。因此这个核范数模型相对去前两个能够更完整的描述误差分布，且对于光照具有更强的鲁棒性。之前的一些方法是直接利用低分辨训练样本进行学习重构权重系数，并把权重系数保持到相应的高分辨率训练样本进行合成，但低分辨率图像与高分辨率图像往往是“多对一”的关系，这将导致图像合成过程中某些高频细节丢失。且即使之前有些方法中采用了字典学习的方法，但在学习过程中采用的学习模型并不能得到最佳的字典对
技术实现思路
本专利技术所要解决的技术问题是提供一种基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，针对现有人脸图像超分辨率算法存在的缺陷，通过基于核范数的耦合字典学习能够增加高低分辨率系数表示的一致性，从而合成实际应用中所要求的人脸图像。本专利技术为解决上述技术问题采用以下技术方案：本专利技术提供一种基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，包括以下具体步骤：步骤1，以图像中每个像素位置为中心，获取低质量测试图像和低质量训练样本图像各个像素位置的图像块；步骤2，通过基于耦合字典学习的低秩核范数正则编码算法，获得低质量测试图像块对应的高质量测试图像块，对高质量测试图像块进行整合得到高质量测试图像；步骤3，将步骤2中获得的高质量测试图像在步骤2中学习到的耦合字典对上进行合成，输出最终的高质量测试图像。作为本专利技术的进一步优化方案，步骤2中通过基于耦合字典学习的低秩核范数正则编码算法，获得低质量测试图像块对应的高质量测试图像块，对高质量测试图像块进行整合得到高质量测试图像，具体为：2.1，设置最大迭代次数，并置初始迭代次数r＝1；2.2，利用低质量训练样本矩阵和高质量训练样本矩阵，根据以下模型进行耦合字典学习，得到第r次迭代时的低质量字典DLr和第r次迭代时的高质量字典DHr；min||XL-DLA||*+||YH-DHA||*+η||A||1其中，||·||*表示矩阵的核范数，即矩阵的所有奇异值的和；XL为低质量训练样本矩阵，YH为高质量训练样本矩阵，DL为低质量字典，DH为高质量字典，A为系数矩阵，η为第一正则化参数；2.3，对低质量测试图像中的每个图像块，运用低秩核范数正则编码算法获得其在低质量字典中对应位置上的图像块集合的表示系数向量；其中，表示系数向量x根据以下模型求解得到：min||yL-DL(x)||*+α||Hdiag(x)||*+β||x||1其中，yL表示低质量测试图像块；DL(x)＝x1DL1r+x2DL2r+…+xNDLNr，xi为表示系数向量x中的第i个元素值，DLir为低质量字典DLr中的第i个原子，N为低质量字典DLr中的原子个数；H＝[Vec(DL1r),...,Vec(DLNr)]，Vec(·)表示矩阵的向量化操作；α、β分别为第四、五正则化参数；2.4，利用2.3中求得的表示系数向量x和2.3中求得的高质量字典DHr，合成低质量测试图像块yL对应的高质量测试图像块yH，yH＝x1DH1r+x2DH2r+…+xNDHNr，其中，DHir为高质量字典DHr中的第i个原子；2.5，对2.4中的高质量测试图像块进行整合，得到第r次迭代时的高质量测试图像yr；2.6，若达到最大迭代次数，则输出yr、DLr和DHr；否则，将本次迭代时的低质量训练样本矩阵在耦合字典对(DLr,DHr)上进行合成得到第r次迭代更新的低质量训练样本矩阵XLr，令XL＝XLr，返回2.2，并令r＝r+1。作为本专利技术的进一步优化方案，步骤2.2中根据模型min||XL-DLA||*+||YH-DHA||*+η||A||1进行耦合字典学习的方法如下：⑴更新模型min||XL-DLA||*+||YH-DHA||*+η||A||1，具体为：min||E1||*+||E2||*+η||A||1s.t.E1＝XL-DLA,E2＝YH-DHA其拉格朗日函数表示为：其中，Y1、Y2均为拉格朗日乘子，μ为第二正则化参数，表示矩阵的F范数的平方；⑵采用交替方向乘子法ADMM对⑴中的模型进行求解，得到低质量字典和高质量字典。作为本专利技术的进一步优化方案，采用交替方向乘子法ADMM对⑴中的模型进行求解，具体为：<a>固定E2、DL、DH、A，更新E1，具体为：通过奇异值阈值化求解最优的E1k+1：其中，E1k+1为第k+1步更新后E1的值，DLk为第k步更新后DL的值，Ak为第k步更新后A的值，Y1k为第k步更新后Y1的值；<b>固定E1、DL、DH、A，更新E2，具体为：通过奇异值阈值化求解最优的其中，为第k+1步更新后E2的值，DHk为第k步更新后DH的值，Y2k为第k步更新后Y2的值；<c>固定E1、E2、DH、A，更新DL，具体为：其中，DLk+1为第k+1步更新后DL的值；通过对关于DL求导并令导函数为零，求解最优的DLk+1：<d>固定E1、E2、DL、A，更新DH，具体为：其中，DHk+1为第k+1步更新后DH的值；通过对关于DH求导并令导函数为零，求解最优的DHk+1：<e>固定E1、E2、DL、DH，更新A，具体为：通过求解以下标准稀疏表示问题模型，得到最优的Ak+1：其中，λ＝2η为第三正则化参数，Ak+1为第k+1步更新本文档来自技高网...

【技术保护点】
基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，其特征在于，包括以下具体步骤：步骤1，以图像中每个像素位置为中心，获取低质量测试图像和低质量训练样本图像各个像素位置的图像块；步骤2，通过基于耦合字典学习的低秩核范数正则编码算法，获得低质量测试图像块对应的高质量测试图像块，对高质量测试图像块进行整合得到高质量测试图像；步骤3，将步骤2中获得的高质量测试图像在步骤2中学习到的耦合字典对上进行合成，输出最终的高质量测试图像。

【技术特征摘要】
1.基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，其特征在于，包括以下具体步骤：步骤1，以图像中每个像素位置为中心，获取低质量测试图像和低质量训练样本图像各个像素位置的图像块；步骤2，通过基于耦合字典学习的低秩核范数正则编码算法，获得低质量测试图像块对应的高质量测试图像块，对高质量测试图像块进行整合得到高质量测试图像；步骤3，将步骤2中获得的高质量测试图像在步骤2中学习到的耦合字典对上进行合成，输出最终的高质量测试图像。2.根据权利要求1所述的基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，其特征在于，步骤2中通过基于耦合字典学习的低秩核范数正则编码算法，获得低质量测试图像块对应的高质量测试图像块，对高质量测试图像块进行整合得到高质量测试图像，具体为：2.1，设置最大迭代次数，并置初始迭代次数r＝1；2.2，利用低质量训练样本矩阵和高质量训练样本矩阵，根据以下模型进行耦合字典学习，得到第r次迭代时的低质量字典DLr和第r次迭代时的高质量字典DHr；min||XL-DLA||*+||YH-DHA||*+η||A||1其中，||·||*表示矩阵的核范数，即矩阵的所有奇异值的和；XL为低质量训练样本矩阵，YH为高质量训练样本矩阵，DL为低质量字典，DH为高质量字典，A为系数矩阵，η为第一正则化参数；2.3，对低质量测试图像中的每个图像块，运用低秩核范数正则编码算法获得其在低质量字典中对应位置上的图像块集合的表示系数向量；其中，表示系数向量x根据以下模型求解得到：min||yL-DL(x)||*+α||Hdiag(x)||*+β||x||1其中，yL表示低质量测试图像块；DL(x)＝x1DL1r+x2DL2r+…+xNDLNr，xi为表示系数向量x中的第i个元素值，DLir为低质量字典DLr中的第i个原子，N为低质量字典DLr中的原子个数；H＝[Vec(DL1r),…,Vec(DLNr)]，Vec(·)表示矩阵的向量化操作；α、β分别为第四、五正则化参数；2.4，利用2.3中求得的表示系数向量x和2.3中求得的高质量字典DHr，合成低质量测试图像块yL对应的高质量测试图像块yH，yH＝x1DH1r+x2DH2r+…+xNDHNr，其中，DHir为高质量字典DHr中的第i个原子；2.5，对2.4中的高质量测试图像块进行整合，得到第r次迭代时的高质量测试图像yr；2.6，若达到最大迭代次数，则输出yr、DLr和DHr；否则，将本次迭代时的低质量训练样本矩阵在耦合字典对(DLr,DHr)上进行合成得到第r次迭代更新的低质量训练样本矩阵XLr，令XL＝XLr，返回2.2，并令r＝r+1。3.根据权利要求2所述的基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，其特征在于，步骤2.2中根据模型min||XL-DLA||*+||YH-DHA||*+η||A||1进行耦合字典学习的方法如下：⑴更新模型min||XL-DLA||*+||YH-DHA||*+η||A||1，具体为：min||E1||*+||E2||*+η||A||1s.t.E1＝XL-DLA,E2＝YH-DHA其拉格朗日函数表示为：其中，Y1、Y2均为拉格朗日乘子，μ为第二正则化参数，表示矩阵的F范数的平方；⑵采用交替方向乘子法ADMM对⑴中的模型进行求解，得到低质量字典和高质量字典。4.根据权利要求3所述的基于耦合字典学习的低秩核范数正则人脸图像超分辨方法，其特征在于，采用交替方向乘子法ADMM对⑴中的模型进行求解，具体为：<a>固定E2、DL、DH、A，更新E1，具体为：通过奇异值阈值化求解最优的E1k+1：其中，E1k+1为第k+1步更新后E1的值，DLk为第k步更新后DL的值，Ak为第k步更新后A的值，Y1k为第k步更新后Y1的值；<b>固定E1、DL、DH、A，更新E2，具体为：通过奇异值阈值化求解最优的其中，为第k+1步更新后E2的值，DHk为第k步更新后DH的值，Y2k为第k步更新后Y2的值；<c>固定E1、E2、DH、A，更新DL，具体为：其中，DLk+1为第k+1步更新后DL的值；通过对关于DL求导并令导函数为零，求解最优的DLk+1：<d>固定E1、E2、DL、A，更新DH，具体为：其中，DHk+1为第k+1步更新后DH的值；通过对关于DH求导并令导函数为零，求解最优的DHk+...

【专利技术属性】
技术研发人员：高广谓，庞会娟，荆晓远，岳东，胡藏艺，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32