一种基于核主成分分析的人脸超分辨率重构方法技术

本发明专利技术公开了一种基于核主成分分析的人脸超分辨率重构方法，首先利用核主成分分析算法建立了低分辨率特征空间和低分辨率特征空间的关系，利用这种关系学习出与输入低分辨率人脸图像所对应的高分辨率人脸图像在高分辨率特征空间中的像到高分辨率核主成分子空间投影的近似，然后采用Ｍｉｋａ等人的迭代原像学习算法从高分辨率特征空间中获得高分辨率原像，针对高分辨率全局人脸图像过于平滑、缺少细节信息的现象，本发明专利技术还对高分辨率全局人脸图像进行了残差补偿，本发明专利技术采用了核主成分分析方法来建立不同分辨率图像之间的联系，跟线性方法相比，核主成分分析方法是一种非线性方法，能够学习出数据的线性和非线性特征，所以重构的图像更接近原图。

【技术实现步骤摘要】

本专利技术涉及一种人脸超分辨率技术，特别涉及一种基于核主成分分析的人 脸超分辨率重构方法。
技术介绍
随着现代社会越来越重视公共安全，在很多公共场合，如银行、超市、街 道等地方安装的视频监控设备也越来越多。但是居于摄像机成本和存储视频文 件空间的考虑，这些视频监控设备的像素一般比较低。而且，当人距离摄像机 比较远时，所拍摄到的人脸图像也将会是非常小的。这样的低分辨率图像在工 程中很难直接应用，从而成为人脸识别和面部表情分析的最大障碍之一。人脸超分辨率技术是一种从低分辨率人脸图像中获得对应的高分辨率人 脸图像的技术。在过去的几十年里，图像的超分辨率技术取得了很大的进展， 一般可将图像的超分辨率技术分为基于重建的技术及基于学习的技术，基于重 建的技术一般利用同一场景的多帧低分辨率图像各自包含的不同亚像素信息来恢复一幅高分辨率图像；基于学习的技术可以利用数据库里的先验知识，通 过训练库来建立不同分辨率图像之间的关系，再利用这种关系重构出高分辨率 图像。 一般来说，基于学习的技术在效果上要比基于重建技术要好。对于人脸图像，由于每个人的图像都是由眼睛、鼻子、嘴巴等器官组成， 各个面部器官都呈现特定的纹理特征。而且，经过人脸对齐后，可以近似认为 每张图片中的每个器官所处位置是大致相同的。由于这种结构性特征，Baker 和Kanda于2000年第一次提出了人脸超分辨率(Hallucination face)的概 念，使得人脸超分辨率重构从图像的超分辨率技术中分离出来，作为一个相对 较独立的研究领域，之后按使用方法的不同，可以将人脸超分辨率重构采用的 方法可以分成两大类1、基于概率模型的人脸超分辨率算法，该类方法把图 像看成是一个随机变量，再结合最大后验概率模型来求解，该类方法一般需要 精确的降采样模型， 一定程度上限制了实际应用的范围；2、基于特征子空间的人脸超分辨率算法，这类方法主要是利用现有的一些子空间算法来学习不同 分辨率图像之间的关系，利用这种关系来重构出高分辨率图像。重构后图像的 效果一般取决于所采用的子空间算法本身的性质以及该子空间算法应用到人 脸超分辨率上的方式。核主成分分析(KPCA)是在经典的主成分分析(PCA)的基础上，通过引 入核函数把数据非线性映射到一个高维特征空间中，然后在特征空间上利用传 统的PCA技术来进行特征提取。近年来，由于KPCA的非线性性质，己经广泛 应用于人脸识别领域和图像预处理领域。但是到目前为止，还没有KPCA应用 于人脸超分辨率重构的技术公开，本专利技术首次将KPCA用于人脸超分辨率的重 构，并取得很好的效果。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点和不足，提供一种可以从一 幅低分辨率人脸图像重构出对应的高分辨率图像，改善人脸识别以及图像理解 与分析效果的基于核主成分分析(KPCA)的人脸超分辨率重构方法。本专利技术的目的通过下述技术方案实现 一种基于核主成分分析的人脸超 分辨率重构方法，包括下述步骤(一) 对训练图像通过将两只眼睛的中心、嘴巴的中心固定在特定坐标 (假定把两只眼睛的中心、嘴巴的中心分别固定在坐标dv—力，(/_x,/_>0，(m —x，m —力上)上进行人脸对齐，对齐后作为高分辨率训练样本。再通过模 糊、降采样得到低分辨率训练样本。把每个高分辨率训练样本及其对应的低 分辨率训练样本看成是一对训练样本，由这些训练样本组成一个训练库。(二) 采用两步来完成人脸超分辨率的重构，第一步通过基于核主成分 分析的全局模型来获得高分辨率全局人脸图像；第二步对第一步得到的高分 辨率全局人脸图像进行残差补偿，因此将训练库中的训练样本分成两部分， 一部分有iV,对训练样本，用于全局模型的训练；另一部分有^对训练样本，用于残差补偿的训练，并将残差补偿的低分辨率训练样本作为全局模型的低分 辨率测试样本。(三) 对于输入的测试图像，同样通过将两只眼睛的中心、嘴巴的中心 固定在特定坐标上(此时两只眼睛的中心、嘴巴的中心坐标分别为<formula>formula see original document page 6</formula> 为降采样率，即分辨率提高的倍数)，进行人脸对齐，得到低分辨率测试样本。再 通过核主成分分析，计算低分辨率测试样本在低分辨率特征空间中的象到低 分辨率核主成分子空间的投影，可以表示成全局模型的低分辨率训练样本在 低分辨率特征空间中象的线性组合；具体步骤是对^个全局模型的低分辨 率训练样本，进行核主成分分析算法，令u;，…,ii:为被选取的低分辨率核主成分，由此生成的空间为低分辨率核主成分子空间，则存在系数矩阵P'，使得<formula>formula see original document page 6</formula>其中，i;,…入是全局模型的低分辨率训练样本，w=W(i;d'(i'w,)]， 一为低分辨率图像空间到由核生成的低分辨率特征空间的 映射。那么对低分辨率测试样本IL在低分辨率特征空间中的象^(IL)到低分辨率核主成分子空间的投影P/(i')可以表示成<formula>formula see original document page 6</formula>其中<formula>formula see original document page 6</formula>由<formula>formula see original document page 6</formula>(2) (四)构造与低分辨率测试样本所对应的高分辨率图像在高分辨率特征 空间的像到高分辨率核主成分子空间投影的近似。本专利技术通过理论分析和实 验，发现对于如下参数选择下的径向基核(RBF核)，不同分辨率图像对应的 公式(2)中的权值是近似相等的。RBF核的定义为<formula>formula see original document page 6</formula>其中，<formula>formula see original document page 6</formula>为同一分辨率的两幅图像。因此将式(2)中全局模型的低分辨率训练样本在低分辨率特征空间中的象换成对应的高分辨率训练样本在高分辨率特征空间的象，即一(i;)换成,w) (其中,为由高分辨率图像空间到由核生成的高分辨率特征空间的映射)，并保持权值w'不变，可以得到低分辨率测试样本IL所对应的高分辨率图像《,在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似<formula>formula see original document page 6</formula>、(五)通过式(4)来计算高分辨率原象。 一般来说，严格的原象是不一定存在的，所以只能够在高分辨率图像生成的空间中找一个t,，使得-W(iLXAt,) (5)本专利技术利用Mika等人的迭代原象学习算法(S. Mika, B. Scholkopf, A. Smola, K. R. Mtiller， M. Sc本文档来自技高网...

【技术保护点】
一种基于核主成分分析的人脸超分辨率重构方法，其特征在于包括下述步骤：（一）对训练图像进行人脸对齐，对齐后作为高分辨率训练样本；再通过模糊、降采样得到对应的低分辨率训练样本；（二）将高分辨率训练样本及对应的低分辨率训练样本分成两个部分，其中，一部分用于全局模型的训练；另一部分用于残差补偿的训练，并将残差补偿的低分辨率训练样本作为全局模型的低分辨率测试样本；（三）对于低分辨率测试样本，通过核主成分分析，计算其在低分辨率特征空间中的象到低分辨率核主成分子空间的投影；（四）构造与低分辨率测试样本所对应的高分辨率图像在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似；（五）利用Ｍｉｋａ等人的迭代原象学习算法重构出高分辨率全局人脸图像；（六）通过计算高辨率残差脸和对应的低分辨率残差脸并对其进行分块，构造低分辨率残差块训练库和高分辨率残差块训练库，求得测试图像的高分辨率残差脸来对重构的高分辨率全局人脸图像进行残差补偿；（七）将（五）中得到的高分辨率全局人脸加上（六）中的高分辨率残差脸，得到最终的高分辨率人脸图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：赖剑煌，邹耀贤，郑伟诗，
申请(专利权)人：中山大学，
类型：发明
国别省市：81[中国|广州]