基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法技术

本发明专利技术公开了基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，包括以下步骤：1利用分数阶正交偏最小二乘，将组内和组间协方差矩阵通过分数阶特征值和奇异值重新调整，再计算投影方向，将人脸图像特征映射到子空间中，通过邻域重建的思想重建出低分辨率输入高分辨率全局脸特征；2利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿，通过残差补偿策略补充人脸细节；3最终算法输出的高分辨率人脸图像为全局人脸加上残差补偿，其中高分辨率全局脸特征可用于人脸识别。本发明专利技术在人脸超分辨率重建与识别应用中，能够获得更好的人脸重建效果和更高的人脸识别准确率。

Face super-resolution reconstruction recognition method based on fractional order orthogonal partial least squares

【技术实现步骤摘要】
基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法
本专利技术涉及超分辨率重建和识别领域，特别涉及基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法。
技术介绍
多元分析方法常被运用于超分辨率重建以进行特征提取，其中较为流行的是主成分分析(PrincipalComponentAnalysis，PCA)，特征提取步骤通常用来对数据降维并减少噪声。PCA通过保留合适的维度以提取人脸的有用信息并过滤噪声，Wang等人提出一个通过PCA得到图像线性组合系数来生成高分辨率人脸的框架。偏最小二乘方法(PLS)是一种分析两类随机变量之间关系的有效方法，其旨在寻找一对使得两类随机变量之间的协方差最大化的投影方向。Hao等人提出一种基于偏最小二乘的人脸超分辨率方法，同时学习高分辨率和低分辨率人脸图像间的映射关系。Zhang等人提出一种基于局部保持偏最小二乘的人脸超分辨率方法，其处理数据的局部信息并学习高分辨率和低人脸图像块的映射关系。另外，Wu等人提出一种基于回归的超分辨率方法，其利用核偏最小二乘预测输入低分辨率图像的高分辨率图像，但是，上述方法使用偏最小二乘的非线性迭代算法来求解高分辨率和低分辨率图像的投影方向，这样并不能保证所有高分辨率和低分辨率图像的投影方向相互正交，并且较少的训练数据将导致方差和协方差产生偏差。因此利用分数阶正交偏最小二乘(FractionalOrthonormalizedPartialLeastSquares，FOPLS)方法，通过分数阶特征值和奇异值重新调整组内和组间协方差矩阵，再计算投影方向，重建高分辨率全局人脸，并且高分辨率全局脸特征可用于人脸识别。在人脸识别领域，由于光照、距离、天气等因素限制，低分辨率问题存在于许多实际生活场景。低分辨率人脸图像通常丢失了以多面部细节，是的传统人脸分析方法很难取得满意的效果。因此，从输入的低分辨率人脸中恢复出高分辨率人脸图像是一项很有挑战的问题。现有的人脸图像超分辨率算法可以被粗略地分为三类：基于学习的、基于插值的和基于重建的超分辨率算法。基于学习的方法通过学习高分辨率和低分辨率训练集之间的关系来预测高分辨率图像，近期，许多研究者将深度学习与基于学习的超分辨率方法相结合，取得了巨大的成功；基于插值的方法通过预测未知像素信息来生成高分辨率图像，但因为没有带来有效的新信息，通常结果非常模糊；基于重建的方法利用先验知识和约束信息构造高分辨率图像，但在输出结果的细节方面仍然表现不佳。
技术实现思路
本专利技术的目的是克服现有技术缺陷，提供基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，通过分数阶特征值和奇异值重新调整，再计算投影方向，将人脸图像特征映射到子空间中，通过邻域重建的思想重建出高分辨率全局脸特征，并通过残差补偿策略补充人脸细节，并且高分辨率全局脸特征可用于人脸识别本专利技术的目的是这样实现的：基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，包括以下步骤：步骤1对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA提取人脸主成分特征，再利用FOPLS法对组内和组间协方差矩阵进行调整，并计算投影向量，使主成分特征投影到FOPLS子空间，对输入的低分辨率人脸图像提取主成分特征并投影到相同的子空间中，通过领域重建构造输入人脸对应的高分辨率全局人脸；步骤2计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用FOPLS将其主成分特征投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；步骤3最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残差补偿。作为本专利技术的进一步限定，步骤1中所述高分辨率全局人脸重建包括以下步骤：(1)给定高分辨率训练集低分辨率训练集其中s和q分别表示高分辨率人脸图像向量和低分辨率人脸图像向量的维度，m为训练图像的数量，通过和对每个高分辨率人脸图像和低分辨率人脸中心化，其中μh和μl分别为高分辨率训练图像和低分辨率训练图像的均值，令和利用PCA提取高分辨率和低分辨率人脸图像的主成分特征：其中(2)求解如下FOPLS的最优化问题，计算出高分辨率和低分辨率人脸的投影方向其中同时和分别表示组内和组间协方差矩阵，Tr(·)代表矩阵的迹，I是单位矩阵，并且：其中0≤α≤1，为Shl的左奇异向量矩阵，是Shl的右奇异向量矩阵，σ1≥σ2≥…≥σr≥0为r个非零奇异值，且r＝rank(Shl)，其中0≤β≤1，为Shh的特征向量矩阵，为个非零特征值，且(3)得到投影向量Wh和Wl后，通过计算高分辨率和低分辨率人脸主成分特征在子空间中的低维嵌入，设输入的测试低分辨率图像为同样求得其主成分特征并计算其FOPLS特征：使用邻域重建方法在低分辨率子空间中寻找k1个cl的最近邻求解如下最优化问题计算权重系数定义权重系数可以接下来使用权重值构造出高分辨率全局脸特征：该特征可用于进行人脸识别工作，通过逆运算将ch从子空间特征转换回像素域以得到高分辨率全局脸图像hg：其中表示摩尔-彭若斯广义逆。作为本专利技术的进一步限定，步骤2中所述残差补偿包括以下步骤：(1)对训练集中的所有低分辨率图像使用上述的步骤求其高分辨率全局脸图像得到高分辨率残差集和低分辨率残差集其中↓表示将每一张全局脸图像进行下采样处理；(2)将所有残差图像分成若干大小为n×n且互相重叠的残差块，为了让低分辨率残差图像的块数和高分辨率残差图像块数一样，在对低分辨率残差人脸分块前，利用插值算法将其上采样到与高分辨率残差人脸相同大小，对于在j位置的高分辨率和低分辨率残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，对于输入的低分辨率人脸l，通过lr＝l-hg↓计算其残差脸，将lr上采样到高分辨率残差人脸图像相同大小，并进行分块处理，对于每一个残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，利用邻域重建策略重建出高分辨率残差块，合并残差块得到高分辨率残差人脸hr。作为本专利技术的进一步限定，步骤3中所述最终重建完成的高分辨率人脸图像为：h＝hg+hr。与现有技术相比，本专利技术的有益效果在于：本专利技术通过特征值和奇异值的分数阶建模，来重新估计组内和组间协方差矩阵，以此减小实践中人脸样本协方差矩阵的偏离，在人脸超分辨率重建与识别应用中，本专利技术能够获得更好的人脸重建效果和更高的人脸识别准确率。附图说明图1是本专利技术的实现流程图。图2是六种方法在CAS-PEAL-R1数据库上的超分辨率重建结果对比图。图3是六种方法在CMUPIE数据库上的人脸识别结果对比图。图4是六种方法在AT&T数据库上的人脸识别结果对比图。具体实施方式如图1所示的基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，包括以下步骤：步骤1对训练集中的高分辨率本文档来自技高网...

【技术保护点】
1.基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，包括以下步骤：/n步骤1对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA提取人脸主成分特征，再利用FOPLS法对组内和组间协方差矩阵进行调整，并计算投影向量，使主成分特征投影到FOPLS子空间，对输入的低分辨率人脸图像提取主成分特征并投影到相同的子空间中，通过领域重建构造输入人脸对应的高分辨率全局人脸；/n步骤2计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用FOPLS将其主成分特征投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；/n步骤3最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残差补偿。/n

【技术特征摘要】
1.基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，包括以下步骤：
步骤1对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA提取人脸主成分特征，再利用FOPLS法对组内和组间协方差矩阵进行调整，并计算投影向量，使主成分特征投影到FOPLS子空间，对输入的低分辨率人脸图像提取主成分特征并投影到相同的子空间中，通过领域重建构造输入人脸对应的高分辨率全局人脸；
步骤2计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用FOPLS将其主成分特征投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；
步骤3最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残差补偿。


2.根据权利要求1所述的基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，步骤1中所述高分辨率全局人脸重建包括以下步骤：
(1)给定高分辨率训练集低分辨率训练集其中s和q分别表示高分辨率人脸图像向量和低分辨率人脸图像向量的维度，m为训练图像的数量，通过和对每个高分辨率人脸图像和低分辨率人脸中心化，其中μh和μl分别为高分辨率训练图像和低分辨率训练图像的均值，令和利用PCA提取高分辨率和低分辨率人脸图像的主成分特征：其中
(2)求解如下FOPLS的最优化问题，计算出高分辨率和低分辨率人脸的投影方向






其中同时和分别表示组内和组间协方差矩阵，Tr()代表矩阵的迹，I是单位矩阵，并且：



其中0≤α≤1，为Shl的左奇异向量矩阵，是Shl的右奇异向量矩阵，σ1≥σ2≥…≥σr≥0为r个非零奇异值，且r＝rank(Shl)，



其中0≤β≤1，为Sh...

【专利技术属性】
技术研发人员：袁运浩，李进，李云，强继朋，
申请(专利权)人：扬州大学，
类型：发明
国别省市：江苏;32