一种基于鉴别典型相关的超分辨率稀疏重构方法技术

本发明专利技术提出一种基于监督典型相关的稀疏人脸超分辨率重建方法，利用监督典型相关分析将提取出的高低分辨率的图像特征投影至相关子空间中，并在相关子空间中采用稀疏选择近邻进行邻域重构。本发明专利技术充分考虑样本类内与类间的相关性，加入监督信息，从而使得提取出的特征更具有鉴别性，能够更好地重构出测试样本对应的高分辨率图像。同时，在重构选择近邻时，采用稀疏选择的方法，根据不同的训练样本与测试样本相关性，自适应地选择出适合的近邻进行重构，得到恢复出的全局脸图像。利用上述的方法以及两步法邻域重建的思想补偿细节信息，重建高分辨率残差图像,将全局脸图像与残差图像相加得到最终的高分辨率人脸图像。

【技术实现步骤摘要】

本专利技术涉及一种图像超分辨率的重构方法。具体为一种基于鉴别典型相关分析的人脸图像超分辨率稀疏重构方法，可应用于模式识别、数据挖掘及图像处理等领域。
技术介绍
超分辨率(Super-resolution,SR)是一种采用硬件或软件的方法来提高图像分辨率的新兴技术，通过输入一组或多组低分辨率(Low Resolution,LR)图像，经由相关算法处理后得到一组高分辨率(High Resolution,HR)的图像。采用超分辨率技术，可以在不改变成像系统的前提下，实现提高图像空间分辨率的目的，不但可以改进图像的视觉效果，而且对图像处理、计算机视觉等领域中的基本问题如图像特征提取、图像配准、图像质量评价等的研究进展起到了推动的作用。超分辨率技术有着较为宽广的应用前景，例如:视频监控、视频压缩、医学诊断、遥感应用、天文观测等。1984年，Tsai和Huang首次提出了超分辨率重建问题，他们提出用傅里叶变换作为基础框架，给出了一个利用多幅欠采样图像重建一副高分辨率图像的频率域方法。随着人们对于超分辨率技术的深入研究，产生了多种经典的超分辨率重建模型框架，如非均匀内插值法(Ur and Gross,1992)、迭代反投影法(Irani and Peleg,1991)、最大似然法(Tom and Katsaggelos,1994；Matins et al,2009)等。Baker提出了一种针对人脸图像的虚幻脸(Face Hallucination)超分辨率方法。2001年，Liu等针对人脸图像的超分辨率重建问题根据贝叶斯方法提出了两步法，即在第一步恢复出高分辨率图像后，第二步采用局部非参数马尔科夫网络模型对第一步求得的图像进行残差修补。2007年，Ayan Chakrabarti将核主成分分析(Kernel Principal Component Analysis,KPCA)应用至超分辨率领域中。2010年，黄华等将典型相关分析(Canonical Correlation Analysis,CCA)应用至超分辨率图像处理中，给出了改进的两步法。CCA作为一种流行的多元数据处理方法，主要着眼于识别和量化两组随机变量之间的相关关系，近年在模式识别领域逐渐被人们使用。黄的方法将人脸图像通过主成分分析(Principal Component Analysis,PCA)方法降维处理并利用CCA投影至相关子空间，使得高分辨率图像与其对应的低分辨率图像之间得到最大相关，同时，利用残差图像(原高分辨率头像与采用超分辨率方法得出的图像之间的差值)重复前述思想，对得到的图像进行细节上的进一步修饰。该方法在第二步即残差图像预处理时需要对所有训练样本进行第一步的调用操作，而在残差图像训练集预处理时的近邻值为人为设置的固定值。一般情况下，随着近邻样本数的增大，超分辨率的重构效果越好，但近邻值到达一定值后，重构效果的上升趋势逐渐平缓。一般情况下，近邻值取值越大，重构效果越好，但过大的近邻值会使得该算法模型的空间、时间复杂度增加。因此，如何合理的选择近邻值成为该算法需要解决的问题之一。另一方面，黄的方法采用的CCA是无监督的，没有充分地利用训练样本的类标签信息，缺乏一定的鉴别力。
技术实现思路
为了解决上述
技术介绍
中采用两步法的超分辨率重构方法存在的问题，本专利技术提出一种基于鉴别型典型相关分析的超分辨率稀疏重构方法，即将人脸的高分辨率图像及其对应的低分辨率图像通过鉴别型典型相关分析将其映射至相关子空间中，并利用稀疏表示选择重构样本数，并进行重构。该方法充分考虑了样本集的类别信息，引入了监督的特征融合方法，同时采用稀疏选择在保证重构效果的同时降低的算法的时间复杂度。在残差重构步骤中，稀疏选择能够根据“测试样本”动态地调试近邻值，使得重构步骤能更好的考虑测试样本与训练样本的相关性选择其最适合的近邻值。方法具体描述包括如下：(1)首先，对人脸图像提取全局特征，将特征集合利用典型相关分析(Discriminant Canonical Correlation Analysis,DCCA)映射至DCCA的相关子空间中，使得高分辨率与低分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。重构得到该全局脸图像的具体步骤如下所示：对高分辨率图像训练样本和对应的低分辨率图像样本利用主成分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可以得到在PCA子空间中的投影向量PH、PL，其对应的主成分可表示为： X i H = ( P H ) T T ^ i H = ( P H ) T ( T i H - μ H ) ]]> X i L = ( P L ) T T ^ i L = ( P L ) T ( T i L - μ L ) ]]>其中，表示对TiH中心化处理，μH、μL分别表示高、低分辨率训练图像样本集的均值。对于提取出来的PCA得分向量XH、XL，将其映射至DCCA的相关子空间，通过最大化如下准则公式，求出对应的投影向量CH、CL： J ( C H , C L ) = 本文档来自技高网...

【技术保护点】
一种基于鉴别典型相关的超分辨率稀疏重构方法，包括以下步骤：(1)首先，对人脸图像提取全局特征，将特征集合利用典型相关分析(Discriminant Canonical Correlation Analysis，DCCA)映射至DCCA的相关子空间中，使得高分辨率与低分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。重构得到该全局脸图像的具体步骤如下所示：对高分辨率图像训练样本和对应的低分辨率图像样本利用主成分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可以得到在PCA子空间中的投影向量PH、PL，其对应的主成分可表示为：其中，表示对TiH中心化处理，μH、μL分别表示高、低分辨率训练图像样本集的均值对于提取出来的PCA得分向量XH、XL，将其映射至DCCA的相关子空间，求出对应的投影向量CH、CL。因此在DCCA投影子空间中的得分向量VH和VL可表示为：接下来，输入低分辨率的测试样本Tl，将其投影至训练样本TL的PCA子空间中得到Xl＝(PL)T(Tl‑μL)，并继续将Xl投影至其对应的DCCA子空间中，即由于高分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在VL中选取k个样本即与Vl建立邻域关系。给出一组权值使得最小，权值可用如下公式求出：其中为Gram矩阵。因此，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：其中为DCCA子空间下与VK所对应的高分辨率样本得分向量集。利用逆映射将DCCA子空间中的向量逆映射至PCA空间中：其中，(·)+表示广义逆矩阵，即，((CH)T)+＝(CH(CH)T)‑1CH。测试样本的高分辨率全局脸图像Th可由Th＝((PH)T)+Xh+μH得到；(2)其次，进行残差处理：残差图像训练集的高分辨率样本集为RH＝TH‑TG，低分辨率样本集为RL＝TL‑D(TG)＝D(RH)，其中D(·)表示下采样操作，TG为将(1)中的低分辨率训练样本集TL作测试样本得出的高分辨率图像集；残差图像测试样本集为Rl＝Tl‑D(Th)，得到对应的高分辨率样本记作Rh。对于RH、RL以及Rl，分别看做训练集的高分辨率样本、训练集的低分辨率样本以及测试集的低分辨率样本，进行后续处理。采用(1)中的重构操作，利用稀疏选择出k'个近邻后，对测试样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本Rh；(3)最终的输出图像为原始恢复的图像与残差恢复的图像之和，即：G＝Th+Rh。...

【技术特征摘要】
1.一种基于鉴别典型相关的超分辨率稀疏重构方法，包括以下步骤：(1)首先，对人脸图像提取全局特征，将特征集合利用典型相关分析(Discriminant Canonical Correlation Analysis，DCCA)映射至DCCA的相关子空间中，使得高分辨率与低分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。重构得到该全局脸图像的具体步骤如下所示：对高分辨率图像训练样本和对应的低分辨率图像样本利用主成分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可以得到在PCA子空间中的投影向量PH、PL，其对应的主成分可表示为：其中，表示对TiH中心化处理，μH、μL分别表示高、低分辨率训练图像样本集的均值对于提取出来的PCA得分向量XH、XL，将其映射至DCCA的相关子空间，求出对应的投影向量CH、CL。因此在DCCA投影子空间中的得分向量VH和VL可表示为：接下来，输入低分辨率的测试样本Tl，将其投影至训练样本TL的PCA子空间中得到Xl＝(PL)T(Tl-μL)，并继续将Xl投影至其对应的DCCA子空间中，即由于高分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在VL中选取k个样本即与Vl建立邻域关系。给出一组权值使得最小，权值可用如下公式求出：其中为Gram矩阵。因此，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：其中为DCCA子空间下与VK所对应的高分辨...

【专利技术属性】
技术研发人员：葛洪伟，周梦璇，李莉，朱嘉钢，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32