一种融合全局特征与局部细节信息的人脸图像超分辨率方法技术

本发明专利技术公开了一种融合全局特征与局部细节信息的人脸图像超分辨率方法。能基于样本图像，根据一幅低分辨率人脸图像合成相应的高分辨率人脸图像。首先将局部保持映射算法和径向基函数回归算法结合起来得到全局的高分辨率人脸图像；然后采用邻域重建的方法合成高分辨率人脸残差图像块，并组合形成高分辨率人脸残差图像；最后将高分辨率人脸残差图像叠加至高分辨率人脸图像得到最终超分辨率效果。本发明专利技术提供的技术能合成较清晰的高分辨率人脸图像，增加人脸图像的辨识度，在视频监控、人脸识别等方面具有重要应用意义。

【技术实现步骤摘要】

本专利技术涉及数字图像处理，尤其涉及。
技术介绍
人脸超分辨率技术是一类特殊的图像超分辨率技术，目前的图像超分辨率技术大体上可以分为两类，即基于重建的图像超分辨率和基于学习的图像超分辨率，一般来说后者比前者更为有效。近年来出现了一些有代表性的基于学习的图像超分辨率技术，这些方法的主要思想是基于一个包含成对高分辨率和低分辨率图像的样本图像库进行图像超分辨率。Freeman等人提出一种基于样本的方法，他们通过马尔可夫网络(Markov Network)学习低分辨率图像和对应高分辨率图像之间的关系，并利用学习到的关系对其它低分辨率图像进行超分辨率，此项工作公布于1999年IEEE国际计算机视觉会议上(IEEE InternationalConference on Computer Vision，(1999)1182～1189)。Hertzmann等人在2001年的ACM图形学会议(ACM SIGGRAPH 2001)上提出一种通用的局部特征转换方法，称为“图像类推”(Image Analogies)。他们采用多尺度自回归(Multi-scaleAuto-regression)方法学习高-低分辨率图像对之间的局部相似性，并以此为依据进行图像超分辨率。这些方法更适合处理一般图像的超分辨率问题，因为他们没有考虑人脸图像的特殊属性。Baker和Kanade在2000年IEEE自动人脸和姿态识别国际会议上公布首次提出“人脸幻想”(Face Hallucination)技术，他们将人脸图像梯度信息的空间分布作为先验知识，并采用贝叶斯推理手段从低分辨率人脸图像得到高分辨率人脸图像。这种方法依赖于十分复杂的概率模型。Ce Liu在2001年IEEE计算机视觉与模式识别国际会议上(IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition.Kauai Marriott，Hawaii(2001)192-198)公布了一种两步人脸幻想方法达到了同样的目的。Wang等人基于特征转换(Eigen-transformation)算法开发了一种高效的人脸超分辨率技术。他们基于主成分分析(PCA)，用低分辨率样本人脸图像的线性组合来逼近输入人脸图像并求解组合系数。保留这些组合系数，并将低分辨率人脸图像替换为高分辨率样本人脸图像，即可通过线性组合来合成高分辨率人脸图像。但是这种方法只考虑到全局图像特征，而忽略了局部细节信息，造成合成的图像在局部区域不清晰，缺乏细节特征，这项工作出现在2005年的IEEE汇刊上(IEEE Trans.on Systems，Man，and Cybernetics，Part-C.2005，35(3)425～434)。 在视频监控应用中，由于视频分辨率不高、人脸距镜头过远等原因，人脸部分的图像分辨率太低，辨识度太差，对人的身份识别造成困难。人脸超分辨率技术能够根据低分辨率的人脸图像合理“推导”出高分辨率人脸图像，增加图像中人脸的辨识度，将在人脸识别以及视频监控领域得到广泛应用。
技术实现思路
本专利技术的目的是提供，包括如下步骤 1)根据低分辨率和高分辨率人脸图像的样本数据，采用局部保持映射算法建立转换向量； 2)采用局部保持映射算法提取低分辨率样本人脸图像的本征特征； 3)采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联； 4)将输入的低分辨率人脸图像投影到转换向量上得到本征特征，将此本征特征作为径向基函数的输入，得到全局的高分辨率人脸图像； 5)根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵； 6)计算由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重，然后将低分辨率残差图像块替换为高分辨率样本残差图像块，加权合成高分辨率残差图像块； 7)组合高分辨率残差图像块并用线性平滑算子进行平滑，得到高分辨率的残差人脸图像； 8)将步骤7)得到的高分辨率的残差人脸图像与步骤4)得到的全局高分辨率人脸图像相加得到最终超分辨率结果。 所述的采用局部保持映射算法建立转换向量包括如下步骤 1)设P是n幅高分辨率样本人脸图像，P＝p1，…，pn，维度为m；Q是对应的n幅低分辨率样本人脸图像，Q＝q1，…，qn，维度为d，采用主成分分析对低分辨率样本人脸图像Q进行降维，得到特征向量U和特征系数V； 2)在特征向量U表示的子空间中计算任意两幅人脸图像qi和qj间的距离，并在样本空间中为每幅图像q选择k个最近邻，构造反映数据集局部拓扑结构的邻域图； 3)如果人脸图像qi是人脸图像qj的k个近邻之一或人脸图像qj是人脸图像qi的k个近邻之一，权重设置为Wij＝‖qi-qj‖2，否则Wij＝0； 4)计算转换向量的公式为QLQTa1＝λQDQTa1其中Dii＝∑jWji，而L＝D-W是拉普拉斯矩阵，设求解得到的特征值为λi(l＝1，...L)，用表示与最小的前h个特征值对应的特征向量，则将原始高维人脸图像映射至低维流形空间中的转换向量表示为A＝US。 所述的采用局部保持映射算法提取低分辨率样本人脸图像的本征特征通过公式ytr＝ATQ计算样本低分辨率人脸图像的本征特征ytr，其中Q是低分辨率样本人脸图像，A是采用局部保持映射算法建立的转换向量。 所述的采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联方法如下径向基函数的基本形式为其中并且常量σ可由如下公式计算其中n表示样本图像的数目，nbs表示k个最近邻的数目，矩阵形式的径向基函数表示为P＝WK，其中关联系数为W＝采用yi＝1，...ntr和P＝p1，...pn来训练径向基函数并得到关联系数W。 所述的生成全局高分辨率人脸图像包括如下步骤 1)将输入的低分辨率人脸图像qin投影到转换向量A上，得到qin在低维流形空间中的坐标yin，yin＝ATqin； 2)将yin作为输入数据，根据k(yitr，yjtr)计算矩阵K，并根据P＝WK计算全局高分辨率人脸图像pout。 所述的根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵方法如下设Il是样本低分辨率人脸图像，而Ih是对应的全局高分辨率人脸图像，则低分辨率的残差人脸Rl为Rl＝Il-D(Ih)，其中D(·)是下采样函数；高分辨率的残差人脸Rh为Rh＝Io-Ih，其中Io是原始高分辨率人脸图像，重新令Il为低分辨率样本残差人脸图像，令Ih为高分辨率样本残差人脸图像，将它们划分为相同数目的图像小块，每一对高-低分辨率图像小块均满足一一对应关系；定义Ptl(i，j)为Il中的低分辨率残差小块，中心为vijl，Pth(i，j)为Ih中的高分辨率残差小块，中心为vijh，将Ptl(i，j)固定为nl×nl大小，nl为奇数，将Pth(i，j)固定为nh×nh大小，nl和nh之间满足nh＝λnl，其中λ是缩放因子；Il中低分辨率小块之间的重叠尺寸设为(nl-1)/2，而Ih中高分辨率小块之间的重叠尺寸设为(odd(nh)-1)/2，其中函数odd(x)的作用是找到不大于x的最大的奇数；一旦确定vijl，Pt本文档来自技高网...

【技术保护点】
一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于包括如下步骤；１）根据低分辨率和高分辨率人脸图像的样本数据，采用局部保持映射算法建立转换向量；２）采用局部保持映射算法提取低分辨率样本人脸图像的本征特征；３）采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联；４）将输入的低分辨率人脸图像投影到转换向量上得到本征特征，将此本征特征作为径向基函数的输入，得到全局的高分辨率人脸图像；５）根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵；６）计算由ｋ个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重，然后将低分辨率残差图像块替换为高分辨率样本残差图像块，加权合成高分辨率残差图像块；７）组合高分辨率残差图像块并用线性平滑算子进行平滑，得到高分辨率的残差人脸图像；８）将步骤７）得到的高分辨率的残差人脸图像与步骤４）得到的全局高分辨率人脸图像相加得到最终超分辨率结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：庄越挺，张剑，肖俊，吴飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]