一种基于深层线性映射学习的人脸超分辨率重建算法制造技术

本发明专利技术公开了一种基于深层线性映射学习的人脸超分辨率重建算法，该方法通过将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，建立高低分辨率人脸图像块字典进而找到对应的线性函数关系，然后通过对级联多层线性映射学习，将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。

A face super-resolution reconstruction algorithm based on deep linear mapping learning

The invention discloses a face deep linear mapping learning based super-resolution reconstruction algorithm, this method by interpolation to the high resolution face image with low resolution face image the low resolution face image and the input training set, a low resolution face image block dictionary and then find the linear function relation, and then through the study of the cascade multi linear mapping, learning will be extended multilinear mapping to the deep layer model, to improve the image reconstruction performance, finally obtain a reconstructed image clearer.

【技术实现步骤摘要】
一种基于深层线性映射学习的人脸超分辨率重建算法
本专利技术涉及人脸图像超分辨率
，具体涉及一种基于深层线性映射学习的人脸超分辨率重建算法。
技术介绍
人脸图像超分辨率技术可以应用在很多领域，如人脸识别，人脸图像视频传输，人脸图像恢复以及人脸图像表情分析等。如在视频监控系统中，由于摄像头分辨率有限且与目标距离较远等原因，监测到的人脸图像较小，分辨率低，为了更好地观察和识别分析，先对它们进行超分辨率。人脸超分辨率是一种典型的超分辨率算法，用于从输入低分辨率图像重建高分辨率图像，旨在克服当前成像系统的局限性。基于学习的人脸超分辨重建算法成为近年来人脸超分辨率算法研究的的主流方向。例如，Baker等人[1][2]提出了一种人脸幻构(facehallucination)方法，将基于学习的方法运用到人脸超分辨中，对于输入的单幅低分辨人脸，借助于训练集，通过金字塔结构得到高频细节信息，生成高分辨人脸，获得了比传统重建方法和插值更好的效果。但是该方法在某些重要部位引入了较大的噪声。为了在有效去噪的同时保持细节。Chang[3]等人提出基于邻域嵌入的超分辨算法，该算法利用流形学习中的LLE(LocallyLinearEmbedding)算法进行超分辨，但是由于利用到降维的方法，往往会丢失人脸图像的非特征信息。Ma等人[4][5]提出了一种基于图像块的最小二乘表示(leastsquaresrepresentation,LSR)算法，通过求出各个图像块的输出权重对低分辨率图像进行超分辨率重建。该算法的缺点是容易出现过拟合问题。为了解决这一问题，2010年Yang等人[6]提出一种基于稀疏编码的自适应选择相邻最相关(sparserepresentation)人脸超分辨率方法。Jiang等人[7]则是根据局部流形几何引入了局部约束条件对特征系数(localityconstrainedrepresentation,LCR)进行进一步约束。Zhang等人[8]提出了一种基于线性回归的人脸超分辨率重建算法，通过多线性映射(MLM)，可以有效地预测给定输入的低分辨率人脸图像中的丢失细节，通过映射学习中找到匹配模型。为了解决单层表达框架精度不足的问题，Jiang等人[9]进一步提出了算法LINE(FaceSuper-ResolutionviaLocality-ConstrainedIterativeNeighborEmbedding)通过迭代和更新高分辨率的流形结构和将单层局部约束表达扩展成多层的局部约束表达构成。Dong[10]等人提出了基于深度学习的卷积神经网络超分辨率(DeepConvolutionalNetworkforImageSuper-Resolution)算法，(SRCNN)具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。为了克服上述人脸超分辨重建算法中的缺点，本专利技术借鉴多重线性映射学习和超分辨率卷积网络(SRCNN)，提出了深度多线性映射学习算法框架，通过利用局部和非局部自相似性优势来提高重建性能，最终获得更高质量的高分辨率人脸图像。参考文献：[1]BakerS,KanadeT.LimitsonSuper-ResolutionandHowtoBreakThem[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2000,24(9):1167-1183.[2]S.BakerandT.Kanade,“Hallucinatingfaces,”in2000theFourthInternationalConferenceonAutomaticFaceandGestureRecognition(FG’2000),March2000,pp.83–88.[3]ChangH,YeungDY,XiongY.Super-resolutionthroughneighborembedding[C]//IEEEComputerSocietyConferenceonComputerVision&PatternRecognition.IEEEComputerSociety,2004:275-282.[4]X.Ma,J.Zhang,andC.Qi,“Position-basedfacehallucinationmethod,”inProc.ICME.,pp.290–293,2009.[5]MaX,ZhangJ,QiC.Hallucinatingfacebyposition-patch[J].PatternRecognition,2010,43(6):2224-2236.[6]YangJ,WrightJ,HuangT,etal.Imagesuper-resolutionassparserepresentationofrawimagepatches[J].2008:1-8.[7]JiangJ,HuR,HanZ,etal.Position-PatchBasedFaceHallucinationviaLocality-ConstrainedRepresentation[J].2012:212-217.[8]ZhangK,TaoD,GaoX,etal.LearningMultipleLinearMappingsforEfficientSingleImageSuper-resolution.[J].IEEETransactionsonImageProcessingAPublicationoftheIEEESignalProcessingSociety,2015,24(3):846-61.[9]JiangJ,HuR,WangZ,etal.FaceSuper-ResolutionviaMultilayerLocality-ConstrainedIterativeNeighborEmbeddingandIntermediateDictionaryLearning[J].IEEETransactionsonImageProcessingAPublicationoftheIEEESignalProcessingSociety,2014,23(10):4220-31.[10]DongC,ChenCL,HeK,etal.ImageSuper-ResolutionUsingDeepConvolutionalNetworks[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2016,38(2):295-307.
技术实现思路
针对现有技术的问题，本专利技术提出一种基于深层线性映射学习的的人脸超分辨率重建算法，将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。本专利技术为解决上述技术问题所采用的技术方案是：本专利技术提供一种基于深层线性映射学习的人脸超分辨率重建算法，包括以下步骤：S1，对输入的低分辨率人脸图像、低分辨率训练集中的人脸图像以及高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；S2，将低分辨训练集中的人脸图像和输本文档来自技高网...

【技术保护点】
一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：包括以下步骤：S1，对输入的低分辨率人脸图像、低分辨率训练集中的人脸图像以及高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；S2，将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，在特征域提取特征，并将提取的特征划分为相互重叠大小的块，进而得到在特征域的低分辨率图像块字典；S3，通过K‑NN算法中的欧氏距离在特征域中的低分辨率图像块字典中提取K个最近距离的图像块；S4，根据特征域中的图像块的位置和在像素域中图像块位置的相关性，根据在特征域获得的欧氏距离找到在像素域中的高低分辨率人脸图像块训练集中对应的K个人脸图像块，得到新的高低分辨率人脸图像块字典对作为高低人脸图像块训练样本集；S5，根据步骤S4得到的高低训练图像块字典对，找到对应的线性函数关系；S6，级联多层线性映射学习，通过留一策略，更新低分辨率人脸图像训练集和高分辨率人脸图像训练集，然后对低分辨率人脸图像训练集中的每张人脸图像重复进行步骤S1至步骤S5进行更新，得到多重线性函数关系，进而合成高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。...

【技术特征摘要】
1.一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：包括以下步骤：S1，对输入的低分辨率人脸图像、低分辨率训练集中的人脸图像以及高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；S2，将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，在特征域提取特征，并将提取的特征划分为相互重叠大小的块，进而得到在特征域的低分辨率图像块字典；S3，通过K-NN算法中的欧氏距离在特征域中的低分辨率图像块字典中提取K个最近距离的图像块；S4，根据特征域中的图像块的位置和在像素域中图像块位置的相关性，根据在特征域获得的欧氏距离找到在像素域中的高低分辨率人脸图像块训练集中对应的K个人脸图像块，得到新的高低分辨率人脸图像块字典对作为高低人脸图像块训练样本集；S5，根据步骤S4得到的高低训练图像块字典对，找到对应的线性函数关系；S6，级联多层线性映射学习，通过留一策略，更新低分辨率人脸图像训练集和高分辨率人脸图像训练集，然后对低分辨率人脸图像训练集中的每张人脸图像重复进行步骤S1至步骤S5进行更新，得到多重线性函数关系，进而合成高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。2.根据权利要求1所述的一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：所述步骤S1具体为：假设输入的低分辨人脸图像低分辨人脸图像训练集和高分辨人脸图像训练集其中N为高低人脸图像训练集中的样本数量，Ai大小为m×n，Bi大小为mt×nt；将输入的低分辨人脸图像，低分辨率人脸图像训练集和高分辨率人脸图像训练集中的每一张人脸图像在像素域划分成M个相互重叠的图像块xi，和其中，低分辨图像块大小为则相应的高分辨率图像块大小为3.根据权利要求2所述的一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：所述步骤S2具体为：将低分辨训练集中的每张人脸图像Ai插值4倍到高分辨人脸图像Ti，然后通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像Ti进行特征表提取，采用如下公式获得：G(i)j＝fj*Ti,j＝1,2,3,4(1)其中G(i)j是所滤波后的图像；f1和f2分别是在水平和垂直方向的梯度的高通滤波器；f3和f4分别是在水平方向和垂直方向的高通滤波器；*表示的是卷积；每张图像Ai将会提取到4个特征，然后采用如下公式从Ti中得到和Ap相应的特征块集合：g(i)j＝[g(i)1；g(i)2；g(i)3；g(i)4](2)其中，g(i)j是从滤波后的图像G(i)j在相同位置划分的图像块，最后得到低分辨率图像块集合Ap相对应的特征图像块集合对于输入的低分辨人脸图像X按照公式(1)和公式(2)获得特征块x(i)j＝[x(i)1；x(i)2；x(i)3；x(i)4]。4.根据权利要求3所述的一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：所述步骤S3具体为：采用公式(3)用K-NN算法获得在低分辨率特征块集合Af中K个最邻近的特征块：CK(x(i)j)＝suppot(dist|K)(3)其中dist|K表示在距离dist中距离最小的K个人脸图像块，并且dist表示x(i)j和低分辨率特征块集合的Af的测量距离；所述测量距离dist采用欧式距离计算所得，其计算公式如下：dist...

【专利技术属性】
技术研发人员：卢涛，潘兰兰，卢群，管英杰，汪浩，汪家明，曾康利，陈希彤，
申请(专利权)人：武汉华大联创智能科技有限公司，
类型：发明
国别省市：湖北,42