一种基于局部约束表示的人脸超分辨率重建方法，将输入的低分辨率人脸图像、高低分辨率训练集内人脸图像分别划分为相互交叠的图像块；对输入的低分辨率人脸图像的每一个图像块，根据图像块的表示具有局部性这一先验，计算由低分辨率训练集内每个图像相应位置图像块进行线性重建时的最优权重系数；将低分辨率训练集内每个图像相应位置图像块，用一一对应的高分辨率训练集内每个图像相应位置图像块进行替换，加权合成高分辨率图像块；按照人脸上的位置，融合成高分辨率人脸图像。本发明专利技术提出局部约束表示模型，自适应地选择训练集内样本图像块空间中与输入图像块近邻的图像块来线性重建输入图像块，得到最优权重系数，合成出高质量的高分辨率图像。
【技术实现步骤摘要】
本专利技术涉及图像超分辨率领域，具体涉及。
技术介绍
在安全保障系统中，监控摄像机已经得到了广泛的应用。然而，在许多情况下，摄像机与感兴趣的景物(如人脸等)距离很远，使得视频中所拍摄到的人脸图像的分辨率很低，人脸所占的区域往往只有几十个像素。由于分辨率太小，感兴趣的人脸图像丢失了过多的细节信息，这使得监控摄像机所拍摄得到的人脸难以有效地被人或者机器所辨别。因此，如何提高低分辨率人脸图像的质量，有效增强监控录像中低质量人脸图像的分辨率，为下一步的人脸辨别提供足够的特征细节信息，成为当下亟待解决的问题。人脸超分辨率技术(也叫幻觉脸技术)就是一种由输入低分辨率人脸图像产生高分辨率人脸图像的图像超分辨率重建方法。近年来，学者们提出了大量的基于学习的人脸超分辨率方法。这类方法根据高低分辨率图像对所构成的训练集这一先验信息，输入一张低分辨率的人脸图像，就可以超分辨率重建出一张高分辨率的人脸图像。例如，2000年Freeman等人在文献1(W. Freeman, Ε. Pasztor, and 0. Carmichael. Learning low-level vision. In IJCV, 40 (1) : 25 - 47, 2000)中首先提出一种Markov网络(Markov network)方法，这个方法也是最早的基于学习的超分辨率方法。同年，Simon和Kanade专门针对人脸图像，在文献2 (S. Baker and Τ. Kanade. Hallucinating faces. In FG, Grenoble, France, Mar. 2000, 83-88.)中提出了一种人脸幻构(face hallucination)方法。随后，Liu等人在文献3(C. Liu, H. Y. Shum, and C.S. Zhang. A two-step approach to hallucinating faces: global parametric model and local nonparametric model. In CVPR, pp. 192 - 198，2001.)中提出人脸重建的两步法，分别合成人脸的全局和局部信息。至此，基于学习的超分辨率方法引起了学者们的广泛关注。根据流形学习理论(文献4:S.T. Roweis and L. K. Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, 290 (5500) :2323 - 2326, 2000. )，2004 年 Chang 等人在文献 5 (H. Chang, D. Y. Yeung, and Y. M. Xiong. Super-resolution through neighbor embedding. In CVPR, pp. 275 -282’ 2004.)中基于高低分辨率样本库具有相似局部几何特征这一假设，提出一种邻域嵌入的图像超分辨率重建方法，获得很好的重建效果。但是，由于该方法所选择的近邻块数是固定的，在对输入图像块进行表示时，会出现过拟合或拟合不当的问题。针对这一问题，2010 年 Ma 等人在文献 6 (X. Ma, J. P Zhang, and C. Qi. Hallucinating face by position-patch. Pattern Recognition, 43 (6) :3178 - 3194, 2010.)中提出一种基于位置图像块的人脸超分辨率方法，使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像，避免流形学习或者特征提取等步骤，提高了效率，同时也提升了合成图像的质量。然而，由于该方法采用最小二乘法进行求解，当训练样本中图像的个数比图像块的维数大时，图像块的表示系数并不唯一。因此，2011年Jimg等人在文献7 (C. Jung, L Jiaoj B. Liuj and Μ. Gong, "Position-Patch Based Face Hallucination Using Convex Optimization, ” IEEE Signal Process. Lett.， vol. 18， no. 6， pp. 367 - 370， 2011.)中提出一种基于凸优化的位置图像块人脸超分辨率方法，将稀疏约束加入到图像块求解表示中，可以解决方程的解不唯一的问题，为了使输入图像块的表示尽量稀疏，该方法在合成输入的图像块时可能选取一些与输入的图像块差异很大的图像块进行线性重建，没有考虑到局部性这一特征，因此重建效果并不理想。
技术实现思路
本专利技术目的是提供一种基于局部表示的人脸图像超分辨率重建方法，解决现有同类算法表示输入的低分辨率图像块不准确的问题，提高最终合成的高分辨率人脸图像的质量。为达到上述目的，本专利技术采用的技术方案是，包括如下步骤步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；步骤2，对于低分辨率人脸图像的每一个位置上的图像块，计算在局部约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到一张高分辨率人脸图像。而且，步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块，具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块；当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。而且，设将低分辨率人脸图像X1划分图像块所得集合为 mj)\i<i<u,\<j<n,将高分辨率训练集O^t1和低分辨率训练集or}=相应地划分图像块所得集合分别为{^(UillAS^Kgi^^PftUllAUU^^n ,M 表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，aj)表示所划分的图像块的行号和列号，t/和r分别表示每一列和每一行划分出的图像块数；步骤2中，采用如下公式计算获得最优权值系数，其中，哪JhD为来自低分辨率训练集中第《个低分辨率人脸样本图像中第，行第J列图像块的重建系数，^J)是由所有ie长低分辨率人脸样本图像中第？行第j列图像块的重建系数组成的行向量，j) = KC^J),W2^JX- ,Wiy(Ij)], djij)为重建系数％(^)的惩罚因子，τ是平衡重建误差和局部约束的正则化参数，“。”表示两个向量之间的内积运算，ii.ig表示欧氏平方距离，1 二‘)返回关于变量W(U)的函数在得到最小本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：胡瑞敏，江俊君，王冰，韩镇，黄克斌，卢涛，王亦民，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。