一种基于人脸结构相关的压缩低分辨率人脸图像复原方法技术

一种基于人脸结构相关的压缩低分辨率人脸图像复原方法属于图像信息处理技术领域。本发明专利技术采用人脸结构相关自适应滤波与局部稀疏字典学习的方法，将低分辨率压缩人脸图像重建为高分辨率人脸图像。本发明专利技术根据人脸结构特征，将基于局部位置自适应的滤波方法和稀疏字典表示方法引入到压缩人脸图像超分辨率重建中，分别解决图像去块效应和超分辨率重建问题。在人脸几何结构相似性的指导下，依据位置信息对人脸图像块分类，分别采用不同的滤波参数进行平滑滤波，并建立不同位置的字典，实现高质量图像复原。

A compression based low resolution face image restoration method based on face structure correlation

The utility model relates to a compression low resolution face image restoration method based on human face structure, belonging to the technical field of image information processing. The present invention uses the method of face structure correlation adaptive filtering and local sparse dictionary learning to reconstruct a low resolution compressed face image into a high resolution human face image. According to the structure of face features, the filtering method and local adaptive sparse dictionary representation method based on the introduction to compression of face image super resolution reconstruction, respectively to solve the image deblocking and super resolution reconstruction. In the geometric structure of face similarity under the guidance, according to position information of the face image classification, using different filtering parameters for smoothing filter, and set up different positions of the dictionary, to achieve high quality image restoration.

【技术实现步骤摘要】
一种基于人脸结构相关的压缩低分辨率人脸图像复原方法
本专利技术属于图像信息处理
，涉及图像超分辨率复原领域，特别涉及一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。
技术介绍
高质量的图像/视频能够提供更丰富的信息和更真实的视觉感受，是很多实际应用的基础，其中，高质量的人脸图像更是大部分人脸识别算法取得高性能的前提条件。然而，在图像获取过程中，受到图像采集设备、采集环境、噪声等因素的影响，在接收终端呈现的图像在分辨率上通常难以令人满意。低分辨率是低质量人脸图像的主要降质因素之一。因此，如何通过低质量图像重建高质量的图像，一直以来都是人脸图像领域中所致力解决的关键问题之一。图像超分辨率复原的目的是采用低分辨率的输入图像，通过结合图像先验知识的超分辨率重构算法产生高分辨率的图像，使图像具有更丰富的细节特征。针对监控视频中获取的低质量低分辨率人脸图像问题，研究者开展了人脸图像超分辨率重建技术研究。超分辨率算法按照技术手段可以分为三类：基于重建的超分辨率算法、基于插值的超分辨率算法、基于学习的超分辨率算法。以基于学习的图像超分辨率重建技术为代表的一系列方法可有效提高低分辨率人脸图像的质量，能够取得较好的主客观质量。这类方法通过样本库中的先验知识来约束重建过程，将机器学习借鉴到超分辨率算法中，样本的先验给重建提供了更多的信息来源，从而提升了超分辨率重建的主客观质量。基于稀疏表示的图像超分辨率重建方法是一种基于学习的超分辨率算法。这种方法对输入的低分辨率图像没有太高的要求，增加了超分辨率重建算法的适用性。本专利技术提出了一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。采用基于人脸结构自适应的图像滤波方法和局部稀疏字典实现压缩低分辨率人脸图像的超分辨率重建。
技术实现思路
本专利技术的目的在于，采用人脸结构相关自适应滤波与局部稀疏字典学习的方法，将低分辨率压缩人脸图像重建为高分辨率人脸图像。本专利技术是采用以下技术手段实现的：一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。其特征在于，分为基于人脸结构自适应的滤波和局部稀疏字典超分辨率重建两部分。算法流程如附图1所示。第一部分为基于人脸结构自适应的滤波预处理。对于输入的压缩低分辨率人脸图像Xl，采用一种面向压缩人脸图像的自适应滤波算法(ABM3D，AdaptiveBlockMatch3DFilter)先对其进行滤波处理。具体步骤如下：我们获取双眼中心的坐标后，得到两眼间的像素距离。由此，定义一个T型区域，如图2所示。这个区域包含了正面人脸的所有重要器官。左、右眼中心P1、P2的坐标分别为(x1,y1)、(x2,y2)，P1和P2处于同一水平线上。两眼间的像素距离为d。根据两眼距离以及人脸五官位置关系，我们定义一个T型区域。左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形。这个区域包含了正面人脸的所有重要器官。基于这个人脸模型，我们将相似块的搜索区域扩展。垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处。同时，将人脸图像依据T型区域分为两个部分，也就是背景区域Rb和重要器官区域Ro。背景区域Rb表示平坦区域，即T型区域的外部；Ro表示眼睛、鼻子和嘴巴的区域，即T型区域的内部，在这部分包含了复杂的纹理结构。因此，在压缩比为Q的情况下，Rb区域中sigma参数sigmab及Ro区域中的sigma参数aigmao，将采用不同的参数，达到在平滑图像的同时尽可能的保留图像的细节信息的目的。依据人脸的结构信息分别获取最优的自适应参数后，对图像依次进行基础估计、最终估计两个阶段的操作。在每个阶段都分有相似的三个步骤：分组、联合滤波、聚集。最终输出平滑滤波后的人脸图像。第二部分为局部稀疏字典超分辨率重建。局部稀疏字典超分辨率重建部分分为离线阶段和在线阶段。所述离线阶段包括，建立训练样本库、稀疏字典训练；所述在线阶段包括分块稀疏表示、稀疏重建。该方法具体包括以下步骤：(1)离线阶段：人脸图像作为一种特殊图像，不同的人脸图像之间存在几何结构相似性，即人脸图像中都主要包括了眼睛、鼻子、嘴巴重要器官，且这些重要器官的位置分布相似。因此在所述算法中将人脸图像归一化后裁剪为相同尺寸，按照位置划分为各个图像块训练成对应的字典对。具体步骤如下：第一步，建立训练样本库。对于N幅高分辨率人脸图像库IHi表示第i幅高分辨率人脸图像，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴；然后，通过K倍下采样获取每幅高分辨率人脸图像对应的低分辨率人脸图像，接着，JPEG压缩获取低质量低分辨率的人脸图像，压缩因子为Qtrain。此时获得了N对高、低分辨率人脸图像IHi表示第i幅高分辨率人脸图像，ILi表示第i幅低分辨率人脸图像。把各个训练图像按位置分为若干重叠的位置块，图像块大小为P×P，重叠像素为T。同一位置的高分辨率块构成高分辨率训练样本集，与之对应的低分辨率块构成低分辨率训练样本集，对应高低分辨率训练样本集作为一个训练样本集对。共构成M个训练样本集，每个样本集共有N个相同位置的图像块。建立高低分辨率字典的训练样本的示意图如图3所示。第二步，稀疏字典训练。对于一个信号的稀疏表示，就是寻找信号被过完备字典所表示的过程。稀疏表示的目的就是寻找信号被字典最稀疏表示的过程，即得到的稀疏表示系数中的非零项个数远小于字典中的原子个数。M个训练样本集，各训练一组对应的高低分辨率的稀疏表示字典。这里字典训练采用YangJianchao等人2010年发表的文章“ImageSuper-ResolutionviaSparseRepresentation”中提到的联合稀疏字典训练方法。通过迭代求解，可以得到稀疏字典Dh和Dl。训练字典需要高分辨率图像块组成的图像块样本集和低质量低分辨率图像块组成的图像块样本集。(2)在线阶段：第一步，分块稀疏表示。对于滤波后的人脸图像，按位置分块得到图像块(m，n)为当前位置块的左上角坐标，L、W分别为图像的长和宽。i表示第i幅测试人脸图像。根据图像块的当前坐标找到对应的低分辨率稀疏字典Dl(m，n)稀疏表示，得到稀疏表示系数α(m，n)。将稀疏表示系数α(m，n)与Dh(m，n)进行重建，得到(m，n)位置的重建图像块。重建过程如公式(1)所示：设为图像块经过稀疏超分辨率重建得到的结果，由于此时为列向量，需按照就是展开为列向量的逆过程将恢复为块的形式，重建之后恢复的块用表示。第二步，稀疏重建。把所有基本的人脸图像块按原位置放置，块与块之间的重叠部分取均值，得到重建的人脸图像Xh。本专利技术与现有技术相比，具有以下明显的优势和有益效果：本专利技术所述方法根据人脸结构特征，将基于局部位置自适应的滤波方法和稀疏字典表示方法引入到压缩人脸图像超分辨率重建中，分别解决图像去块效应和超分辨率重建问题。在人脸几何结构相似性的指导下，依据位置信息对人脸图像块分类，分别采用不同的滤波参数进行平滑滤波，并建立不同位置的字典，实现高质量图像复原。本专利技术的特点：1.本专利技术引入基于人脸结构位置信息自适应的滤波方法，作为预处理滤波过程，去除低质量压缩人脸图像中的块效应，降低超分辨率重建过程中块效应对结果的本文档来自技高网...

【技术保护点】
一种基于人脸结构相关的压缩低分辨率人脸图像复原方法，其特征在于，分为基于人脸结构自适应的滤波和局部稀疏字典超分辨率重建两部分；第一部分为基于人脸结构自适应的滤波预处理；具体步骤如下：定义一个T型区域，左、右眼中心P

【技术特征摘要】
1.一种基于人脸结构相关的压缩低分辨率人脸图像复原方法，其特征在于，分为基于人脸结构自适应的滤波和局部稀疏字典超分辨率重建两部分；第一部分为基于人脸结构自适应的滤波预处理；具体步骤如下：定义一个T型区域，左、右眼中心P1、P2的坐标分别为(x1,y1)、(x2,y2)，P1和P2处于同一水平线上；两眼间的像素距离为d；该T型区域；左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形；这个区域包含了正面人脸的所有重要器官；基于这个人脸模型，将相似块的搜索区域扩展；垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处；同时，将人脸图像依据T型区域分为两个部分，也就是背景区域Rb和重要器官区域Ro；背景区域Rb表示平坦区域，即T型区域的外部；Ro表示眼睛、鼻子和嘴巴的区域，即T型区域的内部，在压缩比为Q的情况下，Rb区域中sigma参数sigmab及Ro区域中的sigma参数sigmao，将采用不同的参数；依据人脸的结构信息分别获取最优的自适应参数后，对图像依次进行基础估计、最终估计两个阶段的操作；在每个阶段都分有三个步骤：分组、联合滤波、聚集；最终输出平滑滤波后的人脸图像；第二部分为局部稀疏字典超分辨率重建；局部稀疏字典超分辨率重建部分分为离线阶段和在线阶段；所述离线阶段包括，建立训练样本库、稀疏字典训练；所述在线阶段包括分块稀疏表示、稀疏重建；具体包括以下步骤：(1)离线阶段：具体步骤如下：第一步，建立训练样本库；对于N幅高分辨率人脸图像库IHi表示第i幅高分辨率人脸图像，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴；然后，通过K倍下采样获取...

【专利技术属性】
技术研发人员：李晓光，刘莉，卓力，孙旭，刘晨，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11