一种高抗噪性单幅人脸自动超分辨率方法技术

本发明专利技术涉及一种高抗噪性单幅人脸自动超分辨率方法。本发明专利技术其特征在于包括训练和重建两个主要过程，训练包括基础人脸模型训练和附属物模型训练，重建的步骤如下：输入人脸图像后通过ASM算法标定人脸特征点在通过几何变换得到配准后的人脸图像，再根据公式（1）min(W*||A*B*X-IL||2)的算法，采用迭代求解方法得到重建后的基础人脸，利用重建后的基础人脸与输入人脸图像相减得到当前附属物，再对附属物采用公式（1）算法重建得到重建后的附属物，最后将重建后的附属物与配准后的人脸图像相加即得到最终的重建人脸图像。本发明专利技术的高分辨率方法具有抗强噪声、抗遮挡；全过程自动化程度高，计算速度快，避恢复效果清晰自然，符合一般人脸结构，人脸部件可替换，可输出多种效果。

【技术实现步骤摘要】

本专利技术属于数字图像处理领域，尤其是。
技术介绍
超分辨率是指由一帧或多帧低分辨率图像重建出一帧或者多帧高分辨率图像。现有技术如专利号为200910056694X的“融合全局特征与局部信息的人脸图像超分辨率处理方法”，该专利其主要是通过构造图像金字塔表示低频和高频的对应关系，恢复全局图像，然后预测残差项，该方法计算方法及处理过程复杂，计算速度慢，重建效率较低。另有专利 号为200810232778X的“ー种利用位置图像块重建的人脸图像超分辨率方法”，该专利直接用训练样本集表达待恢复低分辨图像，在图像子块上操作，该方法未涉及图像如何抗噪抗遮挡目的的实现，降低了图像还原度效果。
技术实现思路
本专利技术针对现有技术存在的缺陷，提供，实现图像抗噪抗遮挡，恢复的图像清晰度高。为此，本专利技术采取如下技术方案，其特征在于包括训练和重建两个主要过程，训练包括基础人脸模型训练和附属物模型训练，基础人脸模型训练是对高分辨率基础人脸库使用ASM算法自动标定人脸特征点，并通过几何变换重建人脸到固定的对齐后的基础人脸库，再使用变换裁选好的人脸库，并用PCA算法进行训练，得到人脸分解基序列；所述的附属物模型训练，是将带附属物的人脸库与带附属物基础人脸库的相减，得到附属物库，再使用变换裁选好的附属物库，利用PCA算法训练，得到附属物分解基序列；重建的步骤如下输入人脸图像后通过ASM算法标定人脸特征点在通过几何变换得到配准后的人脸图像，再根据公式(l)min(W*| |A*B*X-Ij |2)的算法，其中W为权重矩阵，A=D*F，D为降采样矩阵，F为模糊矩阵，B为所有特征脸向量组成的矩阵，X为各特征脸对应的系数，ら为向量化后的低分辨率人脸图，采用迭代求解方法得到重建后的基础人脸，利用重建后的基础人脸与输入人脸图像相减得到当前附属物，再对附属物采用公式(I)算法重建得到重建后的附属物，最后将重建后的附属物与配准后的人脸图像相加即得到最終的重建人脸图像。本专利技术通过WLS (加权最小二乗法)提升L2问题的鲁棒性，采用迭代求解的方式尺度由小到大逐步更新权重矩阵，无噪声区域权重大，有噪声区域权重小，随着迭代进行权重矩阵越来越准确；并使用ASM算法自动标定人脸特征点；通过F的构造可以控制输出的清晰度；系统提供參数遍历，多种输出，以适应特征点标定的误差。基础人脸模型训练过程中，在得到对齐后的基础人脸库后，将人脸按重点区域划分为眼睛、鼻子和嘴几部分，并通过PCA算法训练分别得到眼睛分解基序列、鼻子分解基序列和嘴分解基序列；重建过程中在完成重建后的基础人脸图像后，可根据需要对某些人脸局部部件先进行替换，完成后再进行后续重建步骤。支持人脸部件的替换，自动替换标准可以由WLS中的权重矩阵得出，也可依据人主观感受手动替换。将部件替换后的人脸图与附属物图加权求和，达到最佳输出效果。所述的人脸几何变换包括仿射变换、投影变换、多项式变换和三角形剖分变换。所述的ASM算法自动标定68个人脸特征点,还包括手动的4点、6点、8点和12点的手动标定法。所述的附属物包括眼镜、胡子、头发、皱纹、胡子、遮挡、光照不均、更清晰。重建步骤中在输入人脸图像前进行光照归ー化、图像增强的预处理操作。本专利技术的高分辨率图像是由基础人脸(根据需要替换相应的部件，包括眼睛、鼻子、嘴巴)和附属物(头发、眼镜、胡子、遮挡、皱纹、光照不均、更清晰等)加权求和得出最終 的结果图。基础人脸和部件替换均是通过PCA算法训练或重建得到，附属物分别由不同的附属物库重建得到。本专利技术的高分辨率方法具有抗强噪声、抗遮挡；全过程自动化程度高，计算速度快，避免了很多方法中的子块搜索步骤，恢复效果清晰自然，符合一般人脸结构，人脸部件可替换，可输出多种效果。附图说明图I为本专利技术的基础人脸模型训练流程图。图2为本专利技术的附属物模型训练流程图。图3为本专利技术的重建流程图。具体实施例方式下面通过实施例，对本专利技术的技术方案作进ー步具体的说明。如图I-图3所示，本专利技术具体分为训练和重建两个主要过程，训练包括基础人脸模型训练和附属物模型训练，基础人脸模型训练是对高分辨率基础人脸库使用ASM算法自动标定人脸特征点，并通过几何变换包括仿射变换、投影变换、多项式变换和三角形剖分变换，重建人脸到固定的对齐后的基础人脸库，再使用变换裁选好的人脸库，并用PCA算法进行训练，得到人脸分解基序列；得到基础人脸库后将人脸按重点区域划分为眼睛、鼻子和嘴几部分，并通过PCA算法训练分别得到眼睛分解基序列、鼻子分解基序列和嘴分解基序列；所述的附属物模型训练，是将带附属物的人脸库与带附属物基础人脸库的相减，得到附属物库，再使用变换裁选好的附属物库，利用PCA算法训练，得到附属物分解基序列；重建的步骤如下输入人脸图像后通过ASM算法标定人脸特征点在通过几何变换得到配准后的人脸图像，再根据公式(l)min(W*| |A*B*X-Ij |2)的算法，其中W为权重矩阵，A=D*F，D为降采样矩阵，F为模糊矩阵，B为所有特征脸向量组成的矩阵，X为各特征脸对应的系数，ら为向量化后的低分辨率人脸图，采用迭代求解方法得到重建后的基础人脸，根据需要对某些人脸局部部件进行替换，利用重建后的部件替换后人脸与输入人脸图像相减得到当前附属物，再对附属物采用公式(I)算法重建得到重建后的附属物，最后将重建后的附属物与配准后的人脸图像相加即得到最終的重建人脸图像。ASM算法自动标定68个人脸特征点,还包括手动的4点、6点、8点和12点的手动标定法。附属物包括眼镜、胡子、头发、皱纹、胡子、遮挡、光照不均、更清晰。重建步骤中在输入人脸图像前进行光照归ー化、图像增强的预处理操作。如图I和图2所示，图中带括号的数字标号主要是指以下流程I.自动标定/手动标定自动标定方法使用ASM算法标定68个人脸特征点，手动标定方法分为四种不同的标定模式4点、6点、8点和12点；2.人脸几何变换将当前待重建人脸变换到固定的平均形状；3.人脸PCA训练使用变换裁选好的库，并用PCA算法进行训练，得到人脸基序列。4.部件分解将人脸按重点区域划分为左眼、右眼、鼻子和嘴四部分； 5.两图相减包括训练过程中“带附属物人脸库”和“带附属物基础人脸库”的相减，其中后者是前者通过重建过程得到；重建过程中“输入人脸图像”和“部件替换后人脸”的相减；6.基于加权最小ニ乘的PCA重建采用公式(I)中的方法，实现时采用迭代求解的方法；7.部件替换对重建效果不好的基础人脸的局部部件进行替换；8.两图相加“重建后的附属物”和“部件替换后人脸”图像相加。需要特别指出的是，上述实施例的方式仅限于描述实施例，但本专利技术不止局限于上述方式，且本领域的技术人员据此可在不脱离本专利技术的范围内方便的进行修饰，因此本专利技术的范围应当包括本专利技术所掲示的原理和新特征的最大范围。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高抗噪性单幅人脸自动超分辨率方法，其特征在于包括训练和重建两个主要过程， 训练包括基础人脸模型训练和附属物模型训练，基础人脸模型训练是对高分辨率基础人脸库使用ASM算法自动标定人脸特征点，并通过几何变换重建人脸到固定的对齐后的基础人脸库，再使用变换裁选好的人脸库，并用PCA算法进行训练，得到人脸分解基序列；所述的附属物模型训练，是将带附属物的人脸库与带附属物基础人脸库的相减，得到附属物库，再使用变换裁选好的附属物库，利用PCA算法训练，得到附属物分解基序列； 重建的步骤如下输入人脸图像后通过ASM算法标定人脸特征点再通过几何变换得到配准后的人脸图像，再根据公式(l)min(W*| |A*B*X-Il| |2)的算法，其中W为权重矩阵，A=D*F，D为降采样矩阵，F为模糊矩阵，B为所有特征脸向量组成的矩阵，X为各特征脸对应的系数，ら为向量化后的低分辨率人脸图，采用迭代求解方法得到重建后的基础人脸，利用重建后的基础人脸与输入人脸图像相减得到当前附属物，再对附属物采用公式(I)算法重建得到重建后的附属物，最后将重建后的附属物与配准后...

【专利技术属性】
技术研发人员：尚凌辉，王百超，高勇，刘嘉，
申请(专利权)人：浙江捷尚视觉科技有限公司，
类型：发明
国别省市：