一种基于监督学习深度自编码器的人脸重构方法技术

技术编号:18941691 阅读:13 留言:0更新日期:2018-09-15 11:18
一种基于监督学习深度自编码器的人脸重构方法,针对存在信息缺失或部分遮挡的人脸图像,首先利用监督学习的优势和自编码器高效的特征学习能力进行人脸图像特征学习,然后通过提取学习完善的特征权值构建一个具有深度结构的人脸重构网络,最后通过构建的基于深度自编码的人脸重构网络来重构出完整的人脸信息。本发明专利技术充分结合了监督学习的优势和深度自编码器的特征学习能力,利用先验知识对存在信息缺失或部分遮挡的人脸图像进行特征提取,同时采用编解码的方式对提取特征进行重构,有效地修复了缺失或被遮挡的人脸信息,并能够取得比传统方法更优秀的效果。

A face reconstruction method based on supervised learning deep self encoders

A face reconstruction method based on supervised learning depth self-encoder is proposed. For face images with information missing or partially occluded, the advantages of supervised learning and the efficient feature learning ability of self-encoder are utilized to learn the features of face images, and then a deep face image is constructed by extracting the feature weights with perfect learning. Finally, a face reconstruction network based on depth self-coding is constructed to reconstruct the complete face information. The invention fully combines the advantages of supervised learning and the feature learning ability of depth self-encoder, uses prior knowledge to extract features from face images with information missing or partially occluded, and reconstructs the extracted features by means of encoding and decoding, effectively repairing the missing or occluded face information, and It can achieve better results than traditional methods.

【技术实现步骤摘要】
一种基于监督学习深度自编码器的人脸重构方法
本专利技术属于计算机视觉领域,涉及到针对人脸识别、图像修复等技术方法,具体为一种基于监督学习深度自编码器的人脸重构方法。
技术介绍
目前许多基于人脸识别的应用都以完整的人脸图像为基础进行识别的,例如安防监控、火车站的自动门禁系统等,但在现实使用中,人脸图像存在缺失与遮挡的情况是非常普遍的,这时,利用人脸重构技术实现对人脸图像的补全或去除遮挡,人脸识别系统能够更好地识别人脸图像。传统的图像修复方法可以分为两个类:基于偏微分方程和基于纹理合成的方法。两种方法在数学分析上虽然是比较完备的,但其存在各种假设的前提与模型的简化,因此在实际应用中效果并不理想。深度学习理论方法在计算机视觉领域的成功,为图像修复提供了新的思路与方法。本专利技术所涉及的方法属于图像修复。自编码器本身是是一种浅层网络结构(输入-编码-输出,共3层),深层的自编码器是通过多个浅层自编码器以堆叠的方式构成的,但在监督学习的方式下,原来的堆叠的方式已经不再成立,本专利技术中提出了一种新的针对监督学习自编码器的堆叠方式,使监督学习的自编码器可以成为一种深度模型。实现基于自编码器对存在缺损或遮挡人脸图像进行重构的关键问题在于从不完整的图像信息中学习有效特征,以及如何完善和利用学习的特征。近年来,图像修复方法的研究取得了较大的进展,许多研究者提出了效果优秀的图像修复方法,这些方法往往利用了图像受损区域的边缘信息和图像的先验知识。随着人脸识别技术的出现和广泛应用,针对存在部分信息缺损或遮挡的人脸重构方法也有了很大的应用价值,然而将传统的方法直接应用于受到噪声干扰的人脸图像并不能解决信息缺损或遮挡问题,因此有必要提出针对存在部分信息缺损或遮挡的人脸图像的重构方法。
技术实现思路
本专利技术要解决的问题是:针对在人脸识别任务中人脸图像正面受损或遮挡人脸的情况下,识别正确率会显著降低,因为在人脸识别过程中受损或遮挡的人脸缺乏完整的人脸特征信息;现有的针对人脸重构的方法大多数为去除人脸图像中噪声的信息,而对正面部分信息缺损或遮挡的人脸图像没有显著作用。本专利技术的技术方案为:一种基于监督学习深度自编码器的人脸重构方法,先利用多级监督学习浅层自编码器通过多对一的学习策略对人脸特征进行学习,提取在多级监督学习自编码器中学习完毕的特征编解码表达,然后按照先编码后解码的顺序构建一个基于深度自编码器的人脸重构网络,对存在缺损或遮挡的人脸图像进行人脸重构,最终获得补全或去除遮挡的人脸图像结果,包括以下步骤:1)训练第一级监督学习浅层自编码器,将存在缺损或遮挡的人脸灰度图像作为输入,利用监督学习浅层自编码器学习人脸图像的特征表达,特征表达包括特征编码表达和特征解码表达:其中,W为特征表达,α是调节特征表达变化的参数,表示特征权值更新量,b为特征偏置,为一个常数;2)将第一级监督学习浅层自编码器输出的人脸输出结果作为输入,在浅层特征重构的基础上,对获得的人脸输出结果用第二级监督学习浅层自编码器进行训练,进一步对人脸的特征、特征表达进行学习和优化;3)将第一级监督学习浅层自编码器输出的人脸特征表达作为第三级监督学习浅层自编码器的输入,将第二级监督学习浅层自编码器优化输出的人脸特征作为监督,利用第三级监督学习浅层自编码器对上述步骤1)中学习的人脸特征表达进行抽象化的描述,学习能够描述人脸抽象特征的特征表达;4)将三级监督学习浅层自编码器中学习的特征表达进行提取,构建基于监督学习的深度人脸重构网络,输入存在缺损或遮挡的人脸图像的灰度图像,通过构建的深度人脸重构网络,获得补全或者去除遮挡的人脸图像,具体为:4.1)综合三级监督学习浅层自编码器,抽取每级学习获得的人脸特征表达,按照先编码后解码的顺序构建一个具有深度结构的自编码前馈神经网络:其中,表示第n层特征编码,表示第n层特征解码;表示第k级自编码器的特征编码表达,表示第k级自编码器的特征解码表达,为第级自编码器的特征编码偏置和特征解码偏置,为常数;4.2)输入存在缺失或遮挡的人脸图片,通过在步骤4.1)建立的深度自编码的前馈神经网络中先编码后解码的迭代,最终获得补全或者去除遮挡的人脸图像。进一步的,步骤3)中,第三级监督学习浅层自编码器利用第一级和第二级监督学习浅层自编码的输出进一步学习,进行基于人脸特征的抽象描述,具体为:学习函数如下:其中,m为训练样本个数,Zi表示人脸特征编码中第i个特征编码,即第一级监督学习浅层自编码器的输出,表示第i个给予监督的特征编码,即第二级监督学习浅层自编码器的输出。本专利技术与现有技术相比有如下优点:本专利技术中提出了一种新的针对监督学习自编码器的堆叠方式,充分利用利用自动编码器高效的特征编码能力,对分别基于部分信息丢失和信息遮挡的人脸图像进行特征学习;结合监督学习的训练方法来完善在不同人脸图像在信息缺损条件下获得的部分人脸特征,以改善特征学习的完备性;在此基础上,将监督学习的自编码器构建为一种深度模型,采用深度网络结构,将监督学习自编码器上学习的更完善的特征表达依次提取,构建一个具有先编码后解码的深度前馈神经网络,以提高对受损或遮挡人脸进行特征学习的完整性,使得在完善的人脸特征情况下重构出更加高质的无损或无遮挡的人脸图像。附图说明图1为本专利技术的三级自编码器的训练流程。图2为本专利技术的深度前馈重构网络的实施流程。图3为本专利技术的重构结果示例,展示了传统无监督学习AE模型的重构结果和本专利技术的监督学习深度AE模型的重构结果的比较示例,分别为(a)受损的人脸测试样本,(b)基于传统自编码器模型对受损人脸重构的结果,(c)本专利技术对受损人脸重构的结果,(d)遮挡人脸的测试样本,(e)基于传统自编码器模型对遮挡人脸重构的结果,(f)本专利技术对遮挡人脸的重构结果。图4为本专利技术与传统自编码器方法在AR人脸集上针对存在缺损或遮挡的人脸图像重构的相似性的比较结果,(a)为对缺损人脸重构的相关性分析的比较,(b)为对遮挡人脸重构的相关性分析。图5为本专利技术与传统自编码器方法在AR数据集上针对存在缺损或遮挡的人脸图像重构的峰值信噪比值的比较结果,(a)为对缺损人脸重构的信噪比分析比较结果,(b)为对遮挡人脸重构的信噪比分析比较结果。具体实施方式本专利技术针对在人脸识别任务中,正面部分信息受损或存在遮挡的人脸图像提出了一种基于监督学习深度自编码器的人脸重构方法,本专利技术包括两个部分,自编码器的训练以及人脸重构网络的建立,如图1所示包括4个步骤,步骤1)-3)为对多级监督学习浅层自编码器的学习训练过程,步骤4)为构建的基于深度自编码器的人脸重构网络。下面具体说明本专利技术的实施。1)将存在缺损或遮挡的人脸图像的灰度图像作为输入,采用第一级监督学习浅层自编码器对存在缺损或遮挡的人脸图像进行特征学习,在特征学习的过程中利用部分完整人脸作为先验信息,对学习的特征表达以及特征结果进行调整优化,即进行监督学习。特征表达包括特征编码表达和特征解码表达:其中,W为特征表达,α是调节特征表达变化的参数,表示特征权值更新量,b为特征偏置,为一个常数;2)第二级监督学习浅层自编码器的训练,将1)中获得的人脸特征表达结果作为输入,在浅层人脸特征编码的基础上,对1)中学习的人脸特征表达进行抽象化的特征学习。其学习过程仍然采用监督学习浅层自本文档来自技高网
...

【技术保护点】
1.一种基于监督学习深度自编码器的人脸重构方法,其特征是先利用多级监督学习浅层自编码器通过多对一的学习策略对人脸特征进行学习,提取在多级监督学习自编码器中学习完毕的特征编解码表达,然后按照先编码后解码的顺序构建一个基于深度自编码器的人脸重构网络,对存在缺损或遮挡的人脸图像进行人脸重构,最终获得补全或去除遮挡的人脸图像结果,包括以下步骤:1)训练第一级监督学习浅层自编码器,将存在缺损或遮挡的人脸灰度图像作为输入,利用监督学习浅层自编码器学习人脸图像的特征表达,特征表达包括特征编码表达和特征解码表达:

【技术特征摘要】
1.一种基于监督学习深度自编码器的人脸重构方法,其特征是先利用多级监督学习浅层自编码器通过多对一的学习策略对人脸特征进行学习,提取在多级监督学习自编码器中学习完毕的特征编解码表达,然后按照先编码后解码的顺序构建一个基于深度自编码器的人脸重构网络,对存在缺损或遮挡的人脸图像进行人脸重构,最终获得补全或去除遮挡的人脸图像结果,包括以下步骤:1)训练第一级监督学习浅层自编码器,将存在缺损或遮挡的人脸灰度图像作为输入,利用监督学习浅层自编码器学习人脸图像的特征表达,特征表达包括特征编码表达和特征解码表达:其中,W为特征表达,α是调节特征表达变化的参数,表示特征权值更新量,b为特征偏置,为一个常数;2)将第一级监督学习浅层自编码器输出的人脸输出结果作为输入,在浅层特征重构的基础上,对获得的人脸输出结果用第二级监督学习浅层自编码器进行训练,进一步对人脸的特征、特征表达进行学习和优化;3)将第一级监督学习浅层自编码器输出的人脸特征表达作为第三级监督学习浅层自编码器的输入,将第二级监督学习浅层自编码器优化输出的人脸特征作为监督,利用第三级监督学习浅层自编码器对上述步骤1)中学习的人脸特征表达进行抽象化的描述,学习能够描述人脸抽象特征的特征表...

【专利技术属性】
技术研发人员:周遊芮挺张赛杨成松唐建王东李宏伟宋小娜费建超邹军华
申请(专利权)人:江苏经贸职业技术学院
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1