一种遮挡人脸识别方法及装置制造方法及图纸

本发明专利技术涉及一种遮挡人脸识别方法及装置。该方法利用带身份标记的人脸图像训练人脸识别器；利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合人脸识别器，在生成对抗网络框架中训练人脸生成器、全局人脸判别器和局部人脸判别器；利用人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；利用人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记，利用人脸特征进行人脸识别，利用身份标记鉴别人脸的身份信息。本发明专利技术采用人脸生成器、人脸判别器和人脸识别器实现三方博弈，能够同时实现遮挡人脸的修复和识别。

A Method and Device for Occluded Face Recognition

The invention relates to a method and device for occluding face recognition. This method trains face recognizer by using face image with identity tag, and trains face generator and global face discriminator in the framework of generating confrontation network by using non-occluded face image with identity tag, corresponding occluded face image, corresponding face occlusion tag image, corresponding face semantics segmentation image and pre-trained face analyzer. And local face discriminator; using face generator to repair the inputted occluded face image and get the restored face image; using face recognizer to extract features or classify the identity of the restored face image, get face features or identity tags, use face features for face recognition, and use identity tags to identify the identity information of the face. The invention adopts a face generator, a face discriminator and a face recognition device to realize a tripartite game, and can simultaneously realize the restoration and recognition of occluded faces.

【技术实现步骤摘要】
一种遮挡人脸识别方法及装置
本专利技术属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的人脸识别方法及装置。
技术介绍
在现实世界的应用如视频监控、无人驾驶等，人脸识别常常受到遮挡问题的干扰。尽管当前以深度学习为代表的人脸识别模型已经在无遮挡情况下取得了很高的识别精度，但是这些模型在识别遮挡人脸的时候，性能往往会急剧下降。其原因在于，与无遮挡人脸不同，遮挡人脸由于不完整的视觉内容以及不充分的身份线索造成识别困难。尽管如此，遮挡人脸对于人类来说，在给定部分内容情况下仍然是可以识别的，这表明人类的神经系统具有从遮挡中修复损失的人脸线索的能力。基于这一事实，人们提出了遮挡人脸识别方法，这些方法主要基于两个思路：表达和重构。基于表达的遮挡人脸识别方法采用特征提取器直接从部分人脸内容中表达遮挡人脸，这些特征提取器采用稀疏表达、卷积神经网络、深度学习方法等来构造，其目标是使提取的人脸特征能够对遮挡鲁棒。通常地，这些方法在识别具有小遮挡的人脸时，能够取得较好的性能。但是，当人脸遭遇较严重遮挡(如蒙面遮挡)时，由于难以恢复身份线索，从而获得较低的识别精度。不同于基于表达的方法，基于重构的遮挡人脸识别方法在识别之前先修复损失的人脸内容。早期的处理方式是采用图算法修复遮挡人脸然后再使用稀疏表达来提取人脸特征，从而提升遮挡人脸识别的精度。此外，传统的基于样例的方法应用纹理合成，可以有效的修复人脸内容损失部分。近年来，在深度学习尤其是生成对抗网络的帮助下，很多人脸修复方法被提出，这些方法能够较好地提取高层语义特征从而能够对遮挡人脸修复，并得到具有真实感的结果。另外，这些方法的框架具有较好的灵活性，可以在框架中引入身份信息，从而修复的人脸图像也能在一定程度上进一步提升识别精度。尽管如此，这些现有的方法中，一方面基于表达的遮挡人脸识别方法难以找到一种较为鲁棒的方案恢复失去的人脸线索，另一方面基于重构的遮挡人脸修复方法往往将修复与识别处理割裂开来，方法带来的身份保留能力较为有限。遮挡人脸识别的一个关键是同时修复损失的人脸内容以满足人类视觉感知需要，并使修复的结果满足机器算法对人脸识别的需求，即达到人机共判的协同。
技术实现思路
为克服现有技术的不足，本专利技术提供了一种遮挡人脸识别方法及装置，该方法采用生成对抗网络框架将基于重构的方法与基于表达的方法进行结合，不同于传统的生成对抗网络采用生成器和判别器的两方博弈训练，本专利技术的网络采用人脸生成器、人脸判别器和人脸识别器实现三方博弈，通过该网络同时实现遮挡人脸的修复和识别。为解决上述技术问题，本专利技术通过以下技术方案来实现。一种遮挡人脸识别方法，其步骤包括：利用带身份标记的人脸图像训练一个深度神经网络，作为人脸识别器；利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合已经获得的人脸识别器，在生成对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；利用获得的人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记；利用获得的人脸特征，可以用于进行人脸比对和人脸检索等人脸识别应用；利用获得的身份标记，可以直接鉴别人脸的身份信息。进一步地，为了获得人脸识别器，可以直接采用预训练好的一个人脸识别器或者集成多个预训练好的人脸识别器或者重新训练一个人脸识别器。进一步地，为了训练人脸生成器和人脸判别器，预先准备训练数据集，由大量人脸图像对组成，一般地需要几十万对；每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像。进一步地，训练数据集中的遮挡人脸图像通过合成方法获得；具体地，在非遮挡人脸图像上随机地遮挡某个区域，获得对应的遮挡人脸图像。进一步地，利用训练数据集，在生成对抗网络框架中结合获得的人脸识别器，通过交替训练获得人脸生成器和人脸判别器，具体步骤包括：由训练数据集获得身份中心特征集；随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；从训练数据集中随机选择一批人脸图像对，形成训练样本批；对训练样本批中的遮挡人脸图像，随机初始化图像中的遮挡区域像素，得到输入遮挡人脸图像；同时，训练样本批中的非遮挡人脸图像作为输入非遮挡人脸图像；每幅输入遮挡人脸图像送入人脸生成器，得到当前的生成人脸图像；利用生成人脸图像与对应的输入非遮挡人脸图像，获得表观修复损失和结构修复损失；表观修复损失和结构修复损失进行相加，组成总的修复损失；根据总的修复损失进行优化，更新人脸生成器的网络参数；每对生成人脸图像与对应的输入非遮挡人脸图像，通过获得全局人脸判别器获得全局判别损失，通过局部人脸判别器获得局部判别损失，通过人脸识别器获得身份多样性损失；全局判别损失、局部判别损失和身份多样性损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络参数；从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有都被选择后，完成一轮迭代；进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于某个预先设定的阈值或者判别损失低于某个预先设定的阈值。进一步地，所述获得身份中心特征集的方法为：由训练数据集中的非遮挡人脸图像，结合其身份标签，按身份标签类别，每类分别送入人脸识别器，提取得到人脸身份特征，对人脸身份特征进行平均，得到该类的身份中心特征；所有类的身份中心特征组成身份中心特征集。进一步地，所述获得表观修复损失和结构修复损失的方法为：生成人脸图像与对应的输入非遮挡人脸图像进行差异计算，得到其中表观修复损失；每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入预先训练好的人脸解析器中，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失。进一步地，所述全局判别损失、所述局部判别损失、所述身份多样性损失采用以下方法获得：每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入全局人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的全局判别损失；当前训练样本批中所有图像对的全局判别损失累加得到全局判别损失；截取每对生成人脸图像与对应的输入非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的局部判别损失；当前训练样本批中所有图像对的局部判别损失累加得到局部判别损失；每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入人脸识别器，提取到人脸身份特征，与身份中心特征集进行计算，得到该图像对的身份多样性损失；当前训练样本批中所有图像对的身份多样性损失累加得到身份多样性损失。与上面方法对应地，本专利技术还提供一种遮挡人脸识别装置，包括人脸修复模块、人脸判别模块和人脸识别模块；所述人脸修复模块采用人脸生成器实现遮挡人脸的修复；所述人脸判别模块采用人脸判别器，判别人脸图像是真实非遮挡人脸图像还是修复的遮挡人脸图像，由全局判别模块和局部判别模块组成；所本文档来自技高网...

【技术保护点】
1.一种遮挡人脸识别方法，其特征在于，包括以下步骤：利用带身份标记的人脸图像训练一个深度神经网络，作为人脸识别器；利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合已经获得的人脸识别器，在生成对抗网络框架中训练一个深度神经网络作为人脸生成器，再训练两个深度神经网络分别作为全局人脸判别器和局部人脸判别器；利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；利用获得的人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记，利用获得的人脸特征进行人脸识别，利用获得的身份标记鉴别人脸的身份信息。

【技术特征摘要】
1.一种遮挡人脸识别方法，其特征在于，包括以下步骤：利用带身份标记的人脸图像训练一个深度神经网络，作为人脸识别器；利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合已经获得的人脸识别器，在生成对抗网络框架中训练一个深度神经网络作为人脸生成器，再训练两个深度神经网络分别作为全局人脸判别器和局部人脸判别器；利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；利用获得的人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记，利用获得的人脸特征进行人脸识别，利用获得的身份标记鉴别人脸的身份信息。2.根据权利要求1所述的方法，其特征在于，所述人脸识别器直接采用预训练好的一个人脸识别器，或者集成多个预训练好的人脸识别器，或者重新训练一个人脸识别器。3.根据权利要求1所述的方法，其特征在于，所述人脸生成器、所述全局人脸判别器和所述局部人脸判别器的训练数据集由大量人脸图像对组成，每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像；所述训练数据集中的遮挡人脸图像通过合成方法获得，通过在非遮挡人脸图像上随机地遮挡某个区域获得对应的遮挡人脸图像。4.根据权利要求1所述的方法，其特征在于，所述人脸生成器、所述全局人脸判别器和所述局部人脸判别器的训练过程包括：由训练数据集获得身份中心特征集；随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；从训练数据集中随机选择一批人脸图像对，形成训练样本批；对训练样本批中的遮挡人脸图像，随机初始化图像中的遮挡区域像素，得到输入遮挡人脸图像；同时，训练样本批中的非遮挡人脸图像作为输入非遮挡人脸图像；每幅输入遮挡人脸图像送入人脸生成器，得到当前的生成人脸图像；利用生成人脸图像与对应的输入非遮挡人脸图像，获得表观修复损失和结构修复损失；表观修复损失和结构修复损失进行相加，组成总的修复损失；根据总的修复损失进行优化，更新人脸生成器的网络参数；每对生成人脸图像与对应的输入非遮挡人脸图像，通过获得全局人脸判别器获得全局判别损失，通过局部人脸判别器获得局部判别损失，通过人脸识别器获得身份多样性损失；全局判别损失、局部判别损失和身份多样性损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络参数；从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有都被选择后，完成一轮迭代；进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于某个预先设定的阈值或者判别损失低于某个预先设...

【专利技术属性】
技术研发人员：葛仕明，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京,11