人脸身份识别模型的训练方法、人脸身份识别方法及装置制造方法及图纸

本申请公开了一种人脸身份识别模型的训练方法、人脸身份识别方法及装置，涉及人工智能领域。方法包括：通过第一特征提取网络对样本人脸图像进行特征提取，得到第一样本人脸特征；基于第一样本人脸特征，通过第二特征提取网络提取样本人脸图像中人脸遮挡区域的样本遮挡区域特征；基于样本遮挡区域特征对第一样本人脸特征进行特征提纯处理，得到第二样本人脸特征；基于第一样本人脸特征、第二样本人脸特征以及样本遮挡区域特征，通过第三特征提取网络进行特征提取，得到第三样本人脸特征，第三特征提取网络采用自注意力机制；基于第三样本人脸特征训练人脸身份识别模型。本申请实施例方案有助于提高人脸遮挡场景下人脸身份识别的准确性。别的准确性。别的准确性。

【技术实现步骤摘要】
人脸身份识别模型的训练方法、人脸身份识别方法及装置


[0001]本申请实施例涉及人工智能
，特别涉及一种人脸身份识别模型的训练方法、人脸身份识别方法及装置。

技术介绍

[0002]随着人脸识别技术的不断成熟，越来越多的终端采用人脸识别这一生物识别技术进行终端隐私保护。比如，具有人脸识别功能的手机可以基于拍摄到的人脸进行解锁、支付。
[0003]然而，用户在日常生活过程中可能会佩戴眼镜、围巾、口罩等物品，这些物品会对人脸区域造成遮挡，影响人脸识别的准确性。

技术实现思路

[0004]本申请实施例提供了一种人脸身份识别模型的训练方法、人脸身份识别方法及装置。所述技术方案如下：
[0005]一方面，本申请实施例提供了一种人脸身份识别模型的训练方法，所述方法包括：
[0006]通过第一特征提取网络对样本人脸图像进行特征提取，得到第一样本人脸特征；
[0007]基于所述第一样本人脸特征，通过第二特征提取网络提取所述样本人脸图像中人脸遮挡区域的样本遮挡区域特征；
[0008]基于所述样本遮挡区域特征对所述第一样本人脸特征进行特征提纯处理，得到第二样本人脸特征，其中，所述特征提纯处理用于消除所述人脸遮挡区域的干扰；
[0009]基于所述第一样本人脸特征、所述第二样本人脸特征以及所述样本遮挡区域特征，通过第三特征提取网络进行特征提取，得到第三样本人脸特征，所述第三特征提取网络采用自注意力机制；
[0010]基于所述第三样本人脸特征训练人脸身份识别模型，所述人脸身份识别模型由所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络构成。
[0011]另一方面，本申请实施例提供了一种人脸身份识别方法，所述方法包括：
[0012]通过人脸身份识别模型的第一特征提取网络对目标人脸图像进行特征提取，得到第一人脸特征；
[0013]基于所述第一人脸特征，通过所述人脸身份识别模型的第二特征提取网络提取所述目标人脸图像中人脸遮挡区域的遮挡区域特征；
[0014]基于所述遮挡区域特征对所述第一人脸特征进行特征提纯处理，得到第二人脸特征，其中，所述特征提纯处理用于消除所述人脸遮挡区域的干扰；
[0015]基于所述第一人脸特征、所述第二人脸特征以及所述遮挡区域特征，通过所述人脸身份识别模型的第三特征提取网络进行特征提取，得到第三人脸特征，所述第三特征提取网络采用自注意力机制；
[0016]基于所述第三人脸特征进行人脸身份识别；
[0017]其中，所述人脸身份识别模型采用如上述方面所述的方法训练得到。
[0018]另一方面，本申请实施例提供了一种人脸身份识别模型的训练装置，所述装置包括：
[0019]特征提取模块，用于通过第一特征提取网络对样本人脸图像进行特征提取，得到第一样本人脸特征；
[0020]所述特征提取模块，用于基于所述第一样本人脸特征，通过第二特征提取网络提取所述样本人脸图像中人脸遮挡区域的样本遮挡区域特征；
[0021]所述特征提取模块，用于基于所述样本遮挡区域特征对所述第一样本人脸特征进行特征提纯处理，得到第二样本人脸特征，其中，所述特征提纯处理用于消除所述人脸遮挡区域的干扰；
[0022]所述特征提取模块，用于基于所述第一样本人脸特征、所述第二样本人脸特征以及所述样本遮挡区域特征，通过第三特征提取网络进行特征提取，得到第三样本人脸特征，所述第三特征提取网络采用自注意力机制；
[0023]训练模块，用于基于所述第三样本人脸特征训练人脸身份识别模型，所述人脸身份识别模型由所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络构成。
[0024]另一方面，本申请实施例提供了一种人脸身份识别装置，所述装置包括：
[0025]特征提取模块，用于通过人脸身份识别模型的第一特征提取网络对目标人脸图像进行特征提取，得到第一人脸特征；
[0026]所述特征提取模块，用于基于所述第一人脸特征，通过所述人脸身份识别模型的第二特征提取网络提取所述目标人脸图像中人脸遮挡区域的遮挡区域特征；
[0027]所述特征提取模块，用于基于所述遮挡区域特征对所述第一人脸特征进行特征提纯处理，得到第二人脸特征，其中，所述特征提纯处理用于消除所述人脸遮挡区域的干扰；
[0028]所述特征提取模块，用于基于所述第一人脸特征、所述第二人脸特征以及所述遮挡区域特征，通过所述人脸身份识别模型的第三特征提取网络进行特征提取，得到第三人脸特征，所述第三特征提取网络采用自注意力机制；
[0029]识别模块，用于基于所述第三人脸特征进行人脸身份识别；
[0030]其中，所述人脸身份识别模型采用如上述方面所述的装置训练得到。
[0031]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的人脸身份识别模型的训练方法，或，人脸身份识别方法。
[0032]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上述方面所述的人脸身份识别模型的训练方法，或，人脸身份识别方法。
[0033]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的人脸身份识别模型的训练方法，或，人脸身份识别方法。
[0034]本申请实施例中，在人脸身份识别模型的训练以及应用过程中，通过对人脸遮挡
区域进行特征提取，并利用提取到的遮挡区域特征对人脸特征进行提纯，从而通过自注意力机制对提纯前的人脸特征、提纯后的人脸特征以及遮挡区域特征进行进一步特征提取，进而利用提取到人脸特征进行人脸身份识别，能够消除人脸遮挡对身份识别造成的干扰，有助于提高人脸身份识别的准确性。
附图说明
[0035]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1示出了本申请一个示例性实施例提供的人脸身份识别模型的训练方法的流程图；
[0037]图2示出了本申请另一个示例性实施例提供的人脸身份识别模型的训练方法的流程图；
[0038]图3是本申请一个示例性实施例示出的人脸身份识别模型的结构图；
[0039]图4是本申请一个示例性实施例示出的注意力模块的结构图；
[0040]图5是本申请一个示例性实施例示出的损失确定过程的流程图；
[0041]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸身份识别模型的训练方法，其特征在于，所述方法包括：通过第一特征提取网络对样本人脸图像进行特征提取，得到第一样本人脸特征；基于所述第一样本人脸特征，通过第二特征提取网络提取所述样本人脸图像中人脸遮挡区域的样本遮挡区域特征；基于所述样本遮挡区域特征对所述第一样本人脸特征进行特征提纯处理，得到第二样本人脸特征，其中，所述特征提纯处理用于消除所述人脸遮挡区域的干扰；基于所述第一样本人脸特征、所述第二样本人脸特征以及所述样本遮挡区域特征，通过第三特征提取网络进行特征提取，得到第三样本人脸特征，所述第三特征提取网络采用自注意力机制；基于所述第三样本人脸特征训练人脸身份识别模型，所述人脸身份识别模型由所述第一特征提取网络、所述第二特征提取网络以及所述第三特征提取网络构成。2.根据权利要求1所述的方法，其特征在于，所述第二特征提取网络由分割子网络以及特征提取子网络构成；所述基于所述第一样本人脸特征，通过第二特征提取网络提取所述样本人脸图像中人脸遮挡区域的样本遮挡区域特征，包括：基于所述第一样本人脸特征，通过所述分割子网络进行遮挡区域分割，得到所述人脸遮挡区域的样本遮挡区域图像；通过所述特征提取子网络对所述样本遮挡区域图像进行特征提取，得到所述样本遮挡区域特征。3.根据权利要求2所述的方法，其特征在于，所述样本遮挡区域图像与所述样本人脸图像的尺寸一致，且所述样本遮挡区域特征与所述第一样本人脸特征的特征尺寸一致。4.根据权利要求1所述的方法，其特征在于，所述第三特征提取网络为ViT网络；所述基于所述第一样本人脸特征、所述第二样本人脸特征以及所述样本遮挡区域特征，通过第三特征提取网络进行特征提取，得到第三样本人脸特征，包括：将所述第一样本人脸特征、所述第二样本人脸特征以及所述样本遮挡区域特征输入所述ViT网络的多头注意力层，所述多头注意力层用于对各个输入头输入的特征进行自注意力处理；获取所述ViT网络输出的所述第三样本人脸特征。5.根据权利要求4所述的方法，其特征在于，所述第一样本人脸特征、所述第二样本人脸特征以及所述样本遮挡区域特征被赋值给所述多头注意力层的Q、K以及V，其中，Q、K、V全部相同，或者，Q、K、V全部不同，或者，Q、K、V部分相同。6.根据权利要求1所述的方法，其特征在于，所述基于所述样本遮挡区域特征对所述第一样本人脸特征进行特征提纯处理，得到第二样本人脸特征，包括：基于所述样本遮挡区域特征与所述第一样本人脸特征的乘积，确定所述第二样本人脸特征。7.根据权利要求1所述的方法，其特征在于，所述基于所述第三样本人脸特征训练人脸身份识别模型，包括：基于具有相同身份标签的所述样本人脸图像对应的所述第三样本人脸特征，确定第一特征距离；
基于具有不同身份标签的所述样本人脸图像对应的所述第三样本人脸特征，确定第二特征距离；基于所述第一特征距离和所述第二特征距离确定人脸识别损失；基于所述人脸识别损失训练所述人脸身份识别模型。8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：对样本图像进行人脸检测，得到人脸检测结果，所述人脸检测结果用于指示所述样本图像中的人脸位置；基于人脸检测结果从所述样本图像中提取所述样本人脸图像；基于所述样本人脸图像的关键点识别结果，对所述样本人脸图像进行仿射变换，得到对齐后的所述样本人脸图像。9.一种人脸身份识别方法，其特征在于，所述方法包括：通过人脸身份识别模型的第一特征提取网络对目标人脸图像进行特征提取，得到第一人脸特征；基于所述第一人脸特征，通过所述人脸身份识别模型的第二特征提取网络提取所述目标人脸图像中人脸遮挡区域的遮挡区域特征；基于所述遮挡区域特征...

【专利技术属性】
技术研发人员：张素芳，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：