人脸活体检测模型的训练方法、人脸活体检测方法及装置制造方法及图纸

本公开提供了人脸活体检测模型的训练方法、人脸活体检测方法及装置，涉及人工智能技术领域，尤其涉及涉及深度学习、图像处理、计算机视觉技术领域。具体实现方案为：根据样本人脸图像，确定第一模型输出的第一特征；根据第一特征，利用第一损失函数，确定第一损失值；根据第一特征和样本人脸图像对应的第一文本描述，确定第二模型输出的第二特征；根据第二特征，利用第二损失函数，确定第二损失值；以及根据第一损失值和第二损失值，对第一模型进行训练，以得到人脸活体检测模型。本公开实施例中，通过图像模态和文本模态监督模型训练，利用文本模态提供的细粒度语义信息的监督，提升人脸活体检测模型的泛化性。活体检测模型的泛化性。活体检测模型的泛化性。

【技术实现步骤摘要】
人脸活体检测模型的训练方法、人脸活体检测方法及装置


[0001]本公开涉及人工智能
，尤其涉及深度学习、图像处理、计算机视觉
，可应用于人脸识别等场景。

技术介绍

[0002]人脸活体检测是指区分一张图像是否为针对真人拍摄获得的，是人脸识别系统的基础，可以保证人脸识别系统的安全性。使用深度卷积神经网络来训练人脸活体检测模型是目前常见的方法。为了使模型学习到更为丰富和泛化性的特征，出现了多模态学习方法。现有的多模态人脸活体检测方法实现方案通常是基于多模态的输入数据，即向模型输入多种模态的信息，各个模态特征相加或者特征连接来进行活体判别。

技术实现思路

[0003]本公开提供了一种用于人脸活体检测模型的训练方法、人脸活体检测方法及装置。
[0004]根据本公开的一方面，提供了一种人脸活体检测模型的训练方法，包括：根据样本人脸图像，确定第一模型输出的第一特征；其中，样本人脸图像包括：活体样本图像和攻击样本图像；
[0005]根据第一特征，利用第一损失函数，确定第一损失值；
[0006]根据第一特征和样本人脸图像对应的第一文本描述，确定第二模型输出的第二特征；
[0007]根据第二特征，利用第二损失函数，确定第二损失值；以及
[0008]根据第一损失值和第二损失值，对第一模型进行训练，以得到人脸活体检测模型。
[0009]根据本公开的另一方面，提供了一种人脸活体检测方法，包括：
[0010]利用上述人脸活体检测模型的训练方法训练得到的人脸活体检测模型，对目标人脸图像进行检测，以得到检测结果。
[0011]根据本公开的另一方面，提供了一种人脸活体检测模型的训练装置，包括：
[0012]第一确定模块，用于根据样本人脸图像，确定第一模型输出的第一特征；其中，样本人脸图像包括：活体样本图像和攻击样本图像；
[0013]第二确定模块，用于根据第一特征，利用第一损失函数，确定第一损失值；
[0014]第三确定模块，用于根据第一特征和样本人脸图像对应的第一文本描述，确定第二模型输出的第二特征；
[0015]第四确定模块，用于根据第二特征，利用第二损失函数，确定第二损失值；以及
[0016]训练模块，用于根据第一损失值和第二损失值，对第一模型进行训练，以得到人脸活体检测模型。
[0017]根据本公开的另一方面，提供了一种人脸活体检测装置，包括：
[0018]检测模块，用于利用上述训练装置训练得到的人脸活体检测模型，对目标人脸图
像进行检测，以得到检测结果。
[0019]根据本公开的另一方面，提供了一种电子设备，包括：
[0020]至少一个处理器；以及
[0021]与该至少一个处理器通信连接的存储器；其中，
[0022]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0023]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0024]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0025]根据本公开实施例的方案，通过图像模态和文本模态监督模型训练，提升人脸活体检测模型的泛化性。文本模态仅在模型训练过程中以增加监督方式的形式使用，可以实现辅助人脸活体检测模型学习到更具判别能力的特征。
[0026]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0028]图1是根据本公开一实施例的人脸活体检测模型的训练方法的流程示意图；
[0029]图2是根据本公开一实施例的样本人脸图像生成流程示意图；
[0030]图3是根据本公开一实施例的人脸活体检测模型的结构示意图；
[0031]图4是根据本公开一实施例的人脸活体检测方法的流程示意图；
[0032]图5是根据本公开一实施例的人脸活体检测模型的训练装置的结构示意图；
[0033]图6是根据本公开一实施例的人脸活体检测装置的结构示意图；
[0034]图7是用来实现本公开实施例的人脸活体检测模型的训练方法和或/人脸活体检测方法的电子设备的框图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]在相关技术中，人脸活体检测是指区分一张图像是否为对真人拍摄获得的，人脸活体检测是人脸识别系统的基础，可以保证人脸识别系统的安全性。使用深度卷积神经网络来训练人脸活体检测方法是目前常见的方法，由于现有活体检测方法仅采用了分类标签作为监督信号，难以使模型学习到更为丰富和泛化性的特征，导致模型的性能有限。
[0037]目前，为了使模型学习到更为丰富和泛化性的特征，出现了多模态学习方法。现有的多模态人脸活体检测方法实现方案通常是基于多模态的输入数据，例如利用深度图像和红外图像，各个模态特征相加或者特征连接来进行活体判别。基于特征连接的方法，也是利
用多个独立的卷积神经网络对每个模态进行特征提取，然后对多个特征进行特征连接操作，最后对连接的特征进行分类。两种方法均为输入数据形式的多模态，这些多模态数据需要耗费大量的经济成本去采集，极大限制了多模态数据规模，难以得到广泛应用，其次现有多模态仅仅是将各个模态特征进行融合，容易导致融合模型偏置到其中一个模态，即各模态特征的权重差距较大，难以发挥出多模态数据的优势。
[0038]为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的实施方式提供一种人脸活体检测模型的训练方法，利用本公开的实施方式的技术方案，可以实现促使人脸活体检测模型提取更具判别能力的特征，从而提升模型的泛化能力，提升人脸活体检测的性能。
[0039]图1是根据本公开一实施例的人脸活体检测模型的训练方法的流程示意图，如图1所示，该方法至少包括以下步骤：
[0040]S101：根据样本人脸图像，确定第一模型输出的第一特征。其中，该样本人脸图像包括：活体样本图像和攻击样本图像。
[0041]本公开实施例的样本人脸图像用于进行模型训练，多个样本人脸图像构成样本集合。可以理解的是，样本集合中包含正样本和负样本，即包含活体样本图像和攻击样本图像。活体样本图像可以理解为包含真实人脸画面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸活体检测模型的训练方法，包括：根据样本人脸图像，确定第一模型输出的第一特征；其中，所述样本人脸图像包括：活体样本图像和攻击样本图像；根据所述第一特征，利用第一损失函数，确定第一损失值；根据所述第一特征和所述样本人脸图像对应的第一文本描述，确定第二模型输出的第二特征；根据所述第二特征，利用第二损失函数，确定第二损失值；以及根据所述第一损失值和所述第二损失值，对所述第一模型进行训练，以得到人脸活体检测模型。2.根据权利要求1所述的方法，其中，所述根据样本人脸图像，确定第一模型输出的第一特征，包括：将样本人脸图像切分为多个图像块，得到样本图像块序列；根据所述样本图像块序列，利用所述第一模型的线性投影层，确定样本图像向量序列；根据所述样本图像向量序列和第一分类向量，利用所述第一模型的转换器层，确定第一特征。3.根据权利要求1所述的方法，其中，所述根据所述第一特征，利用第一损失函数，确定第一损失值，包括：根据所述第一特征，利用所述第一模型的多层感知机层，确定预测分类标签；根据所述样本人脸图像的所述预测分类标签和实际分类标签，利用第一损失函数，确定第一损失值。4.根据权利要求1所述的方法，其中，所述根据所述第一特征和所述样本人脸图像对应的第一文本描述，确定第二模型输出的第二特征，包括：根据所述样本人脸图像对应的第一文本描述，利用所述第二模型的因果自注意力层，确定第三特征；根据所述第一特征和所述第三特征，利用所述第二模型的跨注意力层进行特征融合，确定融合特征；根据所述融合特征，利用所述第二模型的前向反馈层，确定所述第二模型输出的第二特征。5.根据权利要求1所述的方法，其中，所述根据所述第一损失值和所述第二损失值，对所述第一模型进行训练，以得到人脸活体检测模型，包括：根据所述第一损失值和所述第二损失值，得到第三损失值；根据所述第三损失值，对所述第一模型进行训练，以得到人脸活体检测模型。6.根据权利要求1所述的方法，其中，所述第一文本描述为预训练的文本描述生成模型根据训练人脸图像所生成，所述样本人脸图像是根据所述训练人脸图像所生成。7.根据权利要求6所述的方法，所述第一文本描述的生成过程包括：将所述训练人脸图像输入所述文本描述生成模型，得到对应所述训练人脸图像的第一文本描述；在所述第一文本描述满足生成规则的情况下，将所述第一文本描述对应的所述训练人脸图像作为所述样本人脸图像。
8.根据权利要求7所述的方法，其中，所述生成规则包括：在所述训练人脸图像为活体样本图像的情况下，所述文本描述生成模型生成的第一文本描述不包含预设的攻击词汇；在所述训练人脸图像为攻击样本图像的情况下，所述文本描述生成模型生成的第一文本描述包含预设的攻击词汇。9.根据权利要求1至8任一项所述的方法，其中，所述第一模型为基于转换器结构的神经网络模型，所述第二模型为基于转换器的双向编码器表示模型；或者，所述第一损失函数为交叉熵损失函数，所述第二损失函数为语言建模损失函数。10.一种人脸活体检测方法，包括：利用权利要求1至9任一项所述的方法训练得到的人脸活体检测模型，对目标人脸图像进行检测，以得到检测结果。11.根据权利要求10所述的方法，其中，所述利用权利要求1至9任一项所述的方法训练得到的人脸活体检测模型，对目标人脸图像进行检测，以得到检测结果，包括：将目标人脸图像切分为多个图像块，得到目标图像块序列；根据所述目标图像块序列，利用权利要求1至9任一项所述的方法训练得到的人脸活体检测模型，确定图像特征；根据所述图像特征，确定所述目标人脸图像的分类标签，以得到检测结果。12.一种人脸活体检测模型的训练装置，包括：第一确定模块，用于根据样本人脸图像，确定第一模型输出的第一特征；其中，所述样本人脸图像包括：活体样本图像和攻击样本图像；第二确定模块，用于根据所述第一特征，利用第...

【专利技术属性】
技术研发人员：张国生，王珂尧，岳海潇，冯浩城，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：