活体检测方法及系统技术方案

本说明书提供的活体检测方法及系统，在获取目标对象的待检测部位的多个原模态图像后，将多个原模态图像输入第一模型，获得对应的多个原模态特征向量，并基于多个原模态特征向量，确定多个模态中的至少一个稳定模态，以及基于至少一个稳定模态，对目标对象进行活体检测，得到目标对象是否为活体的活体检测结果。该方案能够提高活体检测性能的稳定性。该方案能够提高活体检测性能的稳定性。该方案能够提高活体检测性能的稳定性。

【技术实现步骤摘要】
活体检测方法及系统


[0001]本说明书涉及物联网
，尤其涉及一种活体检测方法及系统。

技术介绍

[0002]人脸识别技术在各个领域都得到了广泛应用，其为人们的生产和生活带来极大便利，与此同时也带来了安全风险，其最为常见和具有威胁性的风险即为活体攻击，即攻击者使用手机照片、打印纸张和高精面具等方式伪造人脸图像，从而尝试通过活体检测，对用户的财产和信息安全造成损害。因此，有必要进行活体检测。
[0003]目前，活体检测主要通过深度学习模型来实现。在一种实现方式中，是针对多个模态，例如RGB(红
‑
绿
‑
蓝)模态、近红外(Near Infrared，NIR)模态和3D(三维)模态，分别训练一个单独的活体检测模型，并利用每个单独的活体检测模型根据每个模态的人脸数据进行活体决策，再将多个活体检测模型的决策结果进行融合，得到最终的活体检测结果。或者，在另外的一种实现方式中，针对多个模态训练一个活体检测模型，将多个模态的人脸数据输入该活体检测模型进行融合决策，得到最终的活体检测结果。然而，深度学习模型在面临应用的数据域与训练的数据域存在较大差异时，就会出现活体检测性能下降的问题。
[0004]因此，需要提供一种活体检测性能稳定的活体检测方式。

技术实现思路

[0005]本说明书提供一种活体检测方法及系统，在面对不同数据域时，活体检测性能稳定。
[0006]第一方面，本说明书提供一种活体检测方法，获取目标对象的待检测部位的多个原模态图像，所述多个原模态图像对应于图像采集模组的多个模态下所真实采集到的图像；将所述多个原模态图像输入第一模型，获得对应的多个原模态特征向量；基于所述多个原模态特征向量，确定所述多个模态中的至少一个稳定模态，所述稳定模态是指针对不同数据域的活体检测性能的稳定性满足预设要求的模态；以及基于所述至少一个稳定模态，对所述目标对象进行活体检测，得到所述目标对象是否为活体的活体检测结果。
[0007]在一些实施例中，所述基于所述至少一个稳定模态，对所述目标对象进行活体检测，包括：若所述多个模态中存在非稳定模态，则对所述多个模态中的非稳定模态的原模态图像进行数据扰动，并与所述至少一个稳定模态的原模态图像结合，生成更新后的多模态输入图像；将更新后的多模态输入图像反馈回所述第一模型的输入端，得到所述更新后的多模态输入图像对应的更新多模态活体决策结果；将所述更新多模态活体决策结果作为最终决策结果输出。
[0008]在一些实施例中，所述对所述多个模态中的非稳定模态的原模态图像进行数据扰动，包括：将所述非稳定模态的原模态图像替换成0；或者将所述非稳定模态的原模态图像的图像质量降低。
[0009]在一些实施例中，所述将所述多个原模态图像输入第一模型，还获得对应的初始
多模态活体决策结果，包括：将所述多个模态下的多个原模态图像经过多模态特征编码获得所述多个模态的特征图谱；以及对所述多个模态的特征图谱进行特征融合决策，确定所述多个原模态图像对应的所述初始多模态活体决策结果。
[0010]在一些实施例中，所述基于所述至少一个稳定模态，对所述目标对象进行活体检测，包括：若所述多个模态中不存在非稳定模态，将所述初始多模态活体决策结果作为最终决策结果输出。
[0011]在一些实施例中，所述将所述多个原模态图像输入第一模型，获得对应的多个原模态特征向量，包括：将所述多个模态下的多个原模态图像经过多模态特征编码获得所述多个模态的特征图谱；以及对所述多个模态的特征图谱进行多头特征编码，确定所述多个模态对应的原模态特征向量。
[0012]在一些实施例中，所述确定所述多个模态中的至少一个稳定模态包括：确定所述多个模态对应的多个综合稳定性指标，每个综合稳定性指标指示每个模态是否为所述稳定模态。
[0013]在一些实施例中，所述确定所述多个模态对应的多个综合稳定性指标，包括：对所述多个模态中的每个模态，记为目标模态；以及对所述目标模态对应的所述原模态特征向量进行跨模态转换，生成对应的至少一个转模态特征向量，其中，所述至少一个转模态特征向量对应于所述多个模态中的其他模态；以及基于所述原模态图像的特征图与所述至少一个转模态图像的特征图之间的相似度，确定所述目标模态对应的第一稳定性指标；和/或对所述目标模态对应的原模态特征向量进行单模态分类，获得所述目标模态对应的活体决策结果；以及根据所述活体决策结果与所述多个模态中其他模态对应的活体决策结果之间的相似度，确定所述目标模态对应的第二稳定性指标。
[0014]在一些实施例中，所述确定所述多个模态对应的多个综合稳定性指标，包括，确定所述第一稳定性指标或所述第二稳定性指标中的一个为所述综合稳定性指标。
[0015]在一些实施例中，所述根据所述第一稳定性指标和所述第二稳定性指标，确定所述综合稳定性指标，包括：若所述第一稳定性指标和所述第二稳定性指标指示的稳定性均满足预设要求，则确定所述综合稳定性指标为稳定模态。
[0016]在一些实施例中，所述根据所述第一稳定性指标和所述第二稳定性指标，确定所述综合稳定性指标，包括：若所述第一稳定性指标和所述第二稳定性指标中至少之一指示的稳定性不满足预设要求，则确定所述综合稳定性指标为非稳定模态。
[0017]在一些实施例中，所述第一模型包括，第一特征提取网络、特征融合网络、以及第二特征提取网络；所述第一模型是采用如下方法训练得到的：获取所述多个模态的第一训练图像集；根据所述多个模态的第一训练图像集进行训练迭代，直至第一综合损失函数小于预设值，所述训练迭代包括：基于上一次所述训练迭代确定的所述第一综合损失函数更新所述第一模型的参数值；将所述多个模态的第一训练图像集输入至所述第一特征提取网络，确定所述多个模态的第一训练图像集对应的特征图谱；将所述多个模态的第一训练图像集对应的特征图谱输入到所述特征融合网络，确定初始活体决策结果及其对应的第一损失函数；将所述多个模态的第一训练图像集对应的特征图谱输入到所述第二特征提取网络，确定所述多个模态对应的特征向量及其对应的第二损失函数；其中，所述第一综合损失函数为所述第一损失函数和所述第二损失函数加权求和。
[0018]在一些实施例中，所述获取所述多个模态的训练图像集，包括：获取所述多个模态的原始训练图像集；针对所述多个模态中每个模态生成随机数，得到所述多个模态的随机数；以及基于所述多个模态的随机数，从第一操作或第二操作中择一执行，其中，所述第一操作包括，若所述多个模态的随机数均大于或等于预设值，则将所述多个模态的原始训练图像集确定为所述多个模态的第一训练图像集；所述第二操作包括，若所述多个模态中至少一个模态的随机数小于预设值，则将所述至少一个模态的原始训练图像集进行数据扰动，得到至少一个模态对应的至少一个扰动训练图像集，并与未扰动模态对应的所述原始训练图像集结合，生成所述多个模态的第一训练图像集。
[0019]第二方面，本说明书还提供一种活体检测系统，包括：至少一个存储介质，存储有至少一个指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种活体检测方法，包括：获取目标对象的待检测部位的多个原模态图像，所述多个原模态图像对应于图像采集模组的多个模态下所真实采集到的图像；将所述多个原模态图像输入第一模型，获得对应的多个原模态特征向量；基于所述多个原模态特征向量，确定所述多个模态中的至少一个稳定模态，所述稳定模态是指针对不同数据域的活体检测性能的稳定性满足预设要求的模态；以及基于所述至少一个稳定模态，对所述目标对象进行活体检测，得到所述目标对象是否为活体的活体检测结果。2.根据权利要求1所述的方法，其中，所述基于所述至少一个稳定模态，对所述目标对象进行活体检测，包括：若所述多个模态中存在非稳定模态，则对所述多个模态中的非稳定模态的原模态图像进行数据扰动，并与所述至少一个稳定模态的原模态图像结合，生成更新后的多模态输入图像；将更新后的多模态输入图像反馈回所述第一模型的输入端，得到所述更新后的多模态输入图像对应的更新多模态活体决策结果；将所述更新多模态活体决策结果作为最终决策结果输出。3.根据权利要求2所述的方法，其中，所述对所述多个模态中的非稳定模态的原模态图像进行数据扰动，包括：将所述非稳定模态的原模态图像替换成0；或者将所述非稳定模态的原模态图像的图像质量降低。4.根据权利要求1所述的方法，其中，所述将所述多个原模态图像输入第一模型，还获得对应的初始多模态活体决策结果，包括：将所述多个模态下的多个原模态图像经过多模态特征编码获得所述多个模态的特征图谱；以及对所述多个模态的特征图谱进行特征融合决策，确定所述多个原模态图像对应的所述初始多模态活体决策结果。5.根据权利要求4所述的方法，其中，所述基于所述至少一个稳定模态，对所述目标对象进行活体检测，包括：若所述多个模态中不存在非稳定模态，将所述初始多模态活体决策结果作为最终决策结果输出。6.根据权利要求1所述的方法，其中，所述将所述多个原模态图像输入第一模型，获得对应的多个原模态特征向量，包括：将所述多个模态下的多个原模态图像经过多模态特征编码获得所述多个模态的特征图谱；以及对所述多个模态的特征图谱进行多头特征编码，确定所述多个模态对应的原模态特征向量。7.根据权利要求1所述的方法，其中，所述确定所述多个模态中的至少一个稳定模态包括：确定所述多个模态对应的多个综合稳定性指标，每个综合稳定性指标指示每个模态是否为所述稳定模态。
8.根据权利要求7所述的方法，所述确定所述多个模态对应的多个综合稳定性指标，包括：对所述多个模态中的每个模态，记为目标模态；以及对所述目标模态对应的所述原模态特征向量进行跨模态转换，生成对应的至少一个转模态特征向量，其中，所述至少一个转模态特征向量对应于所述多个模态中的其他模态；以及基于所述原模态图像的特征图与所述至少一个转模态图像的特征图之间的相似度，确定所述目标模态对应的第一稳定性指标；和/或对所述目标模态对应的原模态特征向量进行单模态分类，获得所述目标模态对应的活体决策结果；以及根据所述活体决策结果与所述多个模态中其他模态对应的活体决策结果之...

【专利技术属性】
技术研发人员：曹佳炯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：