本申请实施例提供了一种活体检测方法、装置、电子设备、存储介质及程序产品，涉及图像处理、应用安全技术领域。该方法包括：获取多模态人脸图像；对多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；基于多模态融合特征，确定多模态人脸图像的活体检测结果。本申请实施例用于解决现有技术中由于各模态下的图像独立检测而忽略了各模态之间的相关性，导致检测准确度低的问题，本申请的实施提高了活体检测的准确度。度。度。
【技术实现步骤摘要】
活体检测方法、装置、电子设备、存储介质及程序产品
[0001]本申请涉及图像处理、应用安全
，具体而言，本申请涉及一种活体检测方法、装置、电子设备、存储介质及程序产品。
技术介绍
[0002]为了防止不法分子恶意利用伪造的他人生物特征用于身份认证，如利用窃取的照片、网上录制的视频、制作的假体面具等，活体检测是必不可少的。当前的活体检测方案有静默活体检测技术、动作活体检测技术等，其中静默活体检测技术不同于动作活体检测技术，无需用户配合，能够无感知地进行活体认证，速度更快，用户体验更好。
[0003]然而，目前静默活体检测技术往往将多模态图像分别采用不同的活体检测模型进行活体检测，这样由于各模态独立检测，难以捕获各模态间的信息差异，以及无法没有考虑各模态之间的相关性，很大程度上影响活体检测的准确度。
技术实现思路
[0004]本申请实施例提供了一种活体检测方法、装置、电子设备、存储介质及程序产品，用于解决现有技术中由于各模态下的图像独立检测而忽略各模态之间的相关性的问题。
[0005]根据本申请实施例的一个方面，提供了一种活体检测方法，包括：
[0006]获取多模态人脸图像；
[0007]对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；
[0008]基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。
[0009]在一个可能的实现方式中，所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，包括：
[0010]提取所述多模态人脸图像在每个预设模态下的图像特征，并针对每个模态下的图像特征，分别将该图像特征与其他模态下的图像特征进行特征融合，以输出用于表征该模态与其他模态的图像特征之间的相关性的多模态融合特征。
[0011]在一个可能的实现方式中，所述基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果，包括：
[0012]将每个模态下的多模态融合特征进行融合，并根据融合结果确定所述多模态人脸图像的活体检测结果。
[0013]在一个可能的实现方式中，通过特征提取网络中的第一特征提取网络对所述多模态人脸图像进行特征提取后融合；
[0014]所述第一特征提取网络包括全局特征提取网络和/或局部特征提取网络，所述多模态融合特征包括所述全局特征提取网络的输出、所述局部特征提取网络的输出以及由所述全局特征提取网络的输出与所述局部特征提取网络的输出组织而成的融合特征中的至少一种。
[0015]在一个可能的实现方式中，所述局部特征提取网络包括级联排序的第一线性层、基于自注意力机制的特征融合层和第二线性层；
[0016]通过所述局部特征提取网络执行以下步骤，以得到所述局部特征提取网络的输出：
[0017]通过所述第一线性层对所述多模态人脸图像进行线性变换，得到用于表征各模式下针对图像中的第i个目标区域的局部特征的局部特征序列，其中，i≥1；
[0018]通过所述特征融合层对所述局部特征序列进行特征融合，得到不同模态下针对所述第i个目标区域的融合特征；
[0019]通过所述第二线性层对所述融合特征进行线性变换，得到用于表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，并将其作为所述局部特征提取网络的输出。
[0020]在一个可能的实现方式中，所述全局特征提取网络包括级联排序的第一残差网络和第二残差网络，所述第一残差网络包括注意力机制，所述第二残差网络包括多层感知机；
[0021]通过所述全局特征提取网络执行以下步骤，以得到所述全局特征提取网络的输出：
[0022]通过所述第一残差网络对所述多模态人脸图像进行特征提取，并针对输出结果及所输入的多模态人脸图像进行残差分析，输出每个模态下的第一全局特征；
[0023]通过所述第二残差网络对每个模态下的第一全局特征进行特征提取，并针对输出结果及所输入的第一全局特征进行残差分析，得到每个模态下的第二全局特征，并将其作为所述全局特征提取网络的输出。
[0024]在一个可能的实现方式中，通过特征提取网络中的第二特征提取网络对所述多模态人脸图像进行特征提取后融合；
[0025]所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，还包括：
[0026]将所述多模态人脸图像输入到所述第二特征提取网络，提取每个模态下的图像特征，并将每个模态下的图像特征进行特征融合，输出用于表征各模态的图像特征之间的相关性的多模态融合特征。
[0027]在一个可能的实现方式中，所述获取多模态人脸图像，包括：
[0028]获取终端设备发送的同一时刻下的多模态图像，所述多模态图像包括RGB图像、红外图像和深度图像中的至少两种；
[0029]对所述多模态图像进行人脸识别，得到相应的多模态人脸图像，所述多模态人脸图像包括RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种。
[0030]根据本申请实施例的另一个方面，提供了一种活体检测装置，包括：
[0031]图像获取模块，用于获取多模态人脸图像；
[0032]多模态特征处理模块，用于对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；
[0033]活体检测模块，用于基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。
[0034]根据本申请实施例的另一个方面，提供了一种电子设备，包括存储器、处理器及存
储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述实施例所述的活体检测方法的步骤。
[0035]根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的活体检测方法的步骤。
[0036]根据本申请实施例的再一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的活体检测方法的步骤。
[0037]本申请实施例提供的技术方案带来的有益效果是：
[0038]本申请提供的活体检测方法，通过获取多模态人脸图像，继而对多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，从而基于多模态融合特征，确定多模态人脸图像的活体检测结果，能够解决现有技术中由于各模态下的图像独立检测所导致忽略各模态之间的相关性的问题，使得在检测过程中能够考虑到各模态数据之间的差异性和相关性，以充分利用多个维度下的图像特征数据进行活体检测，提高活体检测的准确度。
附图说明
[0039]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0040]图1为本申请实施例提供的计算机系统架构示意图；
[0041]图2为本申请一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种活体检测方法，其特征在于，包括：获取多模态人脸图像；对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。2.根据权利要求1所述的方法，其特征在于，所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，包括：提取所述多模态人脸图像在每个预设模态下的图像特征，并针对每个模态下的图像特征，分别将该图像特征与其他模态下的图像特征进行特征融合，以输出用于表征该模态与其他模态的图像特征之间的相关性的多模态融合特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果，包括：将每个模态下的多模态融合特征进行融合，并根据融合结果确定所述多模态人脸图像的活体检测结果。4.根据权利要求2所述的方法，其特征在于，通过特征提取网络中的第一特征提取网络对所述多模态人脸图像进行特征提取后融合；所述第一特征提取网络包括全局特征提取网络和/或局部特征提取网络，所述多模态融合特征包括所述全局特征提取网络的输出、所述局部特征提取网络的输出以及由所述全局特征提取网络的输出与所述局部特征提取网络的输出组织而成的融合特征中的至少一种。5.根据权利要求4所述的方法，其特征在于，所述局部特征提取网络包括级联排序的第一线性层、基于自注意力机制的特征融合层和第二线性层；通过所述局部特征提取网络执行以下步骤，以得到所述局部特征提取网络的输出：通过所述第一线性层对所述多模态人脸图像进行线性变换，得到用于表征各模式下针对图像中的第i个目标区域的局部特征的局部特征序列，其中，i≥1；通过所述特征融合层对所述局部特征序列进行特征融合，得到不同模态下针对所述第i个目标区域的融合特征；通过所述第二线性层对所述融合特征进行线性变换，得到用于表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，并将其作为所述局部特征提取网络的输出。6.根据权利要求4所述的方法，其特征在于，所述全局特征提取网络包括级联排序的第一残差网络和第二残差网络；通过所述全局特征提取网络执行以下步骤，以得到...
【专利技术属性】
技术研发人员：于潇丹，
申请(专利权)人：南京亚信软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。