一种活体检测方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种活体检测方法、装置、电子设备及存储介质。该方法包括：采集待检测对象的人脸图像数据和语音数据；通过各个对应的模型获取到了伪造检测结果、音唇同步检测结果、唇语识别结果和语音识别结果，并采用预训练的集成检测模型，对将伪造检测结果、音唇同步检测结果、唇语识别结果和语音识别结果进行了综合评判，在通过多维度的神经网络模型进行识别抵御伪造技术的哄骗攻击的同时，采用预训练的集成检测模型的综合评判以避免出现假结果而导致活体对象不能通过检测。本申请通过多维度的防御，提高了利用生物识别技术进行身份识别时的置信度和安全性。时的置信度和安全性。时的置信度和安全性。

【技术实现步骤摘要】
一种活体检测方法、装置、电子设备及存储介质


[0001]本申请涉及活体检测技术，尤其涉及一种活体检测方法、装置、电子设备及存储介质。

技术介绍

[0002]人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，被广泛应用于各种应用程序(Application，简称：APP)的登录或支付界面，用以对用户进行身份识别、确认，以降低操作风险。但是现有的身份识别系统仅着重于对伪造人脸的检测，一旦采用图像伪造等欺骗手段对身份识别系统进行哄骗攻击，会导致其系统容易被欺骗，置信度不高，使得依据现有身份识别系统进行的身份识别通过后，安全性仍难以保障。
[0003]因此，准确地抵抗多维度的伪造攻击以提高身份识别的置信度，仍是亟待解决的技术问题

技术实现思路

[0004]本申请提供一种活体检测方法、装置、电子设备及存储介质，用以解决现有技术中身份识别系统防御能力单一造成的系统容易被欺骗、置信度不高的技术问题。
[0005]第一方面，本申请提供一种活体检测方法，包括：
[0006]采集待检测对象的人脸图像数据和语音数据；
[0007]采用预训练的重建和分类神经网络模型，对所述人脸图像数据和语音数据进行识别处理，以获取伪造检测结果；并采用预训练的音唇同步检测模型，对所述人脸图像数据和语音数据进行识别处理，以获取音唇同步检测结果；
[0008]采用唇语识别模型对所述人脸图像数据进行识别处理，获取唇语识别结果；并采用语音识别模型对所述语音数据进行识别处理，获取语音识别结果；
>[0009]采用预训练的集成检测模型，将所述伪造检测结果、所述音唇同步检测结果、所述唇语识别结果和所述语音识别结果进行拼接，并将拼接后的数据在所述预训练的集成检测模型的全连接层进行融合，以将融合后数据进行归一化处理后获取所述待检测对象的活体检测结果。
[0010]在一种可能的实现方式中，所述预训练的重建和分类神经网络模型的获取方式包括：
[0011]将获取的已标记属性的真实人脸图像数据集与对应的真实语音数据集、真实人脸图像数据集与对应的伪造语音数据集、伪造人脸图像数据集与对应的伪造语音数据集，以及伪造人脸图像数据集与对应的真实语音数据集，分别进行特征级联后，获取对应的数据集以作为初始设置的重建和分类神经网络框架的训练集，并根据所述训练集，对初始设置的重建和分类神经网络框架进行训练，获取预训练的重建和分类神经网络模型。
[0012]在一种可能的实现方式中，所述采用语音识别模型对所述语音数据进行识别处理，获取语音识别结果，包括：
[0013]对所述语音数据进行预处理，获取所述语音数据对应的语音特征向量；
[0014]采用所述语音识别模型中的声学模型，对所述语音特征向量进行识别处理，获取声学模型得分；
[0015]采用所述语音识别模型中的语言模型，对所述语音特征向量进行识别处理，获取语言模型得分；
[0016]对所述声学模型得分和语言模型得分进行解码分析，获取所述语音识别结果。
[0017]在一种可能的实现方式中，所述采用预训练的音唇同步检测模型，对所述人脸图像数据和语音数据进行识别处理，以获取音唇同步检测结果，包括：
[0018]采用所述预训练的音唇同步检测模型，分别从所述人脸图像数据中提取的预设时序长度的唇部图像特征，以及从所述语音数据中提取的所述预设时序长度的语音特征，并对所述唇部图像特征和所述语音特征进行识别处理，获取音唇同步检测结果。
[0019]第二方面，本申请提供一种活体检测装置，包括：
[0020]采集模块，用于采集待检测对象的人脸图像数据和语音数据；
[0021]识别模块，用于采用预训练的重建和分类神经网络模型，对所述人脸图像数据和语音数据进行识别处理，以获取伪造检测结果；并采用预训练的音唇同步检测模型，对所述人脸图像数据和语音数据进行识别处理，以获取音唇同步检测结果；
[0022]所述识别模块，还用于采用唇语识别模型对所述人脸图像数据进行识别处理，获取唇语识别结果；并采用语音识别模型对所述语音数据进行识别处理，获取语音识别结果；
[0023]集成检测模块，用于采用预训练的集成检测模型，将所述伪造检测结果、所述音唇同步检测结果、所述唇语识别结果和所述语音识别结果进行拼接，并将拼接后的数据在所述预训练的集成检测模型的全连接层进行融合，以将融合后数据进行归一化处理后获取所述待检测对象的活体检测结果。
[0024]另外，该装置还包括训练模块，用于：
[0025]将获取的已标记属性的真实人脸图像数据集与对应的真实语音数据集、真实人脸图像数据集与对应的伪造语音数据集、伪造人脸图像数据集与对应的伪造语音数据集，以及伪造人脸图像数据集与对应的真实语音数据集，分别进行特征级联后，获取对应的数据集以作为初始设置的重建和分类神经网络框架的训练集，并根据所述训练集，对初始设置的重建和分类神经网络框架进行训练，获取预训练的重建和分类神经网络模型。
[0026]可选的，所述识别模块，具体用于：
[0027]对所述语音数据进行预处理，获取所述语音数据对应的语音特征向量；
[0028]采用所述语音识别模型中的声学模型，对所述语音特征向量进行识别处理，获取声学模型得分；
[0029]采用所述语音识别模型中的语言模型，对所述语音特征向量进行识别处理，获取语言模型得分；
[0030]对所述声学模型得分和语言模型得分进行解码分析，获取所述语音识别结果。
[0031]可选的，所述识别模块，具体用于：
[0032]采用所述预训练的音唇同步检测模型，分别从所述人脸图像数据中提取的预设时序长度的唇部图像特征，以及从所述语音数据中提取的所述预设时序长度的语音特征，并对所述唇部图像特征和所述语音特征进行识别处理，获取音唇同步检测结果。
[0033]第三方面，本申请提供一种电子设备，包括：
[0034]处理器和存储器；
[0035]所述存储器用于存储所述处理器的可执行指令；
[0036]其中，所述处理器配置为经由执行所述可执行指令来执行如第一方面所述的方法。
[0037]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
[0038]本申请提供的一种活体检测方法、装置、电子设备及存储介质，通过采集待检测对象的人脸图像数据和语音数据；采用预训练的重建和分类神经网络模型，对人脸图像数据和语音数据进行识别处理，以获取伪造检测结果；并采用预训练的音唇同步检测模型，对人脸图像数据和语音数据进行识别处理，以获取音唇同步检测结果；采用唇语识别模型对人脸图像数据进行识别处理，获取唇语识别结果；并采用语音识别模型对语音数据进行识别处理，获取语音识别结果；最后采用预训练的集成检测模型，将伪造检测结果、音唇同步检测结果、唇语识别结果和语音识别结果进行拼接，并将拼接后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种活体检测方法，其特征在于，包括：采集待检测对象的人脸图像数据和语音数据；采用预训练的重建和分类神经网络模型，对所述人脸图像数据和语音数据进行识别处理，以获取伪造检测结果；并采用预训练的音唇同步检测模型，对所述人脸图像数据和语音数据进行识别处理，以获取音唇同步检测结果；采用唇语识别模型对所述人脸图像数据进行识别处理，获取唇语识别结果；并采用语音识别模型对所述语音数据进行识别处理，获取语音识别结果；采用预训练的集成检测模型，将所述伪造检测结果、所述音唇同步检测结果、所述唇语识别结果和所述语音识别结果进行拼接，并将拼接后的数据在所述预训练的集成检测模型的全连接层进行融合，以将融合后数据进行归一化处理后获取所述待检测对象的活体检测结果。2.根据权利要求1所述的方法，其特征在于，所述预训练的重建和分类神经网络模型的获取方式包括：将获取的已标记属性的真实人脸图像数据集与对应的真实语音数据集、真实人脸图像数据集与对应的伪造语音数据集、伪造人脸图像数据集与对应的伪造语音数据集，以及伪造人脸图像数据集与对应的真实语音数据集，分别进行特征级联后，获取对应的数据集以作为初始设置的重建和分类神经网络框架的训练集，并根据所述训练集，对初始设置的重建和分类神经网络框架进行训练，获取预训练的重建和分类神经网络模型。3.根据权利要求1或2所述的方法，其特征在于，所述采用语音识别模型对所述语音数据进行识别处理，获取语音识别结果，包括：对所述语音数据进行预处理，获取所述语音数据对应的语音特征向量；采用所述语音识别模型中的声学模型，对所述语音特征向量进行识别处理，获取声学模型得分；采用所述语音识别模型中的语言模型，对所述语音特征向量进行识别处理，获取语言模型得分；对所述声学模型得分和语言模型得分进行解码分析，获取所述语音识别结果。4.根据权利要求1或2所述的方法，其特征在于，所述采用预训练的音唇同步检测模型，对所述人脸图像数据和语音数据进行识别处理，以获取音唇同步检测结果，包括：采用所述预训练的音唇同步检测模型，分别从所述人脸图像数据中提取的预设时序长度的唇部图像特征，以及从所述语音数据中提取的所述预设时序长度的语音特征，并对所述唇部图像特征和所述语音特征进行识别处理，获取音唇同步检测结果。5.一种活体检测装置，其特征在于，包括：采集模块，用于采集待检测对象的人脸图像数据和语音数据；识别模块，用于采用预训练的重建和分类神经网络...

【专利技术属性】
技术研发人员：迟人俊，刘文，桑海岩，张锦锋，刘兆祥，廉士国，
申请(专利权)人：联通数字科技有限公司，
类型：发明
国别省市：