一种身份认证方法及装置制造方法及图纸

本发明专利技术提供了一种身份认证方法及装置，包括：获取用户在进行身份认证时包含人脸和语音的视频，对获取的视频进行视频片段切分，得到视频片段集；针对视频片段集中的每一视频片段，进行人脸序列提取，以及，进行语音频率特征序列提取；将视频片段对应的人脸序列以及语音频率特征序列进行拼接，得到拼接序列，依据各视频片段对应的拼接序列，得到拼接序列集；将拼接序列集输入预先训练好的身份综合认证模型，得到用户的身份特征综合向量，依据身份特征综合向量以及预先存储的所述用户的身份特征向量，对所述用户进行身份认证，所述身份特征综合向量表征人脸序列身份、语音身份、人脸序列与语音频率特征序列的相关性。可以提高身份认证的安全性。份认证的安全性。份认证的安全性。

【技术实现步骤摘要】
一种身份认证方法及装置


[0001]本专利技术涉及身份认证
，具体而言，涉及一种身份认证方法及装置。

技术介绍

[0002]随着移动互联网的日益普及以及生物特征识别技术的不断发展与成熟，以生物特征识别作为身份验证入口的方式广泛应用在人们的日常生活中。其中，由于人脸图像和语音信号可以使用手机或网络摄像头直接采集，使得身份验证较为便捷，成为生物特征识别中最为常用的两种身份验证手段。
[0003]在进行人脸图像和语音信号识别时，需要预先基于生物特征识别算法构建用户人脸和声纹识别的深度神经网络模型，通过借助生物特征识别算法强大的学习和表达能力，将输入的人脸图像或语音信号映射为可表征身份的身份特征向量，最后基于身份特征向量之间的余弦距离或欧氏距离进行身份认证。但该利用人脸图像和语音信号进行身份认证的方法，深度神经网络模型基于人脸图像获取人脸对应的人脸特征向量，计算与预存的人脸向量的余弦距离，以及，基于语音信号获取语音对应的语音特征向量，计算与预存的语音向量的余弦距离，基于两者余弦距离的计算结果进行身份认证，由于人脸图像或语音信号相对容易伪造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种身份认证方法，其特征在于，包括：获取用户在进行身份认证时包含人脸和语音的视频，对获取的视频进行视频片段切分，得到视频片段集；针对视频片段集中的每一视频片段，进行人脸序列提取，以及，进行语音频率特征序列提取；将视频片段对应的人脸序列以及语音频率特征序列进行拼接，得到拼接序列，依据各视频片段对应的拼接序列，得到拼接序列集；将拼接序列集输入预先训练好的身份综合认证模型，得到所述用户的身份特征综合向量，依据所述身份特征综合向量以及预先存储的所述用户的身份特征向量，对所述用户进行身份认证，所述身份特征综合向量表征人脸序列身份、语音身份、人脸序列与语音频率特征序列的相关性。2.根据权利要求1所述的方法，其特征在于，所述进行人脸序列提取，包括：以预设的第三时长为时间间隔，对视频片段进行抽取，得到图像帧序列，其中，视频片段的时长为第三时长的整数倍；针对图像帧序列中的每一图像帧，对该图像帧进行人脸检测、关键点检测、人脸对齐处理，得到人脸帧，依据各图像帧对应的人脸帧，生成人脸序列。3.根据权利要求1所述的方法，其特征在于，所述进行语音频率特征序列提取，包括：以预设的第四时长为时间间隔，对视频片段进行分割，得到语音帧序列；针对语音帧序列中的每一语音帧，对该语音帧进行语音频率特征提取，依据各时序语音帧对应的语音频率特征，生成语音频率特征序列。4.根据权利要求1所述的方法，其特征在于，所述依据所述身份特征综合向量以及预先存储的所述用户的身份特征向量，对所述用户进行身份认证，包括：计算所述身份特征综合向量与所述身份特征向量的相似度，若计算的相似度大于预先设置的相似度阈值，确认所述用户的身份认证通过。5.根据权利要求1至4任一项所述的方法，其特征在于，所述身份综合认证模型依据如下步骤训练得到：获取包含样本用户的人脸和语音的样本视频，针对每一样本用户，对该样本用户的样本视频进行样本视频片段切分，得到样本视频片段集；针对样本视频片段集中的每一样本视频片段，进行人脸样本序列提取，以及，进行语音频率特征样本序列提取；依据各样本视频片段集中样本视频片段对应的人脸序列以及语音频率特征序列，构造样本训练数据，为样本训练数据分别标记人脸序列身份标签、语音身份标签、人脸序列与语音频率特征序列的相关性标签；针对每一样本训练数据，将该样本训练数据输入多分支结构的神经网络模型，得到多分支结构的神经网络模型输出的综合身份特征向量，并依据综合身份特征向量，分别计算得到人脸分类、声纹分类和相关性分类；基于样本训练数据的人脸分类以及人脸序列身份标签、声纹分类以及语音身份标签、相关性分类以...

【专利技术属性】
技术研发人员：宋雪，杨汀汀，董未名，芦桂秋，
申请(专利权)人：北京快联科技有限公司，
类型：发明
国别省市：