一种双模态身份认证方法、装置以及存储介质制造方法及图纸

本发明专利技术提供一种双模态身份认证方法、装置以及存储介质，属于图像处理技术领域，方法包括：S1：导入人脸图像和语音数据；S2：分别对各个人脸图像进行图片特征分析得到人脸特征向量；S3：分别对各个语音数据进行语音特征分析得到声纹特征向量；S4：构建训练模型，根据所有的人脸特征向量和所有的声纹特征向量对训练模型进行训练得到双模态身份认证模型；S5：导入待测人脸图像和待测语音数据，并通过双模态身份认证模型对待测人脸图像和待测语音数据进行身份认证得到身份认证结果。本发明专利技术能够对两种模态的特征信息进行互补，有效的弥补了单一模态生物认证技术容易遭受欺骗攻击和环境噪音等影响的不足，同时，进一步提高了识别准确率。确率。确率。

【技术实现步骤摘要】
一种双模态身份认证方法、装置以及存储介质


[0001]本专利技术主要涉及图像处理
，具体涉及一种双模态身份认证方法、装置以及存储介质。

技术介绍

[0002]虽然现有的人脸识别和语音识别技术已经非常成熟。但这类单模态的身份认证技术还是存在很多限制，比如人脸识别时容易受遮挡、角度、光照、姿态变化等影响，语音识别容易受周围环境噪声以及本人身体条件变化的影响，从而导致这些单模态身份认证技术在一些特定场景下识别效果还不够好。更具挑战性的是，现如今有许多针对人脸识别或声纹识别的欺骗干扰手段，一般的单模态身份认证方法又往往难以抵档住某些特殊攻击，一旦被非法分子攻击或假冒，容易对人们的生命财产安全造成严重损失。

技术实现思路

[0003]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种双模态身份认证方法、装置以及存储介质。
[0004]本专利技术解决上述技术问题的技术方案如下：一种双模态身份认证方法，包括如下步骤：
[0005]S1：导入多个训练数据，各个所述训练数据均包括人脸图像和语音数据；
[0006]S2：分别对各个所述训练数据中的人脸图像进行图片特征分析，得到人脸特征向量；
[0007]S3：分别对各个所述训练数据中语音数据进行语音特征分析，得到声纹特征向量；
[0008]S4：构建训练模型，根据所有的所述人脸特征向量和所有的所述声纹特征向量对所述训练模型进行训练，得到双模态身份认证模型；
[0009]S5：导入待认证数据，所述待认证数据包括待测人脸图像和待测语音数据，并通过所述双模态身份认证模型对所述待测人脸图像和所述待测语音数据进行身份认证，得到身份认证结果。
[0010]本专利技术解决上述技术问题的另一技术方案如下：一种双模态身份认证装置，包括：
[0011]数据导入模块，用于导入多个训练数据，各个所述训练数据均包括人脸图像和语音数据；
[0012]图片特征分析模块，用于分别对各个所述训练数据中的人脸图像进行图片特征分析，得到人脸特征向量；
[0013]语音特征分析模块，用于分别对各个所述训练数据中语音数据进行语音特征分析，得到声纹特征向量；
[0014]模型训练模块，用于构建训练模型，根据所有的所述人脸特征向量和所有的所述声纹特征向量对所述训练模型进行训练，得到双模态身份认证模型；
[0015]身份认证结果获得模块，用于导入待认证数据，所述待认证数据包括待测人脸图
像和待测语音数据，并通过所述双模态身份认证模型对所述待测人脸图像和所述待测语音数据进行身份认证，得到身份认证结果。
[0016]本专利技术解决上述技术问题的另一技术方案如下：一种双模态身份认证装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的双模态身份认证方法。
[0017]本专利技术解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的双模态身份认证方法。
[0018]本专利技术的有益效果是：通过分别对各个训练数据中的人脸图像的图片特征分析得到人脸特征向量，分别对各个训练数据中语音数据的语音特征分析得到声纹特征向量，根据所有的人脸特征向量和所有的声纹特征向量对训练模型的训练得到双模态身份认证模型，通过双模态身份认证模型对待测人脸图像和待测语音数据的身份认证得到身份认证结果，能够对两种模态的特征信息进行互补，有效的弥补了单一模态生物认证技术容易遭受欺骗攻击和环境噪音等影响的不足，同时，进一步提高了识别准确率。
附图说明
[0019]图1为本专利技术实施例提供的一种双模态身份认证方法的流程示意图；
[0020]图2为本专利技术实施例提供的一种双模态身份认证装置的模块框图。
具体实施方式
[0021]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0022]图1为本专利技术实施例提供的一种双模态身份认证方法的流程示意图。
[0023]如图1所示，一种双模态身份认证方法，包括如下步骤：
[0024]S1：导入多个训练数据，各个所述训练数据均包括人脸图像和语音数据；
[0025]S2：分别对各个所述训练数据中的人脸图像进行图片特征分析，得到人脸特征向量；
[0026]S3：分别对各个所述训练数据中语音数据进行语音特征分析，得到声纹特征向量；
[0027]S4：构建训练模型，根据所有的所述人脸特征向量和所有的所述声纹特征向量对所述训练模型进行训练，得到双模态身份认证模型；
[0028]S5：导入待认证数据，所述待认证数据包括待测人脸图像和待测语音数据，并通过所述双模态身份认证模型对所述待测人脸图像和所述待测语音数据进行身份认证，得到身份认证结果。
[0029]应理解地，所述人脸图像可以为具有人脸图像的图片数据，所述语音数据可以为说话语音的语音数据。
[0030]应理解地，所述人脸特征向量和所述声纹特征向量分别表征人脸和声纹特征信息。
[0031]上述实施例中，通过分别对各个训练数据中的人脸图像的图片特征分析得到人脸特征向量，分别对各个训练数据中语音数据的语音特征分析得到声纹特征向量，根据所有
的人脸特征向量和所有的声纹特征向量对训练模型的训练得到双模态身份认证模型，通过双模态身份认证模型对待测人脸图像和待测语音数据的身份认证得到身份认证结果，能够对两种模态的特征信息进行互补，有效的弥补了单一模态生物认证技术容易遭受欺骗攻击和环境噪音等影响的不足，同时，进一步提高了识别准确率。
[0032]可选地，作为本专利技术的一个实施例，所述步骤S2过程包括：
[0033]基于MTCNN模型分别对各个所述训练数据中的人脸图像进行人脸检测，得到与各个所述人脸图像对应的检测后人脸图片；
[0034]基于FaceNet模型分别对各个所述检测后人脸图片进行图片的特征提取，得到与各个所述人脸图像对应的人脸特征向量。
[0035]应理解地，所述MTCNN模型全称为多任务卷积神经网络(Tutil
‑
Task CNN)，由三个级联的轻量级CNN组成：PNet，RNet和Onet。图像数据先后经这三个网络的处理，最终输出人脸检测和关键点检测结果。
[0036]应理解地，所述FaceNet模型是一种人脸识别模型，其主要思想是把人脸图像映射到一个多维空间，通过空间距离表示人脸的相似度；同个人脸图像的空间距离比较小，不同人脸图像的空间距离比较大；这样通过人脸图像的空间映射就可以实现人脸识别。
[0037]应理解地，所述FaceNet模型也可以更换为InsightFace等其他人脸识别模型。
[0038]具体地，对包含人脸图像的图片(即所述人脸图像)先通过现有的所述MTCNN模型进行人脸检测和对齐，然后送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双模态身份认证方法，其特征在于，包括如下步骤：S1：导入多个训练数据，各个所述训练数据均包括人脸图像和语音数据；S2：分别对各个所述训练数据中的人脸图像进行图片特征分析，得到人脸特征向量；S3：分别对各个所述训练数据中的语音数据进行语音特征分析，得到声纹特征向量；S4：构建训练模型，根据所有的所述人脸特征向量和所有的所述声纹特征向量对所述训练模型进行训练，得到双模态身份认证模型；S5：导入待认证数据，所述待认证数据包括待测人脸图像和待测语音数据，并通过所述双模态身份认证模型对所述待测人脸图像和所述待测语音数据进行身份认证，得到身份认证结果。2.根据权利要求1所述的双模态身份认证方法，其特征在于，所述步骤S2过程包括：基于MTCNN模型分别对各个所述训练数据中的人脸图像进行人脸检测，得到与各个所述人脸图像对应的检测后人脸图片；基于FaceNet模型分别对各个所述检测后人脸图片进行图片的特征提取，得到与各个所述人脸图像对应的人脸特征向量。3.根据权利要求2所述的双模态身份认证方法，其特征在于，所述步骤S3的过程包括：分别对各个所述训练数据中的语音数据进行预处理，得到与各个所述人脸图像对应的处理后语音数据；基于x
‑
vector模型分别对各个所述处理后语音数据进行语音特征提取，得到与各个所述人脸图像对应的声纹特征向量。4.根据权利要求3所述的双模态身份认证方法，其特征在于，所述步骤S4的过程包括：S41：构建训练模型，分别对各个所述人脸特征向量以及与各个所述人脸图像对应的声纹特征向量进行融合分析，得到与各个所述人脸图像对应的全局特征向量；S42：分别对各个所述全局特征向量进行归一化处理，得到与各个所述人脸图像对应的预测值；S43：导入与各个所述人脸图像对应的图片真实值，并分别计算各个所述预测值以及与各个所述人脸图像对应的图片真实值的损失值，得到与各个所述人脸图像对应的损失值；S44：利用反向传播机制算法、梯度下降算法以及多个所述损失值对所述训练模型进行参数更新，并返回步骤S1，直至达到预设迭代次数，最终得到双模态身份认证模型。5.根据权利要求4所述的双模态身份认证方法，其特征在于，所述S41中，分别对各个所述人脸特征向量以及与各个所述人脸图像对应的声纹特征向量进行融合分析，得到与各个所述人脸图像对应的全局特征向量的过程包括：通过第一式分别对各个所述人脸特征向量进行人脸隐特征向量的计算，得到与各个所述人脸图像对应的人脸隐特征向量，所述第一式为：h
f
＝tanh(w
f
e
f
+b
f
)，其中，为人脸隐特征向量，tanh为tanh激活函数，为对人脸特征向量e
f
进行变换的可学习的权重矩阵，b
f
为人脸隐特征向量e
f
的偏置项，e
f
为人脸特征向量；通过第二式分别对各个所述声纹特征向量进行声纹隐特征向量的计算，得到与各个所述人脸图像对应的声纹隐特征向量，所述第二式为：
h
v
＝tanh(w
v
e
v
+b
v
)，...

【专利技术属性】
技术研发人员：蔡晓东，周青松，
申请(专利权)人：桂林远望智能通信科技有限公司，
类型：发明
国别省市：