基于人脸识别和声纹识别的交互式认证系统及方法技术方案

本发明专利技术涉及认证技术。本发明专利技术是要解决现有人脸识别认证其检测结果易被冒名顶替的问题，提供了一种基于人脸识别和声纹识别的交互式认证系统及方法，其技术方案可概括为：基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其中，终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。本发明专利技术的有益效果是，提升安全性，适用于认证系统。

Interactive face recognition and authentication system and method based on voiceprint recognition

The invention relates to authentication technology. The present invention is to solve the existing face recognition authentication results easy to be an impostor, provides an interactive authentication system and voice recognition and face recognition method based on the technical scheme as follows: interactive face recognition and authentication system based on voiceprint recognition, including the terminal and the server terminal and the server through the network connection the terminal is used for acquiring voice, video and audio data by detecting face to collect user input the user sends it to the server, and the server sends to the display to display a message; the server for user parameters of facial features and user, voiceprint feature vector matching, and the results of voiceprint recognition and face recognition results are set to take the intersection, if the intersection of only one result, that proved to be successful, return to the terminal test Certificate success information. The invention has the beneficial effect of improving security and being applicable to an authentication system.

【技术实现步骤摘要】
基于人脸识别和声纹识别的交互式认证系统及方法
本专利技术涉及认证技术，特别涉及人脸识别及声纹识别的认证技术。
技术介绍
随着互联网+时代的来临，网络化管理、无纸化办公及电子交易等已经渗透于日常生活的各个部位。虚拟生活和虚拟市场等逐渐成为上班族购物休闲的主要渠道，但互联网在方便人们生活的同时，它也是一把双刃剑，因为一切活动或者交易都在虚拟的网络中进行，没有人与人之间直接的接触，甚至都无须有文字的交流，彼此的信任和凭证都依靠口令、密钥或者短信验证码去实现，而互联网是一个开放网络、一个平等的平台，同时它也是一个不受控制的孩子。凡事在网络中传输的东西都有可能被人窃取，网民平时为了便于记忆方便使用，通常是一个密钥，处处使用，可使用的平台的好坏与安全性却是千差万别，可谓是一处被泄漏，处处被攻破，目前逐渐提出用手机随机验证码来取代传统的固定密钥，然后据统计手机却是最易遗失的个人财产之一。硬件技术的发展，智能手机、个人电脑的普及，近来生物特征识别技术成为人们日益关注的焦点，生物特征识别技术通过人体的生理特征或行为特征来进行合法身份的认证，比如说指纹、虹膜、面部图像识别及脱氧核糖核酸(DNA)排序匹配识别等。其中，指纹识别，因为容易被伪造，只需要简单的从被伪造者日常生活用品中获取对方的指纹，就可以进行指纹的伪造，所以指纹识别适用领域也只是安全程度要求不高的日常考勤记录中。而虹膜识别技术是通过摄像器材采集识别者位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹及隐窝等细节特征，所以对摄像硬件设备要求比较高，不易于大规模商用或者向普通用户推广。单一的图像识别验证(人脸识别验证)，也容易用静态图像(照片)来冒名顶替，而脱氧核糖核酸(DNA)排序匹配识别的门槛较高，需要人体的直接接触所以并不适合“短、平、快”的互联网平台。人的声音富含了多个维度的信息，如说话内容、说话语气及声音特征等，声纹识别是一种通过人的声音特征来辨别不同说话人的技术，不同的声道结构决定了声纹的唯一性。
技术实现思路
本专利技术的目的是要解决目前人脸识别认证其检测结果易被冒名顶替的问题，提供了一种基于人脸识别和声纹识别的交互式认证系统及方法。本专利技术解决其技术问题，采用的技术方案是，基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其特征在于，所述终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；所述服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。进一步的，所述进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配是指：服务器从接收到的被检测用户的面部视频获取用户面部特征参数，将获取的用户面部特征参数与服务器预先存储的所有用户面部特征参数进行匹配，匹配成功则得到人脸识别结果，然后向终端发送预设声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，匹配成功则提取该语音音频数据中的声纹特征向量，将其与服务器预先存储的所有用户声纹特征向量进行匹配，匹配成功则得到声纹识别结果。具体的，所述终端包括显示模块、人脸视频采集模块、语音采集模块及第一通讯模块，服务器包括人脸识别模块、语音识别模块、验证模块、数据库及第二通讯模块，所述显示模块、人脸视频采集模块、语音采集模块分别与第一通讯模块连接，人脸识别模块、语音识别模块、验证模块分别与第二通讯模块连接，人脸识别模块、语音识别模块分别与验证模块连接，数据库模块分别与人脸识别模块、语音识别模块及验证模块连接，第一通讯模块与第二通讯模块通过网络连接，所述人脸视频采集模块用于获取被检测用户的面部视频将其通过第一通讯模块及第二通讯模块发送至人脸识别模块；所述语音采集模块用于采集用户输入的语音音频数据将其通过第一通讯模块及第二通讯模块发送至语音识别模块；所述显示模块用于显示服务器发送来的显示提示信息，包括人脸识别失败信息、声音口令输入不正确信息、验证失败信息、声音口令文本及验证成功信息；所述第一通讯模块及第二通讯模块用于终端与服务器之间的信息交互；所述人脸识别模块用于接收到被检测用户的面部视频后对其进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为人脸识别结果，若匹配失败则将返回终端人脸识别失败信息；所述语音识别模块用于在接收到验证模块发送来的语音识别请求后，向终端发送预设声音口令文本，令终端通过显示模块显示声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，若匹配成功则提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为声纹识别结果；所述验证模块用于接收到人脸识别模块发送来的匹配成功结果后，向语音识别模块发送语音识别请求，在接收到语音识别模块发送来的匹配成功结果后，将其与人脸识别模块发送来的匹配成功结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，向语音识别模块重新发送语音识别请求，若此时已发送过预设数量的语音识别请求则认为本次用户验证失败，返回终端验证失败信息。再进一步的，所述人脸视频采集模块为摄像模块，所述语音采集模块为拾音器。具体的，所述人脸识别模块中设置有图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。再进一步的，所述人脸识别模块的匹配成功结果中包括用户信息，所述用户信息中包括用户年龄信息。具体的，所述验证模块向语音识别模块发送的语音识别请求中，包含用户年龄信息或请求发送注册时的声音口令文本。再进一步的，所述验证模块向语音识别模块发送的语音识别请求中，若此次是第预设数量次向语音识别模块发送语音识别请求，则该语音识别请求中包括请求发送注册时的声音口令文本。具体的，所述语音识别模块中，预设声音口令文本为一段易读文字或一段数字或一段新闻类文字或与用户信息对应的注册时的声音口令文本。再进一步的，所述语音识别模块中，在向终端发送预设声音口令文本前还根据语音识别请求进行判断，若语音识别请求中有请求发送注册时的声音口令文本则语音识别模块选择的预设声音口令文本为与用户信息对应的注册时的声音口令文本，若语音识别请求中有用户年龄信息，则根据用户年龄信息判断用户年龄，若用户为老年人或未成年人则选择的预设声音口令本文档来自技高网...

【技术保护点】
基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其特征在于，所述终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；所述服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。

【技术特征摘要】
1.基于人脸识别和声纹识别的交互式认证系统，包括终端及服务器，终端与服务器通过网络连接，其特征在于，所述终端用于获取被检测用户的面部视频及采集用户输入的语音音频数据将其发送至服务器，且显示服务器发送来的显示提示信息；所述服务器用于进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配，并将声纹识别结果与人脸识别结果进行集合取交集，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息。2.如权利要求1所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述进行用户面部特征参数进行匹配和用户声纹特征向量进行匹配是指：服务器从接收到的被检测用户的面部视频获取用户面部特征参数，将获取的用户面部特征参数与服务器预先存储的所有用户面部特征参数进行匹配，匹配成功则得到人脸识别结果，然后向终端发送预设声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，匹配成功则提取该语音音频数据中的声纹特征向量，将其与服务器预先存储的所有用户声纹特征向量进行匹配，匹配成功则得到声纹识别结果。3.如权利要求2所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述终端包括显示模块、人脸视频采集模块、语音采集模块及第一通讯模块，服务器包括人脸识别模块、语音识别模块、验证模块、数据库及第二通讯模块，所述显示模块、人脸视频采集模块、语音采集模块分别与第一通讯模块连接，人脸识别模块、语音识别模块、验证模块分别与第二通讯模块连接，人脸识别模块、语音识别模块分别与验证模块连接，数据库模块分别与人脸识别模块、语音识别模块及验证模块连接，第一通讯模块与第二通讯模块通过网络连接，所述人脸视频采集模块用于获取被检测用户的面部视频将其通过第一通讯模块及第二通讯模块发送至人脸识别模块；所述语音采集模块用于采集用户输入的语音音频数据将其通过第一通讯模块及第二通讯模块发送至语音识别模块；所述显示模块用于显示服务器发送来的显示提示信息，包括人脸识别失败信息、声音口令输入不正确信息、验证失败信息、声音口令文本及验证成功信息；所述第一通讯模块及第二通讯模块用于终端与服务器之间的信息交互；所述人脸识别模块用于接收到被检测用户的面部视频后对其进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为人脸识别结果，若匹配失败则将返回终端人脸识别失败信息；所述语音识别模块用于在接收到验证模块发送来的语音识别请求后，向终端发送预设声音口令文本，令终端通过显示模块显示声音口令文本，在接收到终端的语音采集模块发送来的语音音频数据后，将其转换为文本内容，并将该文本内容与之前所发送的声音口令文本进行匹配，若匹配失败则认为识别失败，返回终端声音口令输入不正确信息，若匹配成功则提取该语音音频数据中的声纹特征向量，将其与数据库中所存储的所有用户声纹特征向量进行匹配，若匹配失败则认为识别失败，返回终端语音识别失败信息，若匹配成功则将匹配成功结果发送给验证模块，该匹配成功结果即为声纹识别结果；所述验证模块用于接收到人脸识别模块发送来的匹配成功结果后，向语音识别模块发送语音识别请求，在接收到语音识别模块发送来的匹配成功结果后，将其与人脸识别模块发送来的匹配成功结果进行集合取交集，若交集为空，则认为本次用户验证失败，返回终端验证失败信息，若交集中只有一个结果，则认为验证成功，返回终端验证成功信息，若交集中有不止一个结果，则认为声纹特征不明显，向语音识别模块重新发送语音识别请求，若此时已发送过预设数量的语音识别请求则认为本次用户验证失败，返回终端验证失败信息。4.如权利要求3所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述人脸识别模块中设置有图像相似度预设值，在选取用户面部特征参数中的关键特征参数与数据库中所存储的用户面部特征参数进行匹配时，若匹配出的结果中各用户面部特征参数相似度阈值小于图像相似度预设值时，判定为匹配成功，否则判定为匹配失败。5.如权利要求3所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述人脸识别模块的匹配成功结果中包括用户信息，所述用户信息中包括用户年龄信息。6.如权利要求5所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述验证模块向语音识别模块发送的语音识别请求中，包含用户年龄信息或请求发送注册时的声音口令文本。7.如权利要求6所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述验证模块向语音识别模块发送的语音识别请求中，若此次是第预设数量次向语音识别模块发送语音识别请求，则该语音识别请求中包括请求发送注册时的声音口令文本。8.如权利要求6所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述语音识别模块中，预设声音口令文本为一段易读文字或一段数字或一段新闻类文字或与用户信息对应的注册时的声音口令文本。9.如权利要求8所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述语音识别模块中，在向终端发送预设声音口令文本前还根据语音识别请求进行判断，若语音识别请求中有请求发送注册时的声音口令文本则语音识别模块选择的预设声音口令文本为与用户信息对应的注册时的声音口令文本，若语音识别请求中有用户年龄信息，则根据用户年龄信息判断用户年龄，若用户为老年人或未成年人则选择的预设声音口令文本为一段易读文字或一段数字，否则选择的预设声音口令文本为一段新闻类文字。10.如权利要求3-9任一项所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，所述语音识别模块中，在向终端发送预设声音口令文本后，还开始计时，判断是否在预设时间内接收到终端发送来的语音音频数据，若计时时间达到预设时间仍未收到终端发送来的语音音频数据，则更换预设声音口令文本并重新向终端发送更换后的预设声音口令文本，且重新开始计时，回到判断是否在预设时间内接收到终端发送来的语音音频数据那一步。11.基于人脸识别和声纹识别的交互式认证方法，应用于如权利要求1-10任一项所述的基于人脸识别和声纹识别的交互式认证系统，其特征在于，包括以下步骤；步骤1、用户采用终端向服务器进行用户注册，服务器在数据库中存储用户信息、该用户面部特征参数及该用户声纹特征向量；步骤2、认证时，终端获取被检测用户的面部视频并发送至服务器；步骤3、服务器对接收到被检测用户的面部视频进行过滤及去噪，并提取关键帧，根据关键帧获取用户面部特征参数，选取其中的关键特征参数与数据库中所存储的所有用户面部特征参数进行匹配，若匹配成功则得到人脸识别...

【专利技术属性】
技术研发人员：刘东，李晓冬，杨震泉，彭世伟，孙云松，孟庆康，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51