基于语音特征和人脸识别的门禁系统的控制方法技术方案

本发明专利技术公开了一种基于语音特征和人脸识别的门禁系统的控制方法，门禁系统包括用于拾取人的声音信号的麦克风和用于拍摄人脸图像的摄像头，以及计算机和微控制器模块，麦克风和摄像头均与计算机连接，计算上接有主机蓝牙模块，微控制器模块上接有用于与主机蓝牙模块无线通信的从机蓝牙模块，微控制器模块的输出端接有用于驱动门禁中电子锁开关的继电器电路模块。其控制方法包括步骤：一、声音信号与人脸图像的采集及传输；二、人脸识别；三、声音信号预处理；四、声纹识别；五、语义识别；六、根据识别结果控制门禁。本发明专利技术融合了人脸识别、声纹识别和语义识别为一体，设计合理，实现方便，鲁棒性很强，识别率较高，实用性强，推广应用价值高。

【技术实现步骤摘要】
基于语音特征和人脸识别的门禁系统及其控制方法
本专利技术属于智能控制
，具体涉及一种基于语音特征和人脸识别的门禁系统及其控制方法。
技术介绍
随着人们生活水平的不断提高,人们对公共场所和家居的安全智能提出了更高的要求,安防问题己成为人们逐渐增加关注的焦点,安防设备越来越受到人们的重视，各种各样门禁锁层出不穷，专利技术一种先进技术的门禁系统对智能化场所是非常有必要的。与此同时,生物识别技术也取得了巨大的发展,例如语音识别、指纹识别、虹膜识别和人脸识别都己经广泛应用于人们的生活中。其中人脸识别因为其使用方便、不易仿冒、识别率高等特点被广泛应用于智能门禁系统。但是，单一生物识别技术由于复杂的环境可能会出现识别错误或识别不准确，具体表现为：(1)门禁声纹识别技术是一种生物认证的方法，从说话人能反映自己生理和行为个性特征的语音参数中提取出说话人是谁的信息的过程；但是由于以下几个声纹识别的难点问题可能会出现误判：A、可靠的语音特征参数；B、语音信号的不稳定性；C、语音易被模仿；D、实际环境复杂；(2)语音语义识别由于感冒，环境噪声等影响语义的识别精度；(3)人脸识别技术已比较成熟，取得较大的进步，但当人们在化妆或环境光照变换较大的情况下，则人脸识别的误判率较高。为了解决以上问题，更好地将生物识别技术应用于智能门禁系统中，提高门禁识别的可靠性，专家学者们进行了大量研究。例如，(1)申请号为200310118507.9的中国专利公开了一种结合语义和声纹信息的说话人身份确认系统，采用说话人的声纹特征通过GMM模型建立声纹模型，通过电话或录音设备对声音进行预处理，采用特征提取、声学模型建模、基于语义的说话人确认、文本有关和文本无光声纹确认系统等，文本有关的声纹确认系统是基于HMM声学建模的；其存在的缺点是：GMM，HMM模型，由于该模型对语音大数据的建模能力不是很好，对噪声的鲁棒性也比较差。(2)申请号为201410198929.X的中国专利技术专利公开了一种基于语音及人脸识别的门禁道闸管理方法及装置，通过智能终端采集当前用户的人脸生物特征数据，并使所述文字密码与当前人脸生物特征数据构成一一对应的关系，判断所述文字信息与预设的文字密码是否一致，若一致则开门，若不一致则识别错误，判断所述发出解密语音信号的用户的人脸生物特征数据与预设的人脸生物特征数据是否一致，如是，所述门禁道闸管理系统发出驱动信号控制门禁道闸开启或关闭；否则，识别错误；其存在的缺点是：从人脸识别角度来说，由于周围环境，即光照和日光灯等因素的影响，与预设的人脸生物特征变化可能较大，识别率不高；另一方面，文字密码很容易被其他说话人用相同的问题密码。(3)申请号为201510199387.2的中国专利技术专利公开了一种基于语音识别、面部识别和指纹识别的门禁控制方法，语音提取模块对即时语音信息进行特征提取，人脸提取模块对即时人脸信息进行特征提取，指纹提取模块对即时指纹信息进行特征提取；其存在的缺点是：需要对语音和人脸特征提取。(4)申请号为201510903466.7的中国专利公开了一种基于FPGA的人脸和语音及重量复合识别门禁系统，人脸采集器、语音采集器、重量采集器将各自采集的人脸图像信息、语音信息和重量范围信息传输至FPGA数据处理模块，然后通过FPGA数据处理模块传输至数据存取模块保存或通过FPGA数据处理模块将采集到的信息与数据存取模块内保存的信息进行对比；当三种身份识别都为“一致”时，最终识别结果才为“通过”，识别方式为：采集本人的人脸图像信息、语音信息、重量范围信息等存入数据存取模块，作为以后身份识别时的样本匹配数据；其存在的缺点是：选取库里的样本数据，以及周围的环境因素等对识别精度都有很大的影响。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种结构简单、设计合理、实现方便、实用性强、推广应用价值高的基于语音特征和人脸识别的门禁系统。为解决上述技术问题，本专利技术采用的技术方案是：一种基于语音特征和人脸识别的门禁系统，其特征在于：包括用于拾取人的声音信号的麦克风和用于拍摄人脸图像的摄像头，以及用于处理采集的信号得到判别结果的计算机和用于控制门禁中电子锁开关的微控制器模块，所述麦克风和摄像头均与计算机连接，所述计算上接有主机蓝牙模块，所述微控制器模块上接有用于与主机蓝牙模块无线通信的从机蓝牙模块，所述微控制器模块的输出端接有用于驱动门禁中电子锁开关的继电器电路模块。上述的一种基于语音特征和人脸识别的门禁系统，其特征在于：所述微控制器模块包括单片机STC89C52。上述的一种基于语音特征和人脸识别的门禁系统，其特征在于：所述主机蓝牙模块为HC-06主机蓝牙模块，所述HC-06主机蓝牙模块与计算机的USB接口连接；所述从机蓝牙模块为HC-06从机蓝牙模块，所述HC-06从机蓝牙模块的信号接收端引脚RXD与单片机STC89C52的串口发送端引脚TXD连接，所述HC-06从机蓝牙模块的信号发送端引脚TXD与单片机STC89C52的串口接收端引脚RXD连接。上述的一种基于语音特征和人脸识别的门禁系统，其特征在于：所述继电器电路模块包括三极管Q1、继电器JDQ、电阻R1和二极管D1，所述三极管Q1的基级通过电阻R1与单片机STC89C52的第21引脚连接，所述三极管Q1的集电极接地，所述三极管Q1的发射极与继电器JDQ的线圈的一端和二极管D1的阳极连接，所述继电器JDQ的线圈的另一端和二极管D1的阴极均与外部电源模块的输出端VCC连接，门禁中电子锁接在所述继电器JDQ的常闭端。本专利技术还公开了一种方法步骤简单，融合人脸识别、声纹识别和语义识别为一体，鲁棒性很强，识别率较高的基于语音特征和人脸识别的门禁控制方法，其特征在于，该方法包括以下步骤：步骤一、声音信号与人脸图像的采集及传输：人对着麦克风说话时，所述麦克风将其拾取到的人的声音信号传输给计算机；同时，所述摄像头采集人脸图像并将其拍摄到的人脸图像传输给计算机；所述计算机采集声音信号和人脸图像；步骤二、人脸识别，具体过程为：步骤201、所述计算机调用OpenCV库函数对人脸图像进行分析处理，初步识别人脸图像，当判断为是人脸图像时，执行步骤202；当判断为非人脸图像时，返回步骤一重新采集人脸图像；步骤202、所述计算机调用支持向量机分类模块对人脸图像进行二分类，分为是人脸图像和非人脸图像两类，当判断为是人脸图像时，执行步骤203；当判断为非人脸图像时，返回步骤一重新采集人脸图像；步骤203、所述计算机将人脸图像正规化为164×164个像素大小；步骤204、所述计算机将人脸图像输入预先构建的Tensorflow深度学习人脸识别网络中，得到人脸识别的结果Rface＝j；其中，j表示人脸识别结果为第j个人，j的取值为非零自然数；步骤三、声音信号预处理：所述计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；步骤四、声纹识别：所述计算机将步骤三得到的语谱图输入预先构建的Tensorflow深度学习声纹识别网络中，得到声纹识别的结果Rvp＝i；其中，i表示声纹识别结果为第i个人，i的取值为非零自然数；步骤五、语义识别：所述计算机将步骤三得到的语谱图输入预先构建的Tensorflow深度学习语义识别网本文档来自技高网...

【技术保护点】
一种基于语音特征和人脸识别的门禁系统，其特征在于：包括用于拾取人的声音信号的麦克风(2)和用于拍摄人脸图像的摄像头(3)，以及用于处理采集的信号得到判别结果的计算机(4)和用于控制门禁中电子锁开关的微控制器模块(1)，所述麦克风(2)和摄像头(3)均与计算机(4)连接，所述计算上接有主机蓝牙模块(5)，所述微控制器模块(1)上接有用于与主机蓝牙模块(5)无线通信的从机蓝牙模块(6)，所述微控制器模块(1)的输出端接有用于驱动门禁中电子锁开关的继电器电路模块(7)。

【技术特征摘要】
1.一种基于语音特征和人脸识别的门禁系统，其特征在于：包括用于拾取人的声音信号的麦克风(2)和用于拍摄人脸图像的摄像头(3)，以及用于处理采集的信号得到判别结果的计算机(4)和用于控制门禁中电子锁开关的微控制器模块(1)，所述麦克风(2)和摄像头(3)均与计算机(4)连接，所述计算上接有主机蓝牙模块(5)，所述微控制器模块(1)上接有用于与主机蓝牙模块(5)无线通信的从机蓝牙模块(6)，所述微控制器模块(1)的输出端接有用于驱动门禁中电子锁开关的继电器电路模块(7)。2.按照权利要求1所述的一种基于语音特征和人脸识别的门禁系统，其特征在于：所述微控制器模块(1)包括单片机STC89C52。3.按照权利要求2所述的一种基于语音特征和人脸识别的门禁系统，其特征在于：所述主机蓝牙模块(5)为HC-06主机蓝牙模块，所述HC-06主机蓝牙模块与计算机(4)的USB接口连接；所述从机蓝牙模块(6)为HC-06从机蓝牙模块，所述HC-06从机蓝牙模块的信号接收端引脚RXD与单片机STC89C52的串口发送端引脚TXD连接，所述HC-06从机蓝牙模块的信号发送端引脚TXD与单片机STC89C52的串口接收端引脚RXD连接。4.按照权利要求2所述的一种基于语音特征和人脸识别的门禁系统，其特征在于：所述继电器电路模块(7)包括三极管Q1、继电器JDQ、电阻R1和二极管D1，所述三极管Q1的基级通过电阻R1与单片机STC89C52的第21引脚连接，所述三极管Q1的集电极接地，所述三极管Q1的发射极与继电器JDQ的线圈的一端和二极管D1的阳极连接，所述继电器JDQ的线圈的另一端和二极管D1的阴极均与外部电源模块的输出端VCC连接，门禁中电子锁接在所述继电器JDQ的常闭端。5.一种对如权利要求1所述基于语音特征和人脸识别的门禁系统进行控制的方法，其特征在于，该方法包括以下步骤：步骤一、声音信号与人脸图像的采集及传输：人对着麦克风(2)说话时，所述麦克风(2)将其拾取到的人的声音信号传输给计算机(4)；同时，所述摄像头(3)采集人脸图像并将其拍摄到的人脸图像传输给计算机(4)；所述计算机(4)采集声音信号和人脸图像；步骤二、人脸识别，具体过程为：步骤201、所述计算机(4)调用OpenCV库函数对人脸图像进行分析处理，初步识别人脸图像，当判断为是人脸图像时，执行步骤202；当判断为非人脸图像时，返回步骤一重新采集人脸图像；步骤202、所述计算机(4)调用支持向量机分类模块对人脸图像进行二分类，分为是人脸图像和非人脸图像两类，当判断为是人脸图像时，执行步骤203；当判断为非人脸图像时，返回步骤一重新采集人脸图像；步骤203、所述计算机(4)将人脸图像正规化为164×164个像素大小；步骤204、所述计算机(4)将人脸图像输入预先构建的Tensorflow深度学习人脸识别网络中，得到人脸识别的结果Rface＝j；其中，j表示人脸识别结果为第j个人，j的取值为非零自然数；步骤三、声音信号预处理：所述计算机(4)调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；步骤四、声纹识别：所述计算机(4)将步骤三得到的语谱图输入预先构建的Tensorflow深度学习声纹识别网络中，得到声纹识别的结果Rvp＝i；其中，i表示声纹识别结果为第i个人，i的取值为非零自然数；步骤五、语义识别：所述计算机(4)将步骤三得到的语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果Rse＝r；其中，r表示语义识别结果为第r种语义，r的取值为非零自然数；步骤六、根据识别结果控制门禁：所述计算机(4)先比较人脸识别与声纹识别的结果，当i≠j时，说明识别的结果表示不是同一个人，计算机(4)不输出门禁控制信号；当i＝j时，说明识别的结果表示是同一个人，计算机(4)再判断语义识别的结果r为0还是1，当语义识别的结果为0时，说明人需要进行开门动作，所述计算机(4)输出开门控制信号并通过主机蓝牙模块(5)发送出去；当语义识别的结果为1时，说明人需要进行关门动作，所述计算机(4)输出关门控制信号并通过主机蓝牙模块(5)发送出去；所述微控制器模块(1)通过从机蓝牙模块(6)接收到计算机(4)发送的开门控制信号或关门控制信号，并输出相应的控制...

【专利技术属性】
技术研发人员：秦学斌，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西,61