一种基于物联网的语音结合人脸识别的门禁系统技术方案

本发明专利技术公开了一种基于物联网的语音结合人脸识别的门禁系统，属于数据处理技术领域，门禁系统包括：提取模块，用于提取待验证人员的图像特征；提取模块，还用于提取待验证人员的声纹特征；融合模块，用于对归一化处理后的图像特征与声纹特征进行特征融合，得到融合特征；验证模块，用于根据融合特征，通过卷积神经网络，对待验证人员的身份进行验证，得到身份可信度；当身份可信度小于第一预设可信度时，拒绝解锁门禁；当身份可信度介于第一预设可信度与第二预设可信度之间时，通过中心云端向管理端发送解锁请求，以根据管理端的指令决定是否解锁门禁；当身份可信度大于第二预设可信度时，直接解锁门禁，同时向中心云端发送访客记录

【技术实现步骤摘要】
一种基于物联网的语音结合人脸识别的门禁系统


[0001]本专利技术属于数据处理
，具体涉及一种基于物联网的语音结合人脸识别的门禁系统
。

技术介绍

[0002]基于物联网的智能门禁系统作为一种安全管理和访问控制的技术，由于可以兼顾安全性与便捷性，得到了快速地发展
。
[0003]然而当前的基于物联网的智能门禁系统实行计算与操作分离的构建方式，门禁系统采集到人脸图像或者语音数据之后，需要统一发给中心云端进行处理和计算，由中心云端根据处理结果决定是否解锁门禁
。
一方面，大量的原始数据在传输到中心云端过程中对于网络带宽与存储容量造成负担，当网络延迟或者网络不稳定时，门禁解锁会发生延迟，难以及时解锁，同时，在数据在传输过程中还可能被盗取，存在安全隐患
。
[0004]并且，当前的智能门禁系统主要选取人脸识别或者声纹识别中的一种进行身份验证，即使同时具备两种功能，两种技术也是分别独立地进行验证，即根据采集人脸图像进行人脸识别，根据采集的语音数据进行声纹识别，独立地选取人脸识别或者声纹识别中的一种技术进行身份验证，容易发生漏检
、
误检的情况
。
[0005]专利技术课程
[0006]为了解决门禁系统采集到人脸图像或者语音数据之后，需要统一发给中心云端进行处理和计算，由中心云端根据处理结果决定是否解锁门禁
。
一方面，大量的原始数据在传输到中心云端过程中对于网络带宽与存储容量造成负担，当网络延迟或者网络不稳定时，门禁解锁会发生延迟，难以及时解锁，同时，在数据在传输过程中还可能被盗取，存在安全隐患的技术问题，本专利技术提供一种基于物联网的语音结合人脸识别的门禁系统
。
[0007]本专利技术提供了一种基于物联网的语音结合人脸识别的门禁系统，所述门禁系统作为边缘端与中心云端进行通信连接，多个所述边缘端与所述中心云端组成物联网，所述门禁系统包括：
[0008]获取模块，用于获取待验证人员的人脸图像；
[0009]提取模块，用于提取所述待验证人员的图像特征；
[0010]获取模块，还用于获取所述待验证人员的语音数据；
[0011]提取模块，还用于提取所述待验证人员的声纹特征；
[0012]归一化模块，用于对所述图像特征与所述声纹特征进行归一化处理；
[0013]融合模块，用于对归一化处理后的图像特征与声纹特征进行特征融合，得到融合特征；
[0014]验证模块，用于根据所述融合特征，通过卷积神经网络，对所述待验证人员的身份进行验证，得到身份可信度；
[0015]当所述身份可信度小于第一预设可信度时，拒绝解锁门禁；
[0016]当所述身份可信度介于所述第一预设可信度与第二预设可信度之间时，通过所述
中心云端向管理端发送解锁请求，以根据所述管理端的指令决定是否解锁门禁；
[0017]当所述身份可信度大于所述第二预设可信度时，直接解锁门禁，同时向所述中心云端发送访客记录
。
[0018]与现有技术相比，本专利技术至少具有以下有益技术效果：
[0019](1)
在本专利技术中，在边缘端
(
门禁系统自身
)
中独立地进行身份验证，在采集人脸图像或者语音数据之后无需统一发给中心云端进行处理和计算，避免大量的原始数据在传输到中心云端过程中对于网络带宽与存储容量造成负担，保证解锁的及时性，同时，避免数据在传输过程中还可能被盗取，降低安全隐患
。
[0020](2)
在本专利技术中，对于从人脸图像提取的图像特征以及从语音数据提取的声纹特征进行特征融合，之后根据多模态融合的特征，通过卷积神经网络，对所述待验证人员的身份进行验证，提升身份验证的准确性
。
附图说明
[0021]下面将以明确易懂的方式，结合附图说明优选实施方式，对本专利技术的上述特性
、
技术特征
、
优点及其实现方式予以进一步说明
。
[0022]图1是本专利技术提供的一种基于物联网的语音结合人脸识别的门禁系统的结构示意图
。
具体实施方式
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式
。
显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式
。
[0024]为使图面简洁，各图中只示意性地表示出了与专利技术相关的部分，它们并不代表其作为产品的实际结构
。
另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个
。
在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形
。
[0025]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和
/
或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合
。
[0026]在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接
。
可以是机械连接，也可以是电连接
。
可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通
。
对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义
。
[0027]另外，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性
。
[0028]在一个实施例中，参考说明书附图1，示出了本专利技术提供的一种基于物联网的语音结合人脸识别的门禁系统的结构示意图
。
[0029]本专利技术提供的一种基于物联网的语音结合人脸识别的门禁系统
10
，门禁系统
10
作
为边缘端与中心云端
20
进行通信连接，多个边缘端与中心云端
20
组成物联网
。
[0030]需要说明的是，边缘端与中心云端的组合是经典的物联网架构，边缘端和中心云端通常是协同工作的
。
边缘端用于快速的本地数据处理和实时响应，减少数据传输和降低延迟，而中心云端用于更复杂的数据分析和长期存储，以及支持大规模应用
。
这种分布式计算架构允许物联网应用在不同的数据处理层次中平衡效率和性能
。
[0031]门禁系统
10
包括：
[0032]获取模块
101
，用于获取待验证人员的人脸图像
。
[0033]具体而言，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于物联网的语音结合人脸识别的门禁系统，其特征在于，所述门禁系统作为边缘端与中心云端进行通信连接，多个所述边缘端与所述中心云端组成物联网，所述门禁系统包括：获取模块，用于获取待验证人员的人脸图像；提取模块，用于提取所述待验证人员的图像特征；获取模块，还用于获取所述待验证人员的语音数据；提取模块，还用于提取所述待验证人员的声纹特征；归一化模块，用于对所述图像特征与所述声纹特征进行归一化处理；融合模块，用于对归一化处理后的图像特征与声纹特征进行特征融合，得到融合特征；验证模块，用于根据所述融合特征，通过卷积神经网络，对所述待验证人员的身份进行验证，得到身份可信度；当所述身份可信度小于第一预设可信度时，拒绝解锁门禁；当所述身份可信度介于所述第一预设可信度与第二预设可信度之间时，通过所述中心云端向管理端发送解锁请求，以根据所述管理端的指令决定是否解锁门禁；当所述身份可信度大于所述第二预设可信度时，直接解锁门禁，同时向所述中心云端发送访客记录
。2.
根据权利要求1所述的基于物联网的语音结合人脸识别的门禁系统，其特征在于，所述提取模块具体用于：将所述人脸图像均分为
K
个图像区域；构建各个图像区域的灰度直方图；根据所述灰度直方图，提取各个图像区域的图像特征，所述图像特征包括：对比度
、
逆方差
、
熵值
、
能量值和灰度平均值；根据各个图像区域的逆方差，计算各个图像区域的权重系数：其中，
α
i
表示第
i
图像区域的权重系数，
H
i
表示第
i
个图像区域的逆方差，
i
＝1，2，
…
，
K
，
K
表示图像区域的总数；根据每个图像区域的权重系数，计算所述人脸图像的图像特征向量：
B
＝
{b1，
b2，
…
，
b
m
}
其中，
B
表示人脸图像的图像特征向量，
b
j
表示人脸图像的第
j
个图像特征，
α
i
表示第
i
图像区域的权重系数，
b
ij
表示第
i
个图图像区域的第
j
个图像特征值，
i
＝1，2，
…
，
K
，
K
表示图像区域的总数，
j
＝1，2，
…
，
m
，
m
表示图像特征的总数
。3.
根据权利要求2所述的基于物联网的语音结合人脸识别的门禁系统，其特征在于，所述对比度的计算方式为：
其中，
con
表示对比度，
g
表示灰度值，
G
表示灰度值
g
的取值范围，
P(g)
表示灰度值
g
在灰度直方图中的取值概率；所述逆方差
H
的计算方式为：其中，
H
表示逆方差，
g
表示灰度值，
G
表示灰度值
g
的取值范围，
P(g)
表示灰度值
g
在灰度直方图中的取值概率；所述熵值的计算方式为：其中，
Ent
表示熵值，
g
表示灰度值，
G
表示灰度值
g
的取值范围，
P(g)
表示灰度值
g
在灰度直方图中的取值概率；所述能量值的计算方式为：其中，
Energy
表示能量值，
g
表示灰度值，
G
表示灰度值
g
的取值范围，
P(g)
表示灰度值
g
在灰度直方图中的取值概率；所述灰度平均值的计算方式为：其中，
mean
表示灰度平均值，
g
表示灰度值，
G
表示灰度值
g
的取值范围，玳
g)
表示灰度值
g
在灰度直方图中的取值概率
。4.
根据权利要求3所述的基于物联网的语音结合人脸识别的门禁系统，其特征在于，所述提取模块具体用于：提取所述语音数据中的语音段；对所述语音段的频谱数据进行快速傅里叶变换，得到功率谱数据；通过
Mel
滤波器对所述功率谱数据进行滤波，输出所述功率谱数据的对数能量
E
m
：其中，
N
表示总频率，
X(k)
表示频率为
k
时的输入信号值，
H
m
(k)
表示滤波器的频率响应；其中，
H
m
(k)
的表示式为：
其中，
k
表示线性频率轴上的频率，
m
表示滤波器的索引值，
τ
(m)
表示第
m
个频带的频率；对所述对数能量
E
m
进行离散余弦变换，得到
MFCC
系数：其中，
C
i
表示第
i
个
MFCC
系数，
m
表示滤波器的索引值，
M
表示滤波器的数量；对所述
MFCC
系数进行动态参数提取，得到所述语音数据的声纹特征向量：
D
＝
{d1，
d2，
…
，
d
n
}
其中，
D
表示语音数据的声纹特征向量，
d
i
表示第
i
个声纹特征，
i
＝1，2，
…
，
n
，
n
表示声纹特征的总数，
Q
表示
MFCC
系数的阶数，
T
表示一阶导数的时间差，
j
表示一阶导数的时间差
T
的具体取值，
j
为1或
2。5.
根据权利要求4所述的基于物联网的语音结合人脸识别的门禁系统，其特征在于，所述提取模块具体用于：计算所述语音数据的短时过零率和短时能量；根据所述短时过零率和所述短时能量，计算有声参数：
σ
i
＝
λ
Z
i
+(1
‑
λ
)E
i
其中，
σ
i
表示第
i
帧语音信号的有声参数，
Z
i
表示第
i
帧语音信号的短时过零率，
E
i
表示第
i
帧语音信号的短时能量，
λ
表示短时过零率的权重系数；将所述有声参数值小于预设参数值的信号帧作为语音段的起点与终点，对所述语音数据中的语音段与静音段进行分割；保留所述语音段，去除所述静音段
。6.
根据权利要求5所述的基于物联网的语音结合人脸识别的门禁系统，其特征在于，所述短时过零率的计算方式为：
其中，
Z
i
表示第
i
帧语音信号的短时过零率，
sgn()
表示符号函数，
x
i
，
j
表示第
i
帧语音信号中第
j
个语音单元的的振幅，
x
i<...

【专利技术属性】
技术研发人员：林志强，
申请(专利权)人：浙江华屹物联技术有限公司，
类型：发明
国别省市：