一种基于人脸识别和语音识别的智能储物柜制造技术

本发明专利技术公开了一种基于人脸识别和语音识别的智能储物柜，所述智能储物柜包含智能储物柜系统，所述智能储物柜系统包括数据采集系统、人脸识别与匹配系统、语音识别与人机交互系统三部分，所述数据采集系统采集用户的人脸图像，对所采图像进行预处理，所述人脸识别与匹配系统对采集的图像进行人脸识别、人脸特征提取，进行人脸识别与匹配，所述语音识别与人机交互系统对用户发出的语音指令进行语音采集、语音信号处理、语音识别，并根据语音指令对智能储物柜系统下达存物或者取物的操作指令，有效地解决了现有智能储物柜操作繁杂、存取凭证易丢失、生物特征凭证易被污染、安全性不足的问题。的问题。的问题。

An intelligent locker based on face recognition and speech recognition

【技术实现步骤摘要】
一种基于人脸识别和语音识别的智能储物柜


[0001]本专利技术涉及人工智能领域，特别是涉及一种基于人脸识别和语音识别的智能储物柜。

技术介绍

[0002]智能储物柜在日常生活中带给了人们极大的便利，能在公共场合提供临时存放物品的服务，在社区、物流领域、大型超市、图书馆、游乐园、工厂、公司办公室等公共学习工作场合都被广泛应用，然而，随着科学技术的迅速发展，人们对于储物柜的智能化程度、快捷化程度、安全性程度等有了更高的需求，现有的智能储物柜已经无法满足人们追求的快捷、方便、智能，因此，利用人工智能的技术设计一种操作便捷、安全性高的智能储物柜具有重要的实际意义。
[0003]如今，我国市面上正在使用的智能储物柜，如丰巢快递柜、京东自提柜等，仍然停留在依赖互联网技术，以短信密码或者二维码作为开锁凭证进行存取，操作繁琐，还面临着开锁凭证丢失取物困难的问题，而基于生物特征的指纹智能储物柜虽然操作便利，智能化程度高，但是面临着取物凭证指纹容易被污染而导致取物困难的问题。
[0004]因此本专利技术提供一种新的方案来解决此问题。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术的目的是提供一种基于人脸识别和语音识别的智能储物柜，有效地解决了现有智能储物柜操作繁杂、存取凭证易丢失、生物特征凭证易被污染、安全性不足的问题。
[0006]其解决的技术方案是，一种基于人脸识别和语音识别的智能储物柜，所述智能储物柜包含智能储物柜系统，所述智能储物柜系统包括数据采集系统、人脸识别与匹配系统、语音识别与人机交互系统三部分；
[0007]所述数据采集系统采集用户的人脸图像，对所采图像进行预处理；
[0008]所述人脸识别与匹配系统对采集的图像进行人脸识别、人脸特征提取，进行人脸识别与匹配；
[0009]所述语音识别与人机交互系统对用户发出的语音指令进行语音采集、语音信号处理、语音识别，并根据语音指令对智能储物柜系统下达存物或者取物的操作指令；
[0010]进一步的，所述数据采集系统采集用户的人脸图像，对所采图像进行预处理，利用智能储物柜上的高清摄像头采集用户人脸图像，并对图像进行灰度化处理；
[0011]进一步的，所述人脸识别与匹配系统对采集的图像进行人脸识别、人脸特征提取，进行人脸识别与匹配，具体步骤如下：
[0012]S1：智能储物柜利用高清摄像头采集用户人脸图像图片，并利用方向梯度直方图、滑动窗口检测机制、线性分类器进行人脸检测与定位，检测和截取人脸图像，利用支持向量机SVM二分类模型识别图像是否为人脸，若不是，则删除图片，提示用户重新采集；所述SVM
为Support Vector Machine的简称，表示支持向量机；
[0013]S2：对S1中所采集的人脸图像利用小波变换和去噪模型的光照不变算法进行预处理操作；
[0014]S3：对S2中预处理后的人脸图像输入至训练好的卷积神经网络CNN模型中进行图像中的人脸特征提取；所述CNN为Convolutional Neural Networks的简称，表示卷积神经网络；
[0015]S4：对S3提取的人脸特征，利用智能算法与数据库中的人脸进行匹配，进行人脸图像识别，若与人脸数据库中的图像相似度小于设定阈值，则认为匹配失败；
[0016]进一步的，所述语音识别与人机交互系统对用户发出的语音指令进行语音采集、语音信号处理、语音识别，并根据语音指令对智能储物柜系统下达存物或者取物的操作指令，步骤如下：
[0017]A1：对用户发出的语音指令进行语音采集，对语音信号进行数字信号转化、高通数字滤波去噪、分帧、加窗预处理操作，将语音信号去除环境噪声，转化成计算机可以处理的数字信号；
[0018]A2：利用傅里叶转换对语音信号进行语音谱特征提取，并应用卷积神经网络CNN模型进行语音识别；
[0019]A3：智能储物柜根据用户发出的语音指令内容做出相应的存、储、开箱操作指令，并进行相应的语音播报提示；
[0020]A4：智能储物柜发出请将脸对准摄像头的语音播报提示，采集用户人脸图像信息，利用人脸识别与匹配系统判断采集的图片是否为人脸，若否，则返回A3，发出人脸信息采集失败，请重试的语音播报提示，若是，则智能储物柜发出人脸信息采集成功的语音播报提示，再转至A5、A6；
[0021]A5：若用户选择取物，则利用人脸识别与匹配系统对采集的人脸图像进行人脸特征提取，人脸识别，进行匹配，若匹配失败，则返回A3，发出人脸匹配失败，请重试的语音播报提示，若匹配成功，则智能储物柜发出现在为您开箱取物的语音播报提示，并进行开箱操作，开启对应存储箱，取物后发出请关箱门的语音播报提示；
[0022]A6：若用户选择存物，则利用人脸识别与匹配系统提取人脸信息并上传到数据库，发出现在为您开箱存物的语音播报提示，并开启空置存储箱，取物后发出寸物后请关箱门的语音播报提示。
[0023]由于以上技术方案的采用，本专利技术与现有技术相比具有以下优点：
[0024]本专利技术利用高通数字滤波器、傅里叶变换、语音谱特征、和基于卷积神经网络CNN模型的语音识别算法进行人机交互，用户只需要在麦克风可收语音的范围内，用声音说出存物或取物的指令，无需触摸交互屏幕，便可进行操作，语音交互方便简单，在新冠疫情横行的背景下，该设计极大地方便了用户的存取操作，也达到了无接触存取件的要求，进一步，高清摄像头采集用户人脸图片再利用方向梯度直方图(HOG特征)、线性分类器(SVM)、滑动窗口检测机制和卷积神经网络CNN模型的人脸识别算法进行人脸信息检测、识别，将人脸信息作为存取凭证，解决了存取凭证易丢失、生物凭证易被污染的问题，同时也达到了无接触操作的要求，提升了储物柜的安全性和便捷性。
附图说明
[0025]图1是本专利技术实施例提供的一种基于人脸识别和语音识别的智能储物柜系统架构图。
[0026]图2是本专利技术实施例提供的人脸识别与匹配系统的流程图。
[0027]图3是本专利技术实施例提供的语音识别与人机交互系统的流程图。
[0028]图4为本专利技术实施例提供的一种基于人脸识别和语音识别的智能储物柜系统运行流程图。
具体实施方式
[0029]为有关本专利技术的前述及其他
技术实现思路
、特点与功效，在以下配合参考附图1
‑
4对实施例的详细说明中，将可清楚的呈现，以下实施例中所提到的结构内容，均是以说明书附图为参考。
[0030]下面将参照附图描述本专利技术的各示例性的实施例。
[0031]一种基于人脸识别和语音识别的智能储物柜，所述智能储物柜包含智能储物柜系统，所述智能储物柜系统包括数据采集系统、人脸识别与匹配系统、语音识别与人机交互系统三部分；
[0032]所述数据采集系统采集用户的人脸图像，对所采图像进行预处理；
[0033]所述人脸识别与匹配系统对采集的图像进行人脸识别、人脸特征提取，进行人脸识别与匹配；
[0034]所述语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸识别和语音识别的智能储物柜，其特征在于，所述智能储物柜包含智能储物柜系统，所述智能储物柜系统包括数据采集系统、人脸识别与匹配系统、语音识别与人机交互系统三部分；所述数据采集系统采集用户的人脸图像，对所采图像进行预处理；所述人脸识别与匹配系统对采集的图像进行人脸识别、人脸特征提取，进行人脸识别与匹配；所述语音识别与人机交互系统对用户发出的语音指令进行语音采集、语音信号处理、语音识别，并根据语音指令对智能储物柜系统下达存物、取物的操作指令。2.如权利要求1所述的一种基于人脸识别和语音识别的智能储物柜，其特征在于，所述数据采集系统采集用户的人脸图像，对所采图像进行预处理，具体内容为：利用智能储物柜上的摄像头采集用户人脸图像，并对图像进行灰度化处理，灰度化处理即将彩色图像转成灰度图像，彩色图像有R、G、B三个分量通道，彩色图像转化为灰度图像的公式如公式(1)所示：Gray＝0.3
·
R+0.59
·
G+0.11
·
B
ꢀꢀ
(1)公式(1)中Gray表示灰度图像，R表示图像的红色通道，G表示图像的绿色通道，B表示图像的蓝色通道。3.如权利要求1所述的一种基于人脸识别和语音识别的智能储物柜，其特征在于，所述人脸识别与匹配系统对采集的图像进行人脸识别、人脸特征提取，进行人脸识别与匹配，具体步骤如下：S1：智能储物柜利用摄像头采集用户人脸图像图片，并利用方向梯度直方图、滑动窗口检测机制、线性分类器进行人脸检测与定位，检测和截取人脸图像，利用支持向量机SVM二分类模型识别图像是否为人脸，若不是，则删除图片，提示用户重新采集；所述SVM为Support Vector Machine的简称，表示支持向量机；S2：对S1中所采集的人脸图像利用小波变换和去噪模型的光照不变算法进行预处理操作；S3：对S2中预处理后的人脸图像输入至训练好的卷积神经网络CNN模型中进行图像中的人脸特征提取；所述CNN为Convolutional Neural Networks的简称，表示卷积神经网络；S4：对S3提取的人脸特征与数据库中的人脸进行匹配，进行人脸图像识别，若与人脸数据库中的图像相似度小于设定阈值，则认为匹配失败。4.如权利要求3所述的一种基于人脸识别和语音识别的智能储物柜，其特征在于，所述步骤S1中利用方向梯度直方图、滑动窗口检测机制、线性分类器进行人脸检测与定位，检测和截取人脸图像，具体步骤为：S1.1：对所采集的人脸样例图像利用Gamma矫正，Gamma矫正公式如式(2)所示：G(x,y)＝F(x,y)
1/γ
ꢀꢀ
(2)公式(2)中G(x,y)代表处理后的图像中坐标(x,y)像素点的亮度，F(x,y)代表原始图像中坐标(x,y)像素点的亮度，γ＝0.5；S1.2:对经过颜色空间归一化的人脸图像求取其梯度和梯度方向，计算每个像素的水平方向和竖直方向的梯度，并计算每个像素位置的梯度大小和方向，图像在像素点(x,y)处的水平方向和垂直方向的梯度如公式(3)所示：
公式(3)中G
x
(x,y)和G
y
(x,y)分别表示当前像素点(x,y)处的水平方向和垂直方向梯度值，再根据公式(4)计算像素点(x,y)处的梯度幅值和梯度方向：公式(4)中，
▽
G(x,y)表示人脸样例图像在坐标(x,y)的像素点的梯度幅值，θ(x,y)表示人脸样例图像在坐标为(x,y)的像素点的梯度方向；S1.3:计算人脸图像基于梯度方向的权重投影,将人脸图片划分成若干个大小不一且互不重叠的单元块，称为统计细胞单元cell，并对每个cell进行直方图统计特征，在进行直方图统计特征时，以梯度方向作为基准划分，再计算累加落入同个方向的梯度值，在180度的范围内，以20度等分，即一个细胞单元的方向梯度直方图HOG特征是一个9维的向量，所述HOG为histogram of oriented gradients的简称，含义为方向梯度直方图；S1.4:使用L2范数L2
‑
norm的归一化函数对直方图进行归一化处理，统计每个细胞单元内的梯度直方图，形成每个细胞单元的描述子，由cell组成更大的描述子，称为块，统计块Block的梯度方向直方图，将一个块内四个cell的特征向量串联起来构成该块的梯度方向直方图，按照一个细胞单元是9维的HOG特征，则一个块的HOG特征为36维,对梯度做局部对比度归一化,针对每个块进行对比度归一化，使用L2
‑
norm，其表达式如公式(5)所示：则归一化后的特征向量V的计算如公式(6)所示：其中，V(V1,V2,...,V
n
)表示归一化后的特征向量，v(v1,v2,...,v
n
)表示归一化后的特征向量，ε表示大于0且无限接近0的数；S1.5:将每一个图像块进行归一化后的特征向量V串联，形成一个维度大小为人脸图像的HOG特征向量，其中β表示每个单元中像素度数范围bin的个数，所述bin表示像素的度数范围，表示人脸样例图像中图像块的个数，ζ表示每个图像块中单元的个数；S1.6:将S1.5得出的人脸图像特征向量，输入到训练好的支持向量机SVM模型人脸与非人脸二分类器中，得到最终检测的人脸定位图像，找到一个最优超平面，该超平面首先要满足分类要求，同时又是一个让分类间隔最大化的平面，给定人脸训练样本集，将人脸训练集样本设为(x1,y1),(x2,y2),K,(x
n
,y
n
)，其中x
i
为HOG多维特征向量，y
i
＝
±
1，分别表示为人脸样本与非人脸样本，设超平面为(w
·
x+b＝0)，则超平面必须满足公式(7)：y
i
((w
·
x+b))≥1,i＝1,2,K,l
ꢀꢀ
(7)约束优化问题如下：
公式8中，α
i
指的是拉格朗日乘子；公式(8)为二次规划问题，必有解得到w
*
,b
*
如公式(9)所示：得到最优分类超平面w
*
·
x+b
*
＝0，以及最优分类函数f(x)＝sgn(w
*
·
x+b
*
)，若f(x)＝1，则判定为人脸。5.如权利要求3所述的一种基于人脸识别和语音识别的智能储物柜，其特征在于，所述步骤S2中，对S1中所采集的人脸图像利用小波变换和去噪模型的光照不变算法进行预处理操作，其具体步骤为：S2.1:对S1中所采集的人脸图像利用小波变换和去噪模型的光照不变算法进行去除噪音，首先对人脸图像G进行对数变换，得到图像G'，对经过对数变换后的图像进行小波变换，得到低频系数LL
i
和每一分解层次的高频系数矩阵LH
i
,HL
i
,HH
i
，对高频系数矩阵乘以一个缩放参数λ(0＜λ＜1)，得到新的高频系数矩阵LH
i
',HL
i
',HH
i
'，利用未改动的低频系数LL
i
和新的高频系数矩阵LH
i
',HL
i
',HH
i
'进行小波重构得到图像L'，最后用G'
‑
L'得到光照不变量R'，即最后去噪图像；S2.2：对S2.1中所得到的人脸去噪图像，进行灰度直方图均衡化，首先统计灰度...

【专利技术属性】
技术研发人员：阴皓，刘伯宇，姬发家，吴晨光，张菲菲，李路远，李琳，贾静丽，古明，王军义，杨扬，朱莹，赵曜，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：