一种基于视频图像心率检测及活体检测的人脸识别系统技术方案

本发明专利技术公开了一种基于视频图像心率检测及活体检测的人脸识别系统，该系统主要包括图像采集及预处理模块、人脸认证主机、后端数据服务器及身份信息与热成像图显示模块；本发明专利技术通过红外热成像摄像头和可见光摄像头分别获取人脸视频图像和人脸热成像，计算热成像图片中人脸温度平均值和根据光电容积脉搏波原理从人脸视频图像所检测出的心率值作为判断是否为活体的依据，将采集的人脸特征数据与后端数据服务器中人脸图像数据比对得出人脸识别结果；通过显示模块显示识别结果，并且能够实时显示当前人脸温度和心率值。本发明专利技术的心率检测进一步的减少了红外热像活体检测出现的误判现象，提高了人脸识别的安全系数和可靠性。提高了人脸识别的安全系数和可靠性。提高了人脸识别的安全系数和可靠性。

【技术实现步骤摘要】
一种基于视频图像心率检测及活体检测的人脸识别系统


[0001]本专利技术属于视频图像检测和人脸识别
，具体涉及一种基于视频图像心率检测及活体检测的人脸识别系统。

技术介绍

[0002]人脸识别已经广泛应用与生活中，例如门禁系统，火车安检，手机支付，警方侦查都与人脸识别息息相关。但是目前人脸信息还是无法作为一些重要信息的安全密钥，这是因为目前的人脸识别系统还是无法良好地抵御照片、视频以及面具的攻击，安全系数还有待提高。一旦人脸识别系统被恶意攻击成功，使用者的信息将会泄露，甚至发生入室偷盗和财产损失等严重安全问题。现有的一些研究提出(张红彦,倪涛,邹少元,等.一种基于热成像效应的双摄像头人脸活体检测方法，中国,CN201810418468.0 2018.)仅利用红外热成像作为活体检测的依据，但现有的红外热像活体检测容易受到人脸检测距离远近，佩戴眼镜等外界条件的影响等影响出现误判现象。

技术实现思路

[0003]本专利技术针对以上提出的不足，提出了一种基于视频图像心率检测及活体检测的人脸识别系统，在红外热像活体检测方法的基础上增加基于光电容积脉搏波原理心率检测，双重活体检测提高了非活体的识别率，弥补了红外热像活体检测的不足，能够有效的防止视频、照片等恶意攻击，防止他人冒用，提高了人脸识别系统的安全可靠性；显示的人体热成像图能够直接观察到人体的温度情况，且实时的人脸温度和心率检测，对于新冠肺炎等特殊时期或是自身健康检测都十分有帮助。为了解决上述现有的容易受到照片、视频、面具等恶意攻击和红外热像活体检测容易误判的问题，本专利技术提供了一种基于视频图像心率检测及活体检测的人脸识别系统。
[0004]本专利技术至少通过如下技术方案之一实现。
[0005]一种基于视频图像心率检测及活体检测的人脸识别系统，包括图像采集及预处理模块、人脸认证主机、后端数据服务器、身份信息与热成像图显示模块；
[0006]所述图像采集及预处理模块用于采集红外热成像人脸图像与可见光人脸视频图像数据并将人脸图像数据和人脸温度数据传输至人脸认证主机；
[0007]所述后端数据服务器存储已录入的人脸图像数据；
[0008]所述人脸认证主机分为活体检测和人脸识别两部分，利用人脸温度数据和人脸图像数据测量出人脸平均温度和心率作为活体检测依据，检测为活体后，利用可见光人脸视频图像数据与已录入的人脸图像数据进行特征对比和匹配，得到匹配结果，并将结果传输至身份信息与热成像图显示模块；
[0009]身份信息与热成像图显示模块显示匹配出的人脸身份信息和当前人体的相关信息。
[0010]优选的，图像采集及预处理模块包括红外热成像摄像头和可见光摄像头；所述的
红外热成像摄像头用于采集到的人脸温度，通过计算人脸的平均温度值作为判断是否为活体的检测依据；所述的可见光摄像头用于采集人脸视频图像，采用MTCNN网络检测人脸位置，选取人脸感兴趣区域用于心率检测，并将采集到的人脸图像进行几何归一化及直方图均衡化预处理，得到用于特征提取的标准人脸图像。
[0011]优选的，后端数据服务器执行Java、HTML语言指令，用于存储已录入人脸图像数据、匹配信息、系统硬件工作日志以及进行数据处理分析。
[0012]优选的，人脸认证主机结合Opencv的视觉开源库，执行Java语言指令。
[0013]优选的，人脸认证主机包括人脸活体检测模块、特征提取及特征降维模块和分类器模块。
[0014]优选的，所述人脸活体检测模块首先根据人脸温度数据计算人脸平均温度，当温度满足设定的范围，再利用图像采集及预处理模块所获得的人脸图像数据，根据血液容积变化率和光强变化率的关系：
[0015][0016]其中，用于表示血液容积变化率，ΔV
a
表示血液体积的变化，V
a
表示血液的体积；用于表示光强变化率，ΔI表示光照强度的变化、I表示光照强度，I0表示光照强度，根据光强变化中求出血液容积变化，将光强转化为电信号，提取出脉搏信号，排除非活体的人脸图像数据，再将确定为活体的人脸图像数据提取的其特征信息与后端数据服务器中的已录入人脸图像数据进行对比和匹配，进而对身份进行确认。
[0017]优选的，所述人脸活体检测模块还包括心率检测，在MTCNN网络确定人脸的位置后，选取人脸视频图像中的感兴趣区域(ROI)，对感兴趣的区域的视频帧数计数，对窗口内视频片段做欧拉视频放大处理，得到放大微弱的心率信号如下：
[0018][0019]其中，α表示放大倍数，δ(t)表示微小平移运动，x表示信号序列的位置，t表示当前的时刻，将欧拉放大处理后的视频图像中的每一帧的RGB通道分开，分别计算三通道图像的感兴趣区域内像素的空间平均值，形成对应每一帧的红绿蓝三个信号值，对应窗口内的视频的每一帧就形成三个原始信号序列；随后对心率原始信号序列做归一化和带通滤波预处理，再对带通滤波预处理过三个信号序列进行FFT(Fast Fourier Transfomationv，FFT)变化，计算三个信号序列的对应功率谱密度，选取G通道信号序列中最大功率对应的频率作为心率的估计值。
[0020]优选的，所述特征提取及特征降维模块将经过图像采集及预处理模块预处理后得到的标准人脸图像作为特征提取及特征降维模块的输入，特征提取及特征降维模块提取人脸的局部二进制模式(Local Binary Patterns，LBP)特征，通过计算LBP直方图的方式形成LBP特征向量，再利用主成分分析法(Principal Component Analysis，PCA主成分分析法)选对人脸特征向量降维，得到降维后的特征向量送入分类器模块。
[0021]优选的，分类器模块采用支持向量机(Support Vector Machine，简称SVM)，通过
使两类数据之间的距离最大化来获得分类的决策边界，利用后端数据服务器中已经记录的图像数据训练，将采集到的待识别人员图像进行分类，得到识别结果，而从实现实时地进行人脸识别。
[0022]优选的，所述身份信息与热成像图显示模块显示匹配出的识别结果，并且显示当前人体的红外热像图、人脸温度值和心率值。
[0023]本专利技术与现有的技术相比，有益成果是：本专利技术在红外热像活体检测方法的基础上增加心率检测，双重活体检测提高了非活体的识别率，弥补了红外热像活体检测的不足，能够有效的防止视频、照片等尤其是面具等恶意攻击防止他人冒用，心率检测进一步的减少了红外热像活体检测出现的误判现象，提高了人脸识别系统的安全可靠性；显示的人体热成像图能够直接观察到人体的温度情况，且实时的人脸温度检测和心率，对于新冠肺炎等特殊时期或是日常的自身健康预防都十分有帮助。
附图说明
[0024]图1为本实施例一种基于视频图像心率检测及活体检测的人脸识别系统结构图；
[0025]图2为本实施例的具体工作流程图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，包括图像采集及预处理模块、人脸认证主机、后端数据服务器、身份信息与热成像图显示模块；所述图像采集及预处理模块用于采集红外热成像人脸图像与可见光人脸视频图像数据并将人脸图像数据和人脸温度数据传输至人脸认证主机；所述后端数据服务器存储已录入的人脸图像数据；所述人脸认证主机分为活体检测和人脸识别两部分，利用人脸温度数据和人脸图像数据测量出人脸平均温度和心率作为活体检测依据，检测为活体后，利用可见光人脸视频图像数据与已录入的人脸图像数据进行特征对比和匹配，得到匹配结果，并将结果传输至身份信息与热成像图显示模块；身份信息与热成像图显示模块显示匹配出的人脸身份信息和当前人体的相关信息。2.根据权力要求1所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，图像采集及预处理模块包括红外热成像摄像头和可见光摄像头；所述的红外热成像摄像头用于采集到的人脸温度，通过计算人脸的平均温度值作为判断是否为活体的检测依据；所述的可见光摄像头用于采集人脸视频图像，采用MTCNN网络检测人脸位置，选取人脸感兴趣区域用于心率检测，并将采集到的人脸图像进行几何归一化及直方图均衡化预处理，得到用于特征提取的标准人脸图像。3.根据权力要求2所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，后端数据服务器执行Java、HTML语言指令，用于存储已录入人脸图像数据、匹配信息、系统硬件工作日志以及进行数据处理分析。4.根据权力要求3所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，人脸认证主机结合Opencv的视觉开源库，执行Java语言指令。5.根据权力要求4所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，人脸认证主机包括人脸活体检测模块、特征提取及特征降维模块和分类器模块。6.根据权力要求5所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，所述人脸活体检测模块首先根据人脸温度数据计算人脸平均温度，当温度满足设定的范围，再利用图像采集及预处理模块所获得的人脸图像数据，根据血液容积变化率和光强变化率的关系：其中，用于表示血液容积变化率，ΔV
a
表示血液体积的变化，V
a
表示血液的体积；用于表示光强变化率，ΔI表示光照强度的变化、I表示光照强度，I0表示光照强度，根据光强变化中求出血液容...

【专利技术属性】
技术研发人员：谢巍，吴少文，周延，余锦伟，许练濠，陈定权，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：