一种表情识别方法、装置、存储介质及设备制造方法及图纸

本发明专利技术实施例提供了一种表情识别方法、装置、存储介质及设备，所述方法包括：获取受测者面部的第一视频数据；以脸颊为感兴趣区域并持续获取所述感兴趣区域的视频图像，合成高于设定频率的第二视频数据；根据所述第二视频数据得到平滑的PPG信号曲线；根据PPG信号曲线提取RR间期，并运用拉盖尔回归模型结构得到交感神经指标Si序列和负交感神经指标Pi序列，进而计算ST＝(Si_M+α)/(Pi_M)，EM＝λ*Si_SD+γ*Pi_SD；将ST和EM输入至判别规则，从而得到情绪状态，实现了高效率和高准确度的人脸表情智能化识别，精确判断个体的情绪状态。精确判断个体的情绪状态。精确判断个体的情绪状态。

【技术实现步骤摘要】
一种表情识别方法、装置、存储介质及设备


[0001]本专利技术实施例涉及人脸识别
，尤其涉及一种表情识别方法、装置、存储介质及设备。

技术介绍

[0002]随着计算机技术的迅速发展，人脸识别的技术也随之迅速发展，目前，由于许多人机交互方面的需要，如谎言检测、医疗、驾驶员疲劳驾驶、趣味交互应用等，人们开始进行人脸表情的识别研究，从而判断个体的情绪状态，然而，现有的表情识别技术仍然存在识别效率低，识别不准确的问题。

技术实现思路

[0003]针对上述问题，本专利技术实施例提供了一种表情识别方法、装置、存储介质及设备，以实现人脸表情的智能化识别，从而智能判断个体的情绪状态。
[0004]第一方面，本专利技术实施例提供的表情识别方法，包括：
[0005]获取受测者面部的第一视频数据；
[0006]以脸颊为感兴趣区域并持续获取感兴趣区域的视频图像，合成高于设定频率的第二视频数据；
[0007]将第二视频数据输入至欧拉放大算法模块，放大2
‑
2.4Hz频带的像素值的变化幅度，分离出放大后的视频数据的绿色通道，并对绿色通道处理得到平滑的PPG信号曲线；
[0008]根据PPG信号曲线提取RR间期，设置长度为N的栈结构Z，存储N个RR间期；
[0009]将栈结构Z中的N个RR间期运用拉盖尔回归模型解构得到交感神经指标Si序列和负交感神经指标Pi序列；
[0010]分别提取Si序列的均值Si_M和标准差Si_SD，以及Pi序列的均值Pi_M和标准差Pi_SD；
[0011]分别计算ST＝(Si_M+α)/(Pi_M)，EM＝λ*Si_SD+γ*Pi_SD，其中，α、λ和γ均为经验常数；
[0012]将ST和EM输入至判别规则，输出情绪状态，情绪状态包括平静、高兴、安宁、压抑和生气。
[0013]优选地，获取受测者面部的第一视频数据，包括：
[0014]使用摄像头录制受测者在静息状态下的面部视频。
[0015]其中，以脸颊为感兴趣区域并持续获取感兴趣区域的视频图像，合成高于设定频率的第二视频数据，包括：
[0016]对第一视频数据采用ML Kit检测图像中的人脸关键面部特征，以脸颊作为蒙版提取感兴趣区域；
[0017]计算受测者面部垂直面对摄像头，且垂直距离为0.35
‑
0.45米时，感兴趣区域内的像素点之和E；
[0018]设定百分比阈值T＝0.6，判断接下来每一帧的感兴趣区域内的像素点之和是否大于T*E，若至少连续12帧的感兴趣区域内的像素点之和均大于T*E，则选取至少连续12帧的感兴趣区域内的像素点之和均大于T*E的视频数据合成为第二视频数据。
[0019]优选地，判别规则包括：
[0020]设置ST的高低阈值分别为β
h
、β
l
；
[0021]设置EM的高低阈值分别为κ
h
、κ
l
；
[0022]当β
l
<＝ST<＝β
h
且κ
l
<＝EM<＝κ
h
时，情绪状态分类为平静；
[0023]当ST>＝β
h
且EM>＝κ
h
时，情绪状态分类为高兴；
[0024]当ST<＝β
l
且EM>＝κ
h
时，情绪状态分类为安宁；
[0025]当ST<β
l
且EM<κ
l
时，情绪状态分类为压抑；
[0026]当ST>＝β
h
且EM<＝κ
l
时，情绪状态分类为生气。
[0027]进一步地，累积固定时间的ST和EM，计算占比最高的情绪状态，即为该段时间个体的主要情绪状态。
[0028]第二方面，本专利技术实施例还提供了一种表情识别装置，包括：
[0029]视频数据获取模块，视频数据获取模块用于获取受测者面部的第一视频数据；
[0030]第一处理模块，第一处理模块用于以脸颊为感兴趣区域并持续获取感兴趣区域的视频图像，合成高于设定频率的第二视频数据；
[0031]第二处理模块，第二处理模块用于将第二视频数据输入至欧拉放大算法模块，放大2
‑
2.4Hz频带的像素值的变化幅度，分离出放大后的视频数据的绿色通道，并对绿色通道处理得到平滑的PPG信号曲线；
[0032]第三处理模块，第三处理模块用于根据PPG信号曲线提取RR间期，设置长度为N的栈结构Z，存储N个RR间期，RR
n
＝{rr1,rr2,...rr
n
}；
[0033]第四处理模块，第四处理模块用于将栈结构Z中的N个RR间期运用拉盖尔回归模型解构得到交感神经指标Si序列和负交感神经指标Pi序列；
[0034]第五处理模块，第五处理模块用于分别提取Si序列的均值Si_M和标准差Si_SD，以及Pi序列的均值Pi_M和标准差Pi_SD
[0035]第六处理模块，第六处理模块用于分别计算ST＝(Si_M+α)/(Pi_M)，EM＝λ*Si_SD+γ*Pi_SD，其中，α、λ和γ均为经验常数；
[0036]结果获取模块，结果获取模块用于将ST和EM输入至判别规则，输出情绪状态，情绪状态包括平静、高兴、安宁、压抑和生气。
[0037]第三方面，本专利技术实施例还提供一种存储介质，其为计算机可读的存储介质，其上存储有计算机程序，计算机程序被执行时实现如上述的表情识别的步骤。
[0038]第四方面，本专利技术还提供一种计算机设备，其包括处理器、存储器及存储于存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的表情识别的检测方法的步骤。
[0039]本专利技术实施例通过上述方案，用户获取受测者面部的第一视频数据；以脸颊为感兴趣区域并持续获取感兴趣区域的视频图像，合成高于设定频率的第二视频数据；根据第二视频数据得到平滑的PPG信号曲线；根据PPG信号曲线提取RR间期，并运用拉盖尔回归模型结构得到交感神经指标Si序列和负交感神经指标Pi序列，进而计算ST＝(Si_M+α)/(Pi_
M)，EM＝λ*Si_SD+γ*Pi_SD；将ST和EM输入至判别规则，从而得到情绪状态，实现了高效率和高准确度的人脸表情智能化识别，精确判断个体的情绪状态。
附图说明
[0040]图1是本专利技术一个实施例提供的一种表情识别方法的流程示意图；
[0041]图2是本专利技术一个实施例提供的一种表情识别方法的流程示意图；
[0042]图3是本专利技术一个实施例提供的一种表情识别装置的结构示意图；
[0043]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别方法，其特征在于，包括：获取受测者面部的第一视频数据；以脸颊为感兴趣区域并持续获取所述感兴趣区域的视频图像，合成高于设定频率的第二视频数据；将所述第二视频数据输入至欧拉放大算法模块，放大2
‑
2.4Hz频带的像素值的变化幅度，分离出放大后的视频数据的绿色通道，并对所述绿色通道处理得到平滑的PPG信号曲线；根据所述PPG信号曲线提取RR间期，设置长度为N的栈结构Z，存储N个RR间期；将所述栈结构Z中的N个RR间期运用拉盖尔回归模型解构得到交感神经指标Si序列和负交感神经指标Pi序列；分别提取Si序列的均值Si_M和标准差Si_SD，以及Pi序列的均值Pi_M和标准差Pi_SD；分别计算ST＝(Si_M+α)/(Pi_M)，EM＝λ*Si_SD+γ*Pi_SD，其中，α、λ和γ均为经验常数；将ST和EM输入至判别规则，输出情绪状态，所述情绪状态包括平静、高兴、安宁、压抑和生气。2.根据权利要求1所述的方法，其特征在于，所述获取受测者面部的第一视频数据，包括：使用摄像头录制受测者在静息状态下的面部视频。3.根据权利要求1所述的方法，其特征在于，所述以脸颊为感兴趣区域并持续获取所述感兴趣区域的视频图像，合成高于设定频率的第二视频数据，包括：对所述第一视频数据采用ML Kit检测图像中的人脸关键面部特征，以脸颊作为蒙版提取感兴趣区域；计算受测者面部垂直面对摄像头，且垂直距离为0.35
‑
0.45米时，所述感兴趣区域内的像素点之和E；设定百分比阈值T＝0.6，判断接下来每一帧的感兴趣区域内的像素点之和是否大于T*E，若至少连续12帧的感兴趣区域内的像素点之和均大于T*E，则选取所述至少连续12帧的感兴趣区域内的像素点之和均大于T*E的视频数据合成为第二视频数据。4.根据权利要求1所述的方法，其特征在于，所述判别规则包括：设置ST的高低阈值分别为β
h
、β
l
；设置EM的高低阈值分别为κ
h
、κ
l
；当β
l
<＝ST<＝β
h
且κ
l
<＝EM<＝κ
h
时，情绪状态分类为平静；当ST>＝β
h
且EM>＝κ
h
时，...

【专利技术属性】
技术研发人员：孙海洋，胡照青，
申请(专利权)人：深圳市彼岸心智科技有限公司，
类型：发明
国别省市：