一种视觉感知情绪识别方法技术

本发明专利技术涉及情绪识别技术领域，具体是一种视觉感知情绪识别方法，用于解决现有技术中基于人脸表情和基于图片或视频的生理信号对情绪识别分析存在容易产生误判，以及对情感表达分析覆盖面窄的问题。本发明专利技术包括以下步骤：步骤1：通过摄像头采集人脸视频并进行人脸检测和兴趣区域定位；步骤2：提取兴趣区域的颜色通道信息分解降维；步骤3：信号去噪和稳定，提取心率、呼吸的波形以及心率变异性的生理参数；步骤4：提取生理参数的预训练非线性特征进行基于孪生网络的支持向量机模型的建模回归；步骤5：利用回归的三维信息读取VAD模型得到具体的情感表示。通过上述技术方案不容易对情绪识别分析产生误判，以及对情感表达分析的覆盖面更广。更广。更广。

【技术实现步骤摘要】
一种视觉感知情绪识别方法


[0001]本专利技术涉及情绪识别
，更具体的是涉及一种视觉感知情绪识别方法。

技术介绍

[0002]情感识别是人与人之间进行有效信息交流的基础，随着计算机技术的发展和进步，视觉情感识别已成为人工智能AI发展的一个重要领域，可以广泛应用于生活的各个方面，比如人机交互、网课学习、审讯辅助等等。
[0003]目前基于视觉的情感识别技术可以分为以下两类：一是基于人脸表情分析，通常认为面部表情是人的一种生理或心理反应，用于情感表达，所以基于人脸微表情的技术一般是通过传统机器学习或深度学习的方法提取脸部图像的不同表情特征，对应于人脸表情库的基本表情，即高兴、悲伤、惊讶、恐惧、愤怒、厌恶，近年来也有许多研究着眼于人脸的微表情情绪识别；二是基于图片或视频的生理信号分析，人的生理信号特征是人类情感的抽象表示，有着极高的相关性，而随着基于远程生理信号的研究深入，为视觉生理信号到情感表示提供了可靠的基础，一般直接从人脸视频中提取到心率、呼吸、血氧等生理信号进行分析并分类，得到几类基本的情感表达对应于类别情绪模型。
[0004]实际上情感变化并不都包含于人脸表情变化中，人脸表情也可以自主控制，所以基于人脸表情分析很容易存在误判，而且在现实场景中，人都会不自主的运动或者脸部存在一定的光线变化，这就会使得从视频中提取到的生理信号受到污染，所以根据这些信号所做的特征分析和情感关联并不严谨，同时一般的类别情绪模型无法涵盖更多的情感表达，使得情感分类有些粗糙。
[0005]综上，现有技术中基于人脸表情和基于图片或视频的生理信号对情绪识别分析存在容易产生误判，不够严谨，以及对情感表达分析覆盖面窄的问题。因此，我们迫切的需要一种对情绪识别分析更加准确，更加严谨，对情感表达分析的覆盖面更广的视觉感知情绪识别方法。

技术实现思路

[0006]基于以上问题，本专利技术的目的在于：提供一种视觉感知情绪识别方法，用于解决现有技术中基于人脸表情和基于图片或视频的生理信号对情绪识别分析存在容易产生误判，不够严谨，以及对情感表达分析覆盖面窄的问题。本专利技术中通过脸部视频结合人脸识别算法，利用心率、呼吸的波形以及心率变异性的生理参数，通过做信号去噪和稳定后，将可靠的信号特征用于深度学习建模，并在此基础上读取VAD模型得到具体的情感表示，从而可以准确分析出被试者的多种情感变化，进而通过该方法不容易对情绪识别分析产生误判，以及对情感表达分析的覆盖面更广。
[0007]本专利技术为了实现上述目的具体采用以下技术方案：
[0008]一种视觉感知情绪识别方法，包括以下步骤：
[0009]步骤1：通过摄像头采集人脸视频并进行人脸检测和兴趣区域定位；
[0010]步骤2：提取兴趣区域的颜色通道信息分解降维；
[0011]步骤3：信号去噪和稳定，提取心率、呼吸的波形以及心率变异性的生理参数；
[0012]步骤4：提取生理参数的预训练非线性特征进行基于孪生网络的支持向量机模型的建模回归；
[0013]步骤5：利用回归的三维信息读取VAD模型得到具体的情感表示。
[0014]其中，步骤1中采集包含有人脸区域的RGB格式的视频信息，对视频信息采用人脸检测和特征点定位算法得到图像的人脸所在位置和特征点的坐标信息，以特征点的信息选取包含脸颊的矩形区域为兴趣区域。
[0015]进一步的，步骤2中包括以下步骤：
[0016]步骤2.1：将兴趣区域进行颜色空间转化，同时投影至CIELab颜色空间和YUV颜色空间；
[0017]步骤2.2：将兴趣区域等分成n个区域，并在时间窗口T内取a,b,U,V四个通道的均值，拼接在一起得到视频的特征矩阵F
n
×
T
，将特征矩阵F
n
×
T
作非负矩阵分解：
[0018]F
n
×
T
≈MN
[0019]其中M和N是两个非负矩阵，内部元素的值均大于0，n为兴趣区域的区域个数；
[0020]设误差矩阵E表示为E＝F
n
×
T
‑
MN，假设误差矩阵E服从高斯分布，采用乘性迭代的方式求出M、N，将分离得到的两个非负矩阵M和N相乘得到重构矩阵,并获取重构矩阵的最大奇异值，即视为与心率最相关的一维信号。
[0021]进一步的，步骤3包括以下步骤：
[0022]步骤3.1：将一维信号进行快速傅里叶变换转化到频域，并滤掉心率频带外和呼吸频带外的噪声，得到除噪后的心率信号和除噪后的呼吸信号，再结合最小二乘平滑滤波消除心率信号和呼吸信号的带内噪音，然后通过三次样条插值对数据进行增强、稳定，得到去噪后的远程心率波形信号OS
HR
和呼吸波形信号OS
BR
；
[0023]步骤3.2：将OS
HR
和OS
BR
分别进行PSD功率谱分析，找到每个PSD功率谱的峰值所对应的频率值,即分别得到心率基频和呼吸基频，将对应的心率基频和呼吸基频分别乘以60，即可分别得到具体的心率值和呼吸值；
[0024]步骤3.3：对OS
HR
信号作窗口滑动判断峰值所在位置，设置心跳周期窗口ω
b
和收缩高峰期窗口ω
p
，将OS
HR
信号应用快速傅里叶变换，并获得每个时间点i的频率f
b[i]和f
p[i]，然后计算ω
b[i]和ω
p[i]，即ω
b[i]＝1/f
b[i]，ω
p[i]＝1/f
p[i]；
[0025]步骤3.4：根据心跳周期窗口ω
b
和收缩高峰期窗口ω
p
分别计算阈值win1和win2。
[0026]5.根据权利要求4所述的一种视觉感知情绪识别方法，其特征在于：步骤3.4中计算阈值win1和win2的公式分别为：
[0027][0028]Win2＝|ω
p
|
[0029]其中，OS
HR
为远程心率波形信号，ω
b
为心跳周期窗口，ω
p
为收缩高峰期窗口，i为时间点,OS
HR
(i)为当前i时间点的远程心率波形信号值；
[0030]当心跳周期窗口内的OS
HR
(i)大于win1时，则视为感兴趣区域，感兴趣区域的宽度大于win2时，则认为是满足峰值检测条件，取感兴趣区域中的最大值为峰值，根据峰值之间
的位置差计算得到心率变异性PRV。
[0031]进一步的，步骤4包括以下步骤：
[0032]步骤4.1：提取脉搏时序信号和呼吸时序信号的预训练特征，提取心率变异性的特征组合；
[0033]步骤4.2：网络构建和回归。
[0034]其中，步骤4.1中提取脉搏时序信号和呼吸时序信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉感知情绪识别方法，其特征在于：包括以下步骤：步骤1：通过摄像头采集人脸视频并进行人脸检测和兴趣区域定位；步骤2：提取兴趣区域的颜色通道信息分解降维；步骤3：信号去噪和稳定，提取心率、呼吸的波形以及心率变异性的生理参数；步骤4：提取生理参数的预训练非线性特征进行基于孪生网络的支持向量机模型的建模回归；步骤5：利用回归的三维信息读取VAD模型得到具体的情感表示。2.根据权利要求1所述的一种视觉感知情绪识别方法，其特征在于：步骤1中采集包含有人脸区域的RGB格式的视频信息，对视频信息采用人脸检测和特征点定位算法得到图像的人脸所在位置和特征点的坐标信息，以特征点的信息选取包含脸颊的矩形区域为兴趣区域。3.根据权利要求2所述的一种视觉感知情绪识别方法，其特征在于：步骤2中包括以下步骤：步骤2.1：将兴趣区域进行颜色空间转化，同时投影至CIELab颜色空间和YUV颜色空间；步骤2.2：将兴趣区域等分成n个区域，并在时间窗口T内取a,b,U,V四个通道的均值，拼接在一起得到视频的特征矩阵F
n
×
T
，将特征矩阵F
n
×
T
作非负矩阵分解：F
n
×
T
≈MN其中M和N是两个非负矩阵，内部元素的值均大于0，n为兴趣区域的区域个数；设误差矩阵E表示为E＝F
n
×
T
‑
MN，假设误差矩阵E服从高斯分布，采用乘性迭代的方式求出M、N，将分离得到的两个非负矩阵M和N相乘得到重构矩阵,并获取重构矩阵的最大奇异值，即视为与心率最相关的一维信号。4.根据权利要求3所述的一种视觉感知情绪识别方法，其特征在于：步骤3包括以下步骤：步骤3.1：将一维信号进行快速傅里叶变换转化到频域，并滤掉心率频带外和呼吸频带外的噪声，得到除噪后的心率信号和除噪后的呼吸信号，再结合最小二乘平滑滤波消除心率信号和呼吸信号的带内噪音，然后通过三次样条插值对数据进行增强、稳定，得到去噪后的远程心率波形信号OS
HR
和呼吸波形信号OS
BR
；步骤3.2：将OS
HR
和OS
BR
分别进行PSD功率谱分析，找到每个PSD功率谱的峰值所对应的频率值,即分别得到心率基频和呼吸基频，将对应的心率基频和呼吸基频分别乘以60，即可分别得到具体的心率值和呼吸值；步骤3.3：对OS
HR
信号作窗口滑动判断峰值所在位置，设置心跳周期窗口ω
b
和收缩高峰期窗口ω
p
，将OS
HR
信号应用快速傅里叶变换，并获得每个时间点i的频率f
b[i]
和f
p[i]
，然后计算ω
b[i]
和ω
p[i]
，即ω
b[i]
＝1/f
b[i]
，ω
p[i]
＝1/f
p[i]
；步骤3.4：根据心跳周期窗口ω
b
和收缩高峰期窗口ω
p
分别计算阈值win1和win2。5.根据权利要求4所述的一种视觉感知情绪识别方法，其特征在于：步骤3.4中计算阈值win1和win2的公式分别为：Win2＝|ω
p
|
其中，OS
HR
为远程心率波形信号，ω
b
为心跳周期窗口，ω
p
为收缩高峰期窗口，i为时间点,OS
HR
(i)为当前i时间点的远程心率波形信号值；当心跳周期窗口内的OS
HR
(i)大于win1时，则视为感兴趣区域，感兴趣区域的宽度大于win2时，则认为是满足峰值检测条件，取感兴趣区域中的最大值为峰值，根据峰值之间的位置差计算得到心率变异性PRV。6.根据权利要求5所述的一种视觉感知情绪识别方法，其特征在于：步骤4包括以下步骤：步骤4.1：提取脉搏时序信号和呼吸时序信号的预训练特征，提取心率变异性的特征组合；步骤4.2：网络构建和回归。7.根据权利要求6所述的一种视觉感知情绪识别方法，其特征在于：步骤4.1中提取远程心率波形时序信号和呼吸时序信号的预训练特征包括以下步骤：步骤(1)：远程心率波形时序信...

【专利技术属性】
技术研发人员：李丹疆，刘萍，黎平，
申请(专利权)人：贵阳像树岭科技有限公司，
类型：发明
国别省市：