一种基于增强学习的EEG信号情感识别方法技术

本发明专利技术公开了一种基于增强学习的EEG信号情感识别方法。包括以下步骤：S1、采用半监督学习机制来过滤训练集中标签错误的脑电图信号；S2、采用向量化卷积来提取EEG通道与频段的关系；S3、将模糊推理与RNN相结合，提取脑电图的有效时态信息，以更好地理解情感；S4、输出该EEG信号对应受试者的情感。本发明专利技术采用向量化卷积来提取EEG频段和信道之间的联系，将模糊推理与递归神经网络结合来应对情绪EEG信号的模糊性并提取其中的时间信息。同时，使用无监督学习和标记数据，使用于训练的数据更加准确。

【技术实现步骤摘要】
一种基于增强学习的EEG信号情感识别方法
本专利技术属于智能交通
，特别涉及一种基于增强学习的EEG信号情感识别方法。
技术介绍
驾驶员处于疲劳驾驶状态，他们识别路况和驾驶技能的能力明显下降。研究结果表明，25％-30％的交通事故是由疲劳驾驶引起的。为了克服这个问题，必须开发一个系统，能够有效地检测司机的疲劳驾驶，并及时警告他们。使用可穿戴设备测量驾驶员的心率或使用RGB摄像头提取面部特征，可以检测驾驶员的疲劳。但是，可穿戴设备会给驾驶员带来不便和不适，RGB摄像机的检测精度可能会受到光线、眼镜和头部方向的影响。此外，大多数现有方法忽略了疲劳特征的时间信息及其特征之间的关系，降低了识别精度。此外，一些现有的疲劳检测方法侧重于处理具有时态切片的疲劳特征，而忽略特征中的时间变化。基于车辆行为的方法主要测量车辆数据，如转向角度、速度、加速度和转弯角度，而不考虑检测驾驶员疲劳的生理信号并做出早期警告。基于生理信号的方法主要应用电图(EOG)和心电图和其他生理信号。司机必须佩戴侵入性、妨碍驾驶、导致用户体验不良的相关设备。基于行为的方法通过视觉分析面部特征(如眼睑闭合持续时间、眨眼、打哈欠、头部姿势、眼睑运动和面部表情来检测疲劳驾驶。因为基于视觉行为的方法不会干扰驾驶，因此它们更容易被驾驶员接受。在基于行为的方法方面，通过检测眼睑闭合频率来确定疲劳度(占眼睑闭合(PERCLOS)的百分比。打哈欠作为疲劳引起的无意识行为，也用于视觉疲劳检测。一些方法使用打哈欠面部视频在疲劳测试中取得了良好的效果，这验证了通过面部表情检测疲劳的可行性。但是，驾驶员突然张开嘴或由远光灯引起的眼睛闪烁运动可能会降低识别精度。驾驶员疲劳是一个连续时间过程，因此疲劳特征的时态变化对于疲劳驾驶识别非常重要。但是，现有的算法侧重于处理具有较短时间内的疲劳特征，而忽略了疲劳特征的时间变化。一些方法可以通过使用可穿戴设备测量心率来检测疲劳。然而，佩戴设备对驾驶员来说不方便，并可能使他们感到不舒服。现有的疲劳驾驶检测方法使用RGB图像来提取开眼，光线、眼镜和头部定向都会受到影响。很少有现有模型捕获特征的时间信息以及用于驾驶员疲劳检测的特征之间的时态关系信息。
技术实现思路
为了解决上述现有技术存在的缺陷，本专利技术给出一种基于增强学习的EEG信号情感识别方法，包括以下步骤：S1、采用半监督学习机制来过滤训练集中标签错误的脑电图信号；S2、采用向量化卷积来提取EEG通道与频段的关系；、S3、将模糊推理与RNN相结合，提取脑电图的有效时态信息，以更好地理解情感；S4、输出该EEG信号对应受试者的所属于的情感，这里情感是指输出受试者是属于积极情绪、消极情绪、中性情绪中的哪一种。进一步地，EEG数据中标注受试者的积极情绪、消极情绪和中性情绪三种情感，所述标签错误是指在积极情绪EEG数据中包含有错误标记为积极情绪的中性情绪EEG数据，或在消极情绪EEG数据中包含有错误标记为消极情绪的中性情绪EEG数据，所述过滤训练集中标签错误的脑电图信号是指，采用基于目标函数的模糊聚类算法FCM对EEG数据进行处理，筛选出被错误标注为积极情绪或消极情绪的中性情绪脑电图数据。在EEG数据集中，当用于刺激受试者情绪的视频的整体情绪状态为积极、消极或中性时，来自受试者的相应EEG数据情绪状态将标记为积极情绪、消极情绪或中性情绪。但是，在EEG采集过程中，积极或消极情绪EEG数据可能包含部分中性情绪数据，这些数据被错误地标记为积极或消极情绪。这种标签错误的脑电图数据会极大地干扰情绪识别方法的准确性。进一步地，从包含有中性情绪的消极情绪EEG数据中筛选出中性情绪EEG数据，具体筛选方法如下：假设FCM的输入EEG数据是X＝[x1,x2,…,xn]，是包含有消极情绪和中性情绪的消极情绪EEG数据，通过FCM将EEG数据X按时间维度分成两组，其中一组是被错误标记为消极情绪的中性脑电图数据X1＝[x1,x2,…,xi]，另一组是消极情绪脑电图数据X2＝[xi+1,xi+2,...,xn]，采用欧几里得计算X1和Xneural、X2和Xneural之间的距离，以确定相似性，通过相似性筛选出真实的中性情绪脑电图数据ρ是筛选要素序列的长度。进一步地，所述采用向量化卷积来提取EEG通道与频段的关系；通过融合这两种维度的信息能够更全面的利用EEG信号进行情感分类。具体为：通过向量化卷积层进行卷积操作，假设X是一段时间内EEG特征，对每个元素xi执行向量化卷积，其中xi的行是通道列是频段，通过一系列卷积操作将xi变成一个向量，最终向量的长度是通道的数量。进一步地，所述将模糊推理与RNN相结合，从EEG信号中提取心率特征的时间信息中的将模糊推理与RNN相结合具体包括6层，第一层为输入层，第二层为模糊层，使用高斯隶属函数计算来自第一层的数据的隶属资格值，高斯隶属函数如下：其中，mi、分别表示高斯隶属函数的均值和方差，表示第二层的输出，表示第1层的输出，i表示是神经元的序号，λ代表的含义是第二层神经元的个数。脑电图是一个生理信号，包含噪声。通过模糊层可以在一定程度上减弱噪声。第三层为空间激活层，用于计算第四层的每个节点的隶属化程度，第三层的节点使用从第二层接收的隶属度操作提供空间激活度，使用连续累积乘法作为模糊运算符，空间激活强度计算如下：其中，表示第三层的输出，λ分别代表的含义是第2层的第i个输出中的第j维和第2层神经元的第i个输出的维度。第四层为循环层，用于获取EEG的时变特征，此层输出将第三层传输的空间激活强度与上次的时间激活强度相结合，t表示当前时间步数，t-1表示上一时间步数，此层的每个神经元按如下方式计算：其中分别代表时间激活强度、第三层的输出和第四层的输出。受试者的情绪与脑电图信号随时间的变化有关。RNN能有效地提取时间序列数据的特性，因此在该层中应用。获得EEG的时变特征可以帮助准确识别随时间变化的情绪。第五层为结果层，由于第六层的去模糊化操作需要使用模糊化层的输入，因此，在此层中，时态信息需要与第二层的输出合并，具体而言，此层使用第一层和第四层的输出进行加权线性求和计算，第5层中的每个节点都有一个输出作为下一个图层的输入，其中，i,j∈[1,ρ]，νijωi是权重参数，νij、ωi分别代表第2层传递到当前层值的权重和第4层传递到当前层的权重。分别表示第2层的第i个输出中的第j维、第四层的输出和第五层的输出。第六层为输出层，执行去模糊化，采用加权平均脱模糊法，如下所示：y表示第六层的输出，是受试者对应的积极情绪或消极情绪或中性情绪。本实模型中利用反向传播来调整网络参数和结构，模型的损耗函数如下：其中，是脑电图数据的情感标签，y代表第六层的输出。yi表示为y的第i个元素。与现有技术相比，本专利技术具有以下有益效果本文档来自技高网...

【技术保护点】
1.一种基于增强学习的EEG信号情感识别方法，其特征在于，包括以下步骤：/n采用半监督学习机制来过滤训练集中标签错误的脑电图信号；/n采用向量化卷积来提取EEG通道与频段的关系；/n将模糊推理与RNN相结合，提取脑电图的时态信息；/n输出该EEG信号对应受试者的情感。/n

【技术特征摘要】
1.一种基于增强学习的EEG信号情感识别方法，其特征在于，包括以下步骤：
采用半监督学习机制来过滤训练集中标签错误的脑电图信号；
采用向量化卷积来提取EEG通道与频段的关系；
将模糊推理与RNN相结合，提取脑电图的时态信息；
输出该EEG信号对应受试者的情感。


2.根据权利要求1所述的一种基于增强学习的EEG信号情感识别方法，其特征在于：EEG数据中标注受试者的积极情绪、消极情绪和中性情绪三种情感，所述标签错误是指在积极情绪EEG数据中包含有错误标记为积极情绪的中性情绪EEG数据，或在消极情绪EEG数据中包含有错误标记为消极情绪的中性情绪EEG数据，
所述过滤训练集中标签错误的脑电图信号是指，采用基于目标函数的模糊聚类算法FCM对EEG数据进行处理，筛选出被错误标注为积极情绪或消极情绪的中性情绪脑电图数据。


3.根据权利要求2所述的一种基于增强学习的EEG信号情感识别方法，其特征在于，从包含有中性情绪的消极情绪EEG数据中筛选出中性情绪EEG数据，具体筛选方法如下：
假设FCM的输入EEG数据是X＝[x1,x2,…,xn]，是包含有消极情绪和中性情绪的消极情绪EEG数据，
通过FCM将EEG数据X按时间维度分成两组，其中一组是被错误标记为消极情绪的中性脑电图数据X1＝[x1,x2,…,xi]，另一组是消极情绪脑电图数据X2＝[xi+1,xi+2,...,xn]，
采用欧几里得计算X1和Xneural、X2和Xneural之间的距离，以确定相似性，通过相似性筛选出真实的中性情绪脑电图数据ρ是筛选要素序列的长度。


4.根据权利要求1所述的一种基于增强学习的EEG信号情感识别方法，其特征在于，所述采用向量化卷积来提取EEG通道与频段的关系，具体为：通过向量化卷积层进行卷积操作，对X中的每个元素xi执行向量化卷积，其中xi的行是通道列是频段，通过一系列卷积操作...

【专利技术属性】
技术研发人员：杜广龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44