一种基于多任务胶囊的脑电情绪识别方法技术

本发明专利技术公开了一种基于多任务学习的脑电信号情绪识别方法，其步骤包括：1，对于原始EEG数据进行去基线和片段分割的预处理；2，建立多任务学习模型；3，对原始EEG信号进行通道注意力的处理；4，构建多任务胶囊网络模型；5，在公开数据集上采用十折交叉方法训练建立的多任务胶囊网络模型；6，利用建立好的模型实现情绪分类任务。本发明专利技术能实现高精度情绪识别，从而提高识别率。提高识别率。提高识别率。

【技术实现步骤摘要】
一种基于多任务胶囊的脑电情绪识别方法


[0001]本专利技术涉及情感计算领域，具体的说是一种基于多任务的脑电信号情绪识别方法。

技术介绍

[0002]情绪是人们日常生活中不可缺少的一部分，与此同时情绪识别也是人工智能领域的关键技术。应用于情绪识别的研究有很多种，常用的有人的表情、语言、肢体动作等判断人的情感，其中的脑电信号(Electroencephalogram,EEG)室是有实时差异性，但是他与人类的感情状态有着密切的联系，所以本专利技术采用基于EEG信号的情绪识别研究方法。EEG情绪识别算法主要分为两类：传统算法和基于深度学习的算法。
[0003]基于EEG信号的情绪识别的传统算法中，通常是先从EEG信号中提取特征，再将提取得到的特征送到训练分类器进行识别任务。因此选择什么样的特征进行情绪识别非常关键，常用的脑电特征有时域特征、特征和时频特征等，功率谱特征、小波特征和微分熵等特征作为情绪相关特征进行情绪分类时，也可以取得比较好的结果。
[0004]近年来，深度学习方法引起情感计算领域的广泛关注，人们采用各种深度学习网络作为分类器应用于从EEG信号提取得到的特征。除此上述，也有一些直接将深度学习网络直接用于原始EEG信号中，将特征提取与分类同时进行，从而实现端到端的情绪识别研究。
[0005]目前，这种基于深度学习的端到端的情绪识别方法大多数都是单任务学习提取EEG信号的特征，并且现有的深度学习方法都是基于单任务学习，但是这种方法却不能考虑脑电信号的所有任务之间的的相关信息，当然也不会考虑到脑电信号各任务之间互补信息的共享性，从而使得脑电识别精度降低，因此不能达到预期的识别率。

技术实现思路

[0006]本专利技术为克服现有单任务学习技术的不足之处，提出一种基于多任务胶囊的脑电情绪识别方法，以期能实现高精度情绪识别，从而提高识别率。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于多任务胶囊的脑电信号情绪识别方法的特点是按如下步骤进行：
[0009]步骤1、获取任一受试者B的带有L种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者B的N个脑电信号样本，记为U＝{U1,U2,
…
,U
k
,
…
U
N
}，其中，U
k
∈R
m
×
p
表示第k个脑电信号样本，m表示通道数，p表示采样点数；L≥2；且每种情绪标签有q种类型；
[0010]步骤2、建立初始的多任务胶囊模型，包括：通道注意力机制模块和胶囊网络组成，其中，通道注意力机制模块包含最大池化层、平均池化层和共享多层感知器MLP，胶囊网络包含共享卷积层，共享初始胶囊层、动态路由层和情绪胶囊层；
[0011]步骤2.1、将N个脑电信号样本U输入所述多任务胶囊模型中，经过所述通道注意力机制模块的最大池化层和均值池化层的操作后输出的结果再输入所述共享多层感知器MLP
中，输出与通道相关的特征概率图序列C＝{C1,C2,...,C
k
,...,C
N
}；其中，C
k
表示第k个通道的特征概率图；
[0012]将所述特征概率图序列C与N个脑电信号样本U相乘后，得到含有通道注意力机制的EEG数据其中，第k个通道的EEG数据；
[0013]步骤2.2、将所述含有通道注意力机制的EEG数据送入所述胶囊网络中，经过所述共享卷积层的卷积操作后得到低级共享特征序列P＝{P1,P2,...,P
k
,...,P
N
}；其中，P
k
表示第k个低级共享特征；
[0014]步骤2.3、所述低级共享特征序列P＝{P1,P2,...,P
k
,...,P
N
}经过共享初级胶囊层后得到相应的低级特征向量H＝{H1,H2,...,H
k
,...,H
N
}，其中，H
k
表示第k个低级特征；
[0015]步骤2.4、利用式(1)建立胶囊网络的第l种情绪标签的第q种类型损失函数Loss
lq
：
[0016]Loss
lq
＝G
lq
max(0,m
+
‑
||z
lq
||2)2+λ(1
‑
G
lq
)max(0,||z
lq
||2‑
m
‑
)2ꢀꢀꢀ
(1)
[0017]式(1)中，z
lq
即为情绪胶囊层输出的第l种情绪标签的第q种类型的情绪胶囊，G
lq
是第l个情绪任务的第q种类型的指示函数，当第l种情绪标签中存在第q种类型时，则令G
lq
＝1，否则令G
lq
＝0；m
+
和m
‑
分别表示假阳性和假阴性的惩罚函数；λ是比例系数；
[0018]利用式(2)建立总损失Loss：
[0019][0020]步骤2.5、设置所述动态路由层中的一组初始参数，并将其初始化为0；取所述初始参数的softmax函数得到初始耦合系数；
[0021]所述动态路由层基于所述总损失Loss对所述低级特征向量H＝{H1,H2,...,H
k
,...,H
N
}进行多轮训练和反向传播，得到每一轮的变换矩阵；所述低级特征向量H与每一轮的变换矩阵相乘后，就可以得到每一轮的预测向量，即每一轮的高级特征；
[0022]将每一轮的预测向量与每一轮的耦合系数进行相乘后再相加，得到低级特征向量H属于每一轮的高级特征的概率；
[0023]利用非线性函数对所述概率进行0到1之间的挤压处理，得到情绪胶囊；
[0024]所述情绪胶囊层对所述情绪胶囊进行向量长度的计算，得到N个脑电信号样本U的每个脑电信号样本属于L种情绪标签的概率，并选择最后一轮的训练结果作为最终的识别结果。
[0025]与已有技术相比，本专利技术的有益效果体现在：
[0026]1、本专利技术通过构建多任务的胶囊网络，从输入的原始EEG信号中提取各个任务的互补的信息，并从这些信息中提取出情绪相关特征，实现了从不同的任务中获取更多的数据，解决了现有情绪识别只能单个任务学习的数据缺乏等问题。
[0027]2、本专利技术能够实现端到端的训练和测试，与传统的情绪识别技术相比，端到端的结构能够同时实现情绪相关特征的提取和分类，不需要手工设计复杂的情绪相关特征，通过训练使网络具有特征提取能力。
[0028]3、本专利技术通过通道注意力模块提取全局性通道和空间信息，能有效的获取从原始多个任务数据中提取的EEG空间信息，提取的特征信息最终提高了情绪识别精度。
[0029本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务胶囊的脑电信号情绪识别方法，其特征是按如下步骤进行：步骤1、获取任一受试者B的带有L种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者B的N个脑电信号样本，记为U＝{U1,U2,
…
,U
k
,
…
U
N
}，其中，U
k
∈R
m
×
p
表示第k个脑电信号样本，m表示通道数，p表示采样点数；L≥2；且每种情绪标签有q种类型；步骤2、建立初始的多任务胶囊模型，包括：通道注意力机制模块和胶囊网络组成，其中，通道注意力机制模块包含最大池化层、平均池化层和共享多层感知器MLP，胶囊网络包含共享卷积层，共享初始胶囊层、动态路由层和情绪胶囊层；步骤2.1、将N个脑电信号样本U输入所述多任务胶囊模型中，经过所述通道注意力机制模块的最大池化层和均值池化层的操作后输出的结果再输入所述共享多层感知器MLP中，输出与通道相关的特征概率图序列C＝{C1,C2,...,C
k
,...,C
N
}；其中，C
k
表示第k个通道的特征概率图；将所述特征概率图序列C与N个脑电信号样本U相乘后，得到含有通道注意力机制的EEG数据其中，第k个通道的EEG数据；步骤2.2、将所述含有通道注意力机制的EEG数据送入所述胶囊网络中，经过所述共享卷积层的卷积操作后得到低级共享特征序列P＝{P1,P2,...,P
k
,...,P
N
}；其中，P
k
表示第k个低级共享特征；步骤2.3、所述低级共享特征序列P＝{P1,P2,...,P
k
,...,P
N
}经过共享初级胶囊层后得到相应的低级特征向量H＝{H1,H2,...,H
k
,...,H
N

【专利技术属性】
技术研发人员：李畅，王彬，刘羽，成娟，宋仁成，陈勋，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：