一种基于脑连接储备池和图卷积神经网络的情绪识别方法技术

一种基于脑连接储备池和图卷积神经网络的情绪识别方法，将脑电信号的双向特征表示和效价偏侧化运用到脑电情绪识别中，通过脑连接储备池对脑电信号进行双向特征表示，不仅综合考虑了脑电信号的时序性、相关性和非线性，更增强了脑连接储备池的长期记忆能力；将效价偏侧化应用于脑连接储备池和图卷积神经网络的训练，提高了脑连接储备池和图卷积神经网络对脑电信号的特征表示能力。脑电信号的特征表示能力。脑电信号的特征表示能力。

【技术实现步骤摘要】
一种基于脑连接储备池和图卷积神经网络的情绪识别方法


[0001]本专利技术属于计算机应用
，具体涉及一种基于脑连接储备池和图卷积神经网络的情绪识别方法。

技术介绍

[0002]智能时代的到来已势不可挡，情绪识别也尤为重要。情绪识别可用于各个领域，监测个体情感状态。例如，在医疗研究领域用于监测患者情绪状态，采取医治措施；在产品设计领域用于了解用户情感变化，改进用户体验。因此，情绪识别是建立和谐、友好、智能的人机交互环境的重要一环。脑电情绪识别的方法主要分为两个方法，即特征提取方法和分类方法。传统的情绪识别技术大多是对脑电信号进行时域、频域等的特征表示，以分类情绪，但是大多没有综合考虑到脑电信号的时序性、非线性和相关性以及结合大脑的情绪偏侧化的处理方式，这种方法情绪识别的准确率较低。

技术实现思路

[0003]本专利技术针对上述
技术介绍
种存在的不足，提供了一种基于脑连接储备池和图卷积神经网络的情绪识别方法。
[0004]一种基于脑连接储备池和图卷积神经网络的情绪识别方法，其特征在于：所述方法包括如下步骤：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑连接储备池和图卷积神经网络的情绪识别方法，其特征在于：所述方法包括如下步骤：步骤S1：建立基于脑连接储备池的特征表示模型和基于图卷积神经网络的情绪识别模型，前者用于获取原始脑电信号的双向特征表示，后者用于对脑电信号的双向特征表示进行情绪分类；步骤S2：将脑连接储备池分为左、右半脑连接储备池，通过基于效价偏侧化的训练算法对左、右半脑连接储备池和图卷积神经网络进行训练；步骤S3：使用训练后的基于脑连接储备池的特征表示模型对原始脑电信号进行双向特征表示，使用训练后的基于图卷积神经网络的情绪识别模型对脑电信号的双向特征表示进行情绪四分类。2.根据权利要求1所述的一种基于脑连接储备池和图卷积神经网络的情绪识别方法，其特征在于：在步骤S1中，建立基于脑连接储备池的特征表示模型和基于图卷积神经网络的情绪识别模型，具体步骤如下：步骤S1
‑
1：基于脑连接储备池的特征表示模型为两层网络结构。第一层为输入层，用于接收脑电信号，输入层的权重矩阵为W
in
；第二层为脑连接储备池，用于生成脑电信号的双向特征表示，脑连接储备池的权重矩阵为W，脑连接储备池的激活函数为双曲正切函数tanh()；步骤S1
‑
2：输入层输入的脑电信号X表示为：其中，X(t)表示t时刻所有通道的脑电信号，X
j
、X
k
分别表示通道j和k中所有时刻的脑电信号，x
j
(t)和x
k
(t)分别表示通道j和k中t时刻的脑电信号，D为脑电信号的时长，N为脑电通道数；步骤S1
‑
3：随机初始化输入层的权重矩阵W
in
；通过计算各通道间的相关度确定脑连接储备池的结构以初始化脑连接储备池的权重矩阵W＝{ω
jk
|j∈[1,N],k∈[1,N]}；具体地，通道j和通道k之间的相关度是以加权相位滞后指数α
WPLI
(X
j
,X
k
)衡量的，计算公式为：其中，Δθ是X
j
和X
k
之间的相位差，sign()为符号函数，l
j
和l
k
分别表示X
j
和X
k
经过Hilbert变换后的幅值，且j,k∈[1,N]；脑连接储备池内的每个神经元分别对应每个脑电通道；确定一个阈值ε，如果α
WPLI
(X
j
,X
k
)大于ε，则认为通道j和k之间有连接，且通道j与通道k之间的连接权值ω
jk
＝α
WPLI
(X
j
,X
k
)；否则，无连接，且ω
jk
＝0；最后得到所有通道之间的连接权值，组成脑连接储备池的权重矩阵W；
步骤S1
‑
4：基于图卷积神经网络的情绪识别模型为三层网络结构，前两层均为图卷积层；第一层图卷积层用于对双向特征表示进行图卷积以得到脑电信号的双向图卷积特征表示，第二层图卷积层用于对双向图卷积特征表示进行融合以得到脑电信号的融合特征表示；第一层图卷积层的权重矩阵为W
(0)
，第二层图卷积层的权重矩阵为W
(1)
，前两层图卷积层的权值矩阵均为随机初始化，它们的激活函数均为ReLU()；第三层为全连接层，用于对融合特征表示进行分类得到脑电信号的情绪类别，全连接层的权重矩阵和固定偏置项分别为W
c
和b，均是随机初始化，全连接层的激活函数为softmax()。3.根据权利要求1所述的一种基于脑连接储备池和图卷积神经网络的情绪识别方法，其特征在于：在步骤S2中，基于效价偏侧化的训练算法训练脑连接储备池和图卷积神经网络，具体步骤如下：步骤S2
‑
1：输入的脑电信号为计算交叉熵损失函数Loss，公式如下：其中，X
i
为第i个样本的脑电信号，为第i个样本的通道j的脑电信号，m为样本数，y
i
分别为第i个样本的情绪分类结果和实际情绪类别，且y,0代表消沉，1代表生气，2代表放松，3代表开心，0和1属于消极情绪，...

【专利技术属性】
技术研发人员：周剑，赵田田，李群，严筱永，程春玲，肖甫，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：