基于可迁移注意力神经网络的脑电情感识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于可迁移注意力神经网络的脑电情感识别方法及装置，其中，方法包括：(1)获取一个脑电情感数据库，分为训练集和测试集；(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网；(3)网络进行训练，总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数；(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。本发明专利技术识别准确率更高。

EEG emotion recognition method and device based on transferable attention neural network

【技术实现步骤摘要】
基于可迁移注意力神经网络的脑电情感识别方法及装置
本专利技术涉及情感识别技术，尤其涉及一种基于可迁移注意力神经网络的脑电情感识别方法及装置。
技术介绍
人类作为世界上情感最为丰富的动物，在进行各种活动的过程中，总是伴随着情感的发生。在人类的日常生活交流中，对于情感的互相感知，是人类流畅交流的重要部分。积极的情感使人身心愉悦，有助于健康且可以提高人的工作效率；消极的情感会引起很多健康问题，例如长时间累积的消极情绪更容易诱发抑郁症甚至是自杀倾向。所以，研究人类的情感就显得十分重要。大脑是人类情感产生的根源，对于大脑的直接研究，就是从根源上来研究人类的情感。与大脑直接相关的脑电(EEG)信号，作为大脑神经元信息传递过程中发出的一种电信号，为从根源上直接解码人类的情感提供了一种途径和手段。和表情与语音数据不同，脑电数据不能被伪装，因此其更能准确的反应一个人的真实情感。受益于新型无线脑电设备的高可穿戴性、低价格、便携性和易用性等特点，脑电情感识别技术正在逐步走向市场。其可以应用在众多领域如娱乐设施、在线学习、虚拟现实技术和各种电子医疗等。因此，脑本文档来自技高网...

【技术保护点】
1.一种基于可迁移注意力神经网络的脑电情感识别方法，其特征在于该方法包括：/n(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；/n(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别；/n(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑...

【技术特征摘要】
1.一种基于可迁移注意力神经网络的脑电情感识别方法，其特征在于该方法包括：
(1)获取一个脑电情感数据库，分为训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；
(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网，用于提取输入样本数据中易于迁移与情感相关的全局特征，所述情感分类器用于预测输入的样本数据的情感类别；
(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取大脑全局特征，并将从训练集中每一脑电情感数据提取的全局特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数，完成网络训练；
(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。


2.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述深度特征提取模块具体包括：
脑电情感数据获取单元，用于获取输入的脑电情感数据式中，形如x*表示X中第*个电极采集的脑电信号，d表示电极采集的数据的维度，n表示电极数目；
第一递归神经网络，用于从水平方向扫描脑电情感数据中所有电极采集的脑电信号，获得水平方向上包含自身和左右电极关系的电极数据表示Hh＝{hh,i}；其中，所述第一递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：






式中，hh,i、hh,j为第一递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，df是输出数据维度；为可学习的参数矩阵；σ(.)表示非线性函数，N(xi)表示xi的前序节点集合；
第二递归神经网络，用于从垂直方向扫描脑电情感数据中所有电极采集的脑电信号，获得垂直方向上包含自身和上下电极关系的电极数据表示Hv＝{hv,i}；其中，所述第二递归神经网络包括n个隐藏单元，每个隐藏单元执行如下计算：






式中，hv,i、hv,j为第二递归神经网络的第i、j个隐藏单元的输出，i＝1,…,n，为可学习的参数矩阵；N(xi)表示xi的前序节点集合；
顺序调整单元，用于调整Hh和Hv中元素的顺序，使变换后的电极位置一致；
特征合并单元，用于根据下式计算得到的脑电情感数据X的深度特征H：
H＝{hk}



式中，P和Q为两个变换矩阵。


3.根据权利要求1所述的基于可迁移注意力神经网络的脑电情感识别方法，其特征在于：所述局部注意力子网具体包括：
大脑区域分组单元，用于将大脑区域分为N个脑区，并按照脑区划分规则将脑电情感数据的深度特征H进行划分，得到每个脑区的深度特征H1,...,HN；
排序单元，用于将所有脑区的深度特征按序组成特征：
N个局部域判别器，输入为对应脑区的深度特征Hl，用于获取输入数据属于测试集的概率和属于训练集的概率输出
可迁移性量化单元，用于量化局部域判别器输入数据的可迁移性，即每个脑区数据从训练集迁移到测试集的难易程度，量化公式为：



式中，l表示第l个脑区，H(dl)表示Hl的可迁移性值；
注意力值获取单元，用于根据所述可迁移性值计算得到局部注意力值wl：

【专利技术属性】
技术研发人员：郑文明，李阳，江星洵，宗源，李溯南，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32