基于自监督CNN的脑电情绪识别方法技术

本发明专利技术涉及基于自监督CNN的脑电情绪识别方法，在多任务卷积神经网络模型基础上，利用自监督的学习方法对模型进行训练，在DEAP数据集和SEED数据集上进行情绪分类验证，并从数据扩展角度出发探究数据量以及数据特征对自监督性能的影响。该方法将自监督CNN引入脑电情绪识别中，解决了传统卷积神经网络训练时需要数据量大并且训练好的网络只能针对一种任务进行分类的问题，为情感脑电识别领域提供了一种新思路。种新思路。种新思路。

【技术实现步骤摘要】
基于自监督CNN的脑电情绪识别方法


[0001]本专利技术涉及基于自监督CNN的脑电情绪识别方法，针对情绪脑电信号(EEG)，提出利用自监督方法对不带情绪标签的原始脑电信号进行预训练(预训练使用的标签不是人工标注的，而是构造辅助任务生成的)，使得模型学习到脑电数据内部特征，然后将预训练卷积神经网络模型的低层迁移，重新构建密集层并使用带有情绪标签的脑电数据训练密集层，来实现使用自监督的方法进行脑电情绪识别的目的，属于模式识别


技术介绍

[0002]情绪作为人的生理和心理的表达，蕴含着许多有价值的信息，比如性格、喜好、身心状态等。因此，情绪识别在许多领域中被广泛研究。例如在交通安全方面，通过情绪识别可以获取司机的身心状况，避免交通事故的发生；在心理健康方面，通过情绪识别可以鉴别人们的不良情绪，避免抑郁症等疾病的发生；在人机交互方面，通过情绪识别使服务型机器人能够理解人的情感并更好地与人进行交流。目前，情绪识别方面的方式主要有两个方面。第一种是行为信号，比如运动步态、面部表情、语音、文本等。这些信号在采集的过程中容易受到外界干扰并且易于伪装，因此识别准确率较低。第二种是生理信号，比如脑电波、心电图、眼电图等。这些信号是自发产生的，不易控制，不易伪装，因此在情绪识别中得到了广泛的研究。尤其是脑电波，一直作为情绪识别的重点被广泛研究。
[0003]基于机器学习方法的研究在该领域取得了一定的进展，研究人员通常提取EEG信号的特征，常见的有时域特征、频域特征、时频特征等，并使用自组织映射(self
‑r/>organizing map，SOM)、支持向量机(SVM)、K近邻(K
‑
nearest neight
‑
bor，KNN)等分类器对提取了特征的脑电数据进行分类。机器学习的方法不仅需要首先人工提取特征，而且分类效果普遍不太理想。随着深度学习的发展，解决了这个问题。深度学习可以自动完成脑电特征的提取，来进行情绪分类。在脑电情绪识别领域使用的深度学习方法有卷积神经网络(CNN)、循环神经网络(RNN)、深度信念网络(DBN)等等。基于深度学习算法的脑电情绪识别比人工提取特征的维度更高，识别效果优于机器学习。然而许多应用于脑电情绪识别的深度学习方法使用的是监督的方式对其进行训练，监督的学习在训练过程中需要大量的标记数据，然而脑电信号的采集过程比较麻烦，实际应用中采集大量标记数据会花费很多资源，并且，监督学习的方法训练好的模型最终往往特定于某一类任务，扩展其他任务的性能差。自监督的学习方法补充了这些局限性。自监督学习使用的不是人工标注的标签，而是通过构建辅助任务来自动生成标签，学习辅助任务使得网络学习到数据内在表征，之后将训练好的模型微调接到下游任务，微调的时候使用的标签是人工标注的标签。因此自监督学习时可以使用无标记数据学习到更强大的数据底层结构表示。由于自监督学习到的是数据内在的普遍表征，并不是特定于某一任务的特征，因此自监督的模型可以微调到不同任务中，对于不同的分类任务不需要从头训练网络，这一特点大大提高了网络的性能。有研究者证明了，自监督的学习方法能够提升模型的鲁棒性、降低其不确定性。

技术实现思路

[0004]针对传统卷积神经网络训练时需要数据量大并且训练好的网络只能针对一种任务进行分类的问题，本文提出在多任务卷积神经网络模型基础上，利用自监督的学习方法对模型进行训练，在DEAP数据集和SEED数据集上进行情绪分类验证，并从数据扩展角度出发探究数据量以及数据特征对自监督性能的影响。
[0005]基于自监督CNN的脑电情绪识别方法的具体步骤如下：
[0006]步骤一：收集多通道脑电信号并进行预处理。收集受试者的多通道情绪脑电信号；之后利用8阶巴特沃斯滤波器(Butterworth filter)对每个通道脑电信号进行滤波处理，得到脑电五个频段的信号，并提取微分熵(Differential Entropy,DE)特征；最后按照特征维度或者时间片段维度作归一化处理。
[0007]步骤二：对无标记脑电信号构建辅助任务。将处理好的每个脑电数据构建6种信号变换作为辅助任务，并打上相应的标签。6种信号变换有：添加噪声、尺度变换、信号水平翻转、信号垂直翻转、时间错位、时间扭曲。
[0008]自监督训练的标签不是人工标记的，而是利用辅助任务从大规模无监督数据中挖掘自身的监督信息。通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。本专利技术中，针对一维脑电信号，构建了六种信号变换作为辅助任务，进行自监督学习，辅助任务的构建步骤如下：
[0009]添加噪声：来自高斯分布的随机噪声N(t)被添加到原始EEG信号S(t)。从随机噪声发生器获得N(t)，最后，将加噪声信号生成为S(t)+N(t)。
[0010]尺度变换：将原始脑电信号的幅值拉长或伸缩。原始脑电信号S(t)的幅值变换为α*S(t)，α是尺度因子。
[0011]信号水平翻转：将原始脑电信号按照水平线翻转。原始脑电信号S(t)的幅值转换为
‑
1*S(t)。
[0012]信号垂直翻转：将原始脑电信号按照垂直线翻转(实际就是进行时间翻转)。
[0013]时间错位：将原始脑电信号均匀分成n份，随机选取种子数，并将它们按照随机顺序进行重新组合，来实现对每个段的时间位置的扰动。
[0014]时间扭曲：将原始信号均匀分成m份，随机选取种子数进行来对每个片段进行时间拉伸或压缩，将时间扭曲后的每一段信号重新组合，之后再将数据维度修建到与原始数据一样的维度。
[0015]进行6种信号变换之后将原始信号与6种信号一起堆叠为其生成相应的标签[0,1,2,3,4,5,6]，7种信号和相应的标签就是信号转换识别网络的输入。
[0016]步骤三：自监督预训练。将原始信号和转换信号以及对应标签一起训练多任务卷积神经网络进行自监督学习，多任务卷积神经网络执行信号转换识别任务。
[0017]单一任务的特征对于某一个分类任务不能达到很好的效果，为了学习到多任务之间的普遍特征，使得模型具有很好的泛化性能，本专利技术预训练使用的是多任务卷积神经网络。多任务卷积神经网络包含两个部分，共享层和任务特定层。共享层作为神经网络的低层次能够学习到数据的普遍特征，通过学习到多个任务之间数据的普遍特征，使得模型具有更好的泛化性能。任务特定层作为神经网络的高层次能够学习到具体的特征信息，来对多个辅助任务进行分类。
[0018]信号转换识别网络模型有3个卷积块作为共享层，每个共享层由两个一维卷积层、ReLu激活函数和BN层组成。卷积核的尺寸大小从32减少到16再到8，卷积核的数量从32增加到64再到128，BN层可根据数据的具体情况进行选择。在每个卷积块之后执行池化操作，池化层的尺寸为8。在最后一个卷积块后执行全局最大池化操作，再通过一个全连接层将输出送到任务特定层中。任务特定层针对每个信号变换生成了一个分支，每个分支由两个密集层和ReLu激活函数组成，同时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自监督CNN的脑电情绪识别方法，其特征在于：包括以下步骤：步骤一：收集多通道脑电信号并进行预处理：收集受试者的多通道情绪脑电信号，之后利用8阶巴特沃斯滤波器对每个通道脑电信号进行滤波处理，得到脑电五个频段的信号，提取微分熵特征，后按照特征维度或者时间片段维度作归一化处理；步骤二：对无标记脑电信号构建辅助任务：将处理好的每个脑电数据构建6种信号变换作为辅助任务，并打上相应的标签，所述6种信号变换包括添加噪声、尺度变换、信号水平翻转、信号垂直翻转、时间错位和时间扭曲；步骤三：自监督预训练：将原始信号和转换信号以及对应标签一起训练多任务卷积神经网络进行自监督学习，多任务卷积神经网络执行信号转换识别任务；步骤四：下游任务迁移：将训练好的信号转换识别网络的卷积层冻结并重新构建全连接层作为情绪识别网络，使用带情绪标签的脑电数据对情绪识别网络的全连接层进行训练，训练好后对情绪进行分类。2.根据权利要求1所述的基于自监督CNN的脑电情绪识别方法，其特征在于：所述步骤一具体包括：S1.1、频带处理：脑电信号的δ(1
‑
3Hz)，θ(4
‑
7Hz)，α(8
‑
13Hz)，β(14
‑
30Hz)，γ(31
‑
50Hz)5个频段与人的生理活动有着密切联系，其中γ频段与人类情感活动有关联，根据各节律的起始和截止频率，使用8阶巴特沃斯滤波器对DEAP数据集原脑电信号进行滤波；S1.2、DE特征提取：DEAP数据集原EEG信号经过分频预处理后，以3s为一个时间窗，将EEG信号划分为互不重叠的EEG样本，提取各样本γ频段的微分熵...

【专利技术属性】
技术研发人员：王星怡，马玉良，佘青山，孙明旭，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：