基于CNN+数据增强算法Borderline-SMOTE的脑电信号情感识别制造技术

本发明专利技术涉及一种基于卷积神经网络+数据增强算法Borderline‑SMOTE的脑电信号情感识别方法，主要包括以下内容：首先导入情感识别标准数据集————DEAP数据集(本身已经过降采样至128Hz并去除伪迹)，取出32个数据文件的前32个通道的后60s脑电信号数据，并进行预处理；然后对预处理后的数据提取频域特征，并基于数据增强算法Borderline‑SMOTE对少数类分类边界及其附近的样本进行一定的过采样，使得不同类别的数据量尽可能平衡；最后，设计了一个卷积神经网络，在情感维度Valence和Arousal上进行情感三分类的模型训练与测试，并采用10折分层交叉验证的方法对结果进行多角度性能评估。与现有方法相比，本发明专利技术中的脑电信号情感识别方法性能有了一定的提升，具有一定的使用价值。

【技术实现步骤摘要】
基于CNN+数据增强算法Borderline-SMOTE的脑电信号情感识别
：本专利技术涉及机器学习、深度学习与情感识别领域，尤其涉及一种基于CNN+数据增强算法Borderline-SMOTE的脑电信号情感识别。
技术介绍
：情感是人们对自身和外界事物的一组连续或间断的反应，是人类不可或缺的，在人们的社会活动中起着重要的作用。它是人们之间非语言交际的载体，简化了人与人之间的交流，并使得我们的日常生活更为生动。然而，由于社会发展和人们生活节奏的加快，很多人往往会感到压力和焦虑。如果这种情况没有得到关注使之持续下去，长此以往，可能会导致各种健康问题(如抑郁症)，甚至影响人们的日常生活和自我发展。因此，情感识别逐渐成为研究人员广泛关注的热点和现实研究课题。目前，情感识别已被广泛应用于许多领域，许多行之有效的情感识别方法正推动着这一课题的发展。例如，我们可以通过文字或语音来判断信息主机在写文章或录制演讲时的情感状态，或者通过视频设备来识别人们的面部表情和身体姿势，从而判断他们当前想要表达的情感类型和强度。然而，从某种程度上说，这些领域的应用的可靠性还有待提升，主要是因为语音、面部表情、身体姿势这类情感载体中蕴含着的可能并不是人们发自内心的真实情感，而是具有一定“伪造性”的，对最终情感识别的结果可能具有一定的干扰。与上述情形相反，生理信号是一种由内而外表达、不易伪造的信号，使得结果更加真实可靠。同时，随着人工智能和脑机接口技术的不断发展，基于生理信号，特别是脑电信号的情感识别正逐渐成为情感识别的主流。基于脑电信号的情感识别研究思路可以概括为数据预处理、特征提取、分类和模型性能评估，得到了国内外许多研究人员的关注。但脑电信号作为一种混沌时间序列，其蕴藏的丰富情感信息并不是我们显而易见的，而是随着时间变化以一些“数值”的形式表现出来。自然地，这些“数值”中便会含有一些与情感相关度不大的信息甚至影响情感识别的噪声。若直接将脑电信号数据送入设计好的分类模型进行情感分类，而忽略了对脑电信号的预处理与特征提取，分类器自身将难以识别，从而会严重影响到最终的情感识别结果，这样的研究并没有实际意义。此外，现有研究方法中依然存在着特征提取环节提取的特征反映的情感相关信息不够全面、不同类别样本数量差异较大(即：样本数据不平衡)，以及分类器分类性能受限等问题，这些问题对情感识别性能也有着较为明显的影响，需要加以关注。
技术实现思路
：本专利技术的目的是克服现有方法的不足，提出一种基于CNN+数据增强算法Borderline-SMOTE的脑电信号情感识别方法。此方法使用情感识别标准数据集——DEAP数据集(Python版)，对其中的脑电信号数据依次进行预处理、特征提取与数据增强后，在情感维度Valence和Arousal上通过训练好的卷积神经网络(CNN)进行情感三分类，最后采用10折分层交叉验证的方法对结果进行多角度性能评估。特别是涉及到的特征提取和数据增强环节，特征提取环节中基于短时傅里叶变换方法与滑动窗口机制提取脑电信号的频域特征，数据增强环节中基于数据增强算法Borderline-SMOTE对分类边界及其附近的样本进行一定的过采样，以解决现有系列脑电信号情感识别方法提取的特征反映的情感相关信息不够全面、不同类别样本数量差异较大(即：样本数据不平衡)，以及分类器分类性能受限等问题。此方法包括如下步骤：步骤1：脑电信号预处理，得到更为纯净与标准的脑电信号数据；步骤2：对脑电信号数据进行特征提取，提取出与情感相关的特征；步骤3：将步骤2中得到的脑电信号数据进行数据增强，以解决样本数据不平衡问题；步骤4：将步骤3得到的增强后的脑电信号数据送入设计好的卷积神经网络进行训练，并对结果进行多角度性能评估，同时将本实验与未进行数据增强的实验进行对比，以测试本方法的性能。步骤1的实现包括：步骤1.1：导入从官网下载的情感识别标准数据集——DEAP数据集源文件(本身已经过降采样至128Hz并去除伪迹)，取出32个.dat文件的前32个通道的后60s脑电信号数据(去除前3s与情感不相关的基线信号数据)；步骤1.2：将以上数据的data和labels部分，分别存于features_raw.csv文件以及labels0-3.dat文件中；步骤1.3：对data部分，进行Z-Score标准化；对labels部分，进行类别标签的重新标记：标签中的评分值>＝6.5的重新标记为类别2(高)，评分值>＝3.5的重新标记为类别1(中)，其它的评分值重新标记为类别0(低)，以便为后续步骤做准备。步骤2的实现包括：步骤2.1：考虑到脑电信号在不同频带具有不同的表现形式以及脑电信号自身的非平稳性,为尽可能地捕捉脑电信号中的情感细节信息，这里以每个被试(参与脑电信号采集的志愿者)的数据为单位，从脑电信号的频域特征入手，基于短时傅里叶变换，从上述经过预处理的脑电信号数据中提取出5个频带(theta(4-7hz)，alpha(8-13hz)，low-beta(13-16hz)，high-beta(16-31hz)和gamma(31-45hz))的功率谱特征；步骤2.2：使用2秒(即大小为256)、重叠时间为1.835秒(即步长为16)的滑动窗口，在脑电信号数据上进行滑动，以获取更为详细的特征信息。步骤3的实现包括：步骤1：确定样本类别中的少数类，并从中提取出m个最近邻居；步骤2：超过m/2个最近邻居通过选择与多数类相对应的少数类的样本来构建一个DANGER集合；步骤3：选择这个DANGER集合中样本的s个最近的邻居，将样本与最近的邻居的距离乘以0到1之间的一个随机数，然后添加到样本中。从而完成了对少数类位于分类边界及其附近的样本的数据增强。步骤4的实现包括：步骤4.1：读取经过预处理、特征提取与数据增强的脑电信号特征数据，进行训练集与测试集的随机独立划分，划分比例为4：1(80％训练集，20％测试集)；步骤4.2：分类器训练：将训练集数据送入CNN进行脑电信号三分类的训练，并不断调整分类器参数与局部结构设计，以确定最优结构与参数组合，提高分类器的泛化能力；步骤4.3：分类器性能测试：所述步骤3包括如下步骤：步骤4.3.1：将测试集数据送入步骤4.2中训练好的分类器，并基于10折分层交叉验证，在情感维度Valence和Arousal上进行三分类测试；步骤4.3.2：在上述主实验基础上，增加一个未进行数据增强的实验，作为上述实验的对比实验；步骤4.3.3：对主实验及对比实验，考察以下4个性能指标：准确率、精确率、召回率、F1-Score，并将结果绘制成混淆矩阵，以多角度评价分类器性能。本专利技术的有益效果：考虑到现有的脑电信号情感识别方法中存在的特征提取环节提取的特征反映的情感相关信息不够全面、不同类别样本数量差异较大(即：样本数据不平衡)，以及分类器分类性能受限等问题，本专利技术与传统方法不同的是本文档来自技高网...

【技术保护点】
1.脑电信号预处理，包括如下步骤：/n步骤1：导入从官网下载的情感识别标准数据集————DEAP数据集源文件(本身已经过降采样至128Hz并去除伪迹)，取出32个.dat文件的前32个通道的后60s脑电信号数据(去除前3s与情感不相关的基线信号数据)；/n步骤2：将以上数据的data和labels部分，分别存于features_raw.csv文件以及labels0-3.dat文件中；/n步骤3：对data部分，进行Z-Score标准化；对labels部分，进行类别标签的重新标记：标签中的评分值>＝6.5的重新标记为类别2(高)，评分值>＝3.5的重新标记为类别1(中)，其它的评分值重新标记为类别0(低)，以便为后续步骤做准备。/n

【技术特征摘要】
1.脑电信号预处理，包括如下步骤：
步骤1：导入从官网下载的情感识别标准数据集————DEAP数据集源文件(本身已经过降采样至128Hz并去除伪迹)，取出32个.dat文件的前32个通道的后60s脑电信号数据(去除前3s与情感不相关的基线信号数据)；
步骤2：将以上数据的data和labels部分，分别存于features_raw.csv文件以及labels0-3.dat文件中；
步骤3：对data部分，进行Z-Score标准化；对labels部分，进行类别标签的重新标记：标签中的评分值>＝6.5的重新标记为类别2(高)，评分值>＝3.5的重新标记为类别1(中)，其它的评分值重新标记为类别0(低)，以便为后续步骤做准备。


2.在权利要求1基础上的一种脑电信号特征提取方法，包括如下步骤：
步骤1：考虑到脑电信号在不同频带具有不同的表现形式以及脑电信号自身的非平稳性,为尽可能地捕捉脑电信号中的情感细节信息，这里以每个被试(参与脑电信号采集的志愿者)的数据为单位，从脑电信号的频域特征入手，基于短时傅里叶变换，从上述经过预处理的脑电信号数据中提取出5个频带(theta(4-7hz)，alpha(8-13hz)，low-beta(13-16hz)，high-beta(16-31hz)和gamma(31-45hz))的功率谱特征；
步骤2：使用2秒(即大小为256)、重叠时间为1.835秒(即步长为16)的滑动窗口，在脑电信号数据上进行滑动，以获取更详细的特征信息。

【专利技术属性】
技术研发人员：陈宇，常锐，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：黑龙江;23