基于脑电信号的多视图深度学习的情绪分析方法和系统技术方案

本发明专利技术公开了一种基于脑电信号的多视图深度学习的情绪分析方法和系统。该方法包括：采集基于外界诱导刺激产生的脑电信号；利用带通滤波器对采集的脑电信号进行预处理，获得多通道脑电信号；对多通道脑电信号进行表征提取，并将脑电信号分解为其组成信号视图，提取多个频率段的信号特征；将多个频率段的信号特征分别输入到预训练的多列卷积神经网络模型，通过对每列卷积神经网络模型的决策结果进行加权平均得到最终的决策结果，其中每列神经网络模型对应一个频率段的信号特征；利用情绪模型针对最终决策结果进行情绪分类。本发明专利技术能够提高数据预测的真实性，并减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异。领域差异。领域差异。

【技术实现步骤摘要】
基于脑电信号的多视图深度学习的情绪分析方法和系统


[0001]本专利技术涉及情绪识别领域，具体涉及一种基于脑电信号的多视图深度学习的情绪分析方法和系统。

技术介绍

[0002]人类情感是复杂的心理和生理表达，通常与主观感受、气质、性格、动机倾向、行为反应和生理唤醒有关。“情绪”是一种影响人们的认知、决策和行为的心理状态。情感计算在人工智能中发挥着关键的作用，特别是在人机交互领域，能够分析人类情感的人工机器能更好地理解人类，从而更好地满足人类的需求。
[0003]人类的情绪变化通常伴随着生理信号的变化，生理信号相较于面部表情或者语音信号的优点在于生理信号更能反应真实情绪状态。情感研究主要是利用脉搏、眼动、肌电、皮电等生理信号来识别，其中脑电信号因其较高的准确性和客观性备受情感识别研究者的青睐。
[0004]数据的表示问题是机器学习的重点和难点问题之一，因为学习效果往往受到数据表示方法的影响。对于客观世界的对象，常常提取它的特征，然后用特征向量表示此对象，在这些描述对象的特征中，有些特征具有不同的属性，因此不适合使用同一种学习器的单视图方法进行学习。与单视图方法相比，多视图学习方法则在不同的视图内侧重点不同，具有差异性，正因为具有差异，所以可以提取出相互关联、互补的特征，进而通过综合分析可以得到更全面的目标对象的描述，从而可以改善在数据集上的分类效果，使得算法能够采用充足的、多样的信息来解释事物的内在本质。
[0005]特征提取在基于脑电图的情绪识别中起着重要的作用。多种特征提取方法被应用在基于脑电的情绪识别领域，得到的脑电特征一般可分为三类：时域特征、频域特征和时频域特征。时域特征主要捕捉脑电信号的时间组织信息，具有代表性的时域脑电信号特征有Hjorth特征、分形维数特征和高阶交叉特征等。频域特征主要从频域的角度捕捉情感信息。从脑电信号中提取频域的特征首先将频段分解成几个子频段(例如，delta(1
‑
3Hz)、theta(4～7Hz)、alpha(8～13Hz)、beta(14～30Hz)和gamma(31～45Hz)是最常用的方式，然后可以分别提取每个频带的脑电特征。当前常用的脑电频域特征提取方法有傅立叶变换(FT)、功率谱密度(PSD)、小波变换(WT)和微分熵(DE)。
[0006]目前，基于脑电的情绪识别算法被大量提出，这些算法多数是传统的机器学习算法。例如，支持向量机(Support Vector Machine，SVM)、K近邻(K
‑
nearest neighbor，KNN)和朴素贝叶斯(Naive Bayes，NB)等监督学习算法。近年来，深度神经网络被成功地应用到基于脑电的情绪识别中，并且达到了目前较高的研究水平。这些深度模型以各种脑电特征为输入，例如功率谱密度(PSD)、微分熵(DE)、微分不对称特征(DASM)、有理不对称特征(RASM)、微分尾度特征(DCAU)等，输出脑电数据对应的情绪类别标签。常见的深度模型包括深度信念网络(DBN)、双模深度去噪自编码器(SDAE)、双向长短时记忆网络(Bi
‑
LSTM)模型、卷积神经网络(CNN)等。
[0007]一般来说，有两种广泛使用的情感模型来描述情感空间，一种是离散模型，另一种是维度模型。在离散模型中，情绪空间由几个基本的离散情绪来描述。尽管对基本情绪的类别还没有达成共识，但许多研究使用了至少六种基本情绪，包括喜悦、悲伤、惊讶、恐惧、愤怒和厌恶。另一方面，维度模型描述了情绪空间在二维或三维空间中具有连续一致性的特征。其中效价(valence)维度范围从消极到积极，唤醒(arousal)维度范围从平静到活跃，最后到兴奋，支配(dominance)维度描述一个人的情绪状态从控制到被控制。

技术实现思路

[0008]本专利技术的目的是克服单视图学习方法中单一性、片面性的缺陷，提出一种基于脑电信号的多视图深度学习的情绪分析方法和系统。
[0009]根据本专利技术的第一方面，提供一种基于脑电信号的多视图深度学习的情绪分析方法。该方法包括以下步骤：
[0010]步骤S1：采集基于外界诱导刺激产生的脑电信号；
[0011]步骤S2：以滤除眼电和肌电伪迹为目标，利用带通滤波器对采集的脑电信号进行预处理，获得多通道脑电信号；
[0012]步骤S3：对所述多通道脑电信号进行表征提取，并将脑电信号分解为其组成信号视图，提取多个频率段的信号特征；
[0013]步骤S4：将所述多个频率段的信号特征分别输入到预训练的多列卷积神经网络模型，通过对每列卷积神经网络模型的决策结果进行加权平均得到最终的决策结果，其中每列神经网络模型对应一个频率段的信号特征；
[0014]步骤S5：利用情绪模型针对所述最终决策结果进行情绪分类。
[0015]根据本专利技术的第二方面，提供一种基于脑电信号的多视图深度学习的情绪分析系统。该系统包括：
[0016]信号采集模块：用于采集基于外界诱导刺激产生的脑电信号，并以滤除眼电和肌电伪迹为目标，利用带通滤波器对采集的脑电信号进行预处理，获得多通道脑电信号；
[0017]特征提取模块：用于对所述多通道脑电信号进行表征提取，并将脑电信号分解为其组成信号视图，提取多个频率段的信号特征；
[0018]算法模块：用于将所述多个频率段的信号特征分别输入到预训练的多列卷积神经网络模型，通过对每列卷积神经网络模型的决策结果进行加权平均得到最终的决策结果，其中每列神经网络模型对应一个频率段的信号特征；
[0019]情绪分类模块：用于利用情绪模型针对所述最终决策结果进行情绪分类。
[0020]与现有技术相比，本专利技术的优点在于，提出对脑电信号数据分频提取其组成信号，构成多个视图，并将多个视图输入到多列神经网络模型中学习，最大程度提高了数据预测的真实性，并且减少由于脑电数据的不稳定性以及环境变化带来的脑电特征之间的领域差异。
[0021]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0022]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0023]图1是根据本专利技术一个实施例的一种基于脑电信号的多视图深度学习的情绪分析系统的示意图；
[0024]图2是根据本专利技术一个实施例的基于多视图方法对脑电数据进行情绪计算的总体流程图；
[0025]图3是根据本专利技术一个实施例的原理结构图；
[0026]图4是根据本专利技术一个实施例的采集脑电信号的实验图；
[0027]图5是根据本专利技术一个实施例的采集脑电信号的32电极的国际10
‑
20系统通道图；
[0028]图6是根据本专利技术一个实施例的情绪二维空间VA(Valence
‑
Arousal)模型图。
具体实施方式
[0029]现在将参照附图来详细描述本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑电信号的多视图深度学习的情绪分析方法，包括以下步骤：步骤S1：采集基于外界诱导刺激产生的脑电信号；步骤S2：以滤除眼电和肌电伪迹为目标，利用带通滤波器对采集的脑电信号进行预处理，获得多通道脑电信号；步骤S3：对所述多通道脑电信号进行表征提取，并将脑电信号分解为其组成信号视图，提取多个频率段的信号特征；步骤S4：将所述多个频率段的信号特征分别输入到预训练的多列卷积神经网络模型，通过对每列卷积神经网络模型的决策结果进行加权平均得到最终的决策结果，其中每列神经网络模型对应一个频率段的信号特征；步骤S5：利用情绪模型针对所述最终决策结果进行情绪分类。2.根据权利要求1所述的方法，其特征在于，所述多个频率段的信号特征包括：delta(1
‑
3Hz)、theta(4～7Hz)、alpha(8～13Hz)、beta(14～30Hz)和gamma(31～45Hz)。3.根据权利要求2所述的方法，其特征在于，在步骤S4中，针对包括k列卷积神经网络模型的情况，最终的决策结果表示为：其中V(final)是最终决策，v
i
是来自第i个模型的决策，w
i
是第i个决策对应的权重项。4.根据权利要求3所述的方法，其特征在于，对决策v
i
采用二元值表示，其中+1代表高情绪状态，
‑
1代表低情绪状态，并且将对应的权重项w
i
量化为1至9中的9点度量，将度量结果与设定阈值比较以确定转换为+1或
‑
1。5.根据权利要求1所述的方法，其特征在于，所述情绪模型是情绪二维连续模型，其横轴和纵轴分别表示愉悦度和唤醒度，愉悦度表示情...

【专利技术属性】
技术研发人员：金鑫，马慧芳，杨虎，
申请(专利权)人：中央财经大学，
类型：发明
国别省市：