本发明专利技术提供一种情绪分析方法、情感脑机接口解码器以及计算机可读存储介质，方法包括：获取用户的脑电信号；将用户的脑电信号输入预设的多频带交互卷积神经网络，多频带交互卷积神经网络获取用户的脑电信号中第一频带的信号和第二频带的信号；从第一频带的信号中提取第一空频域特征，从第二频带的信号中提取第二空频域特征；基于预设的频带交互算子，对第一空频域特征和第二空频域特征进行计算得到多频带交互特征；对多频带交互特征计算得到用户具有一种或多种情绪的概率；根据用户具有一种或多种情绪的概率，输出对用户的情绪的分析结果。根据本发明专利技术将多频带交互特征作为卷积神经网络的输入，输出对用户情绪的预测，具有优于现有技术方案的性能。现有技术方案的性能。现有技术方案的性能。
【技术实现步骤摘要】
一种情绪分析方法、情感脑机接口解码器以及计算机可读存储介质
[0001]本专利技术涉及计算机
，具体涉及情绪神经信号解码领域，提供一种情绪分析方法、装置以及计算机可读存储介质。
技术介绍
[0002]情绪在人们的日常生活和工作中发挥着重要作用。情绪通过人们的潜意识影响行为表现、人际交往等各个方面。但是在人机交互领域，还未有广泛的情绪计算相关的应用。情绪识别是将情绪计算应用到人机交互领域的关键步骤，近十年已经受到越来越广泛的关注。一个人的内在情绪状态可以通过主观经验(人的感觉)、内在表达(生理信号)和外在表达(音频、脸部信号)等途径进行识别。然而有时主观经验和外在表达会受到个人意愿以及周围环境的干扰，使得机器无法评估个体的真实情绪状态。
[0003]基于EEG(脑电)信号的情绪识别有望推动情感脑机接口应用到医疗、教育、娱乐等多个领域。EEG信号具有高维度、低信噪比、非平稳等特性，因此如何准确、鲁棒地解码情绪状态是情感脑机接口的主要挑战。基于传统特征提取的机器学习方法为情绪识别提供了解码基准。近年来，深度学习展现出优于传统算法的情绪解码性能。然而，情绪作为一种时变状态，使得训练的解码器难以有效泛化到新的情境。为了提高解码器的泛化性能，目前主流特征提取算法考虑多个频带的信号特征，分别计算theta、alpha、beta、和gamma频带(多种频带)的信号功率，进而使用支持向量机预测情绪类别。
[0004]一方面，情绪识别研究表明高频带EEG信号的波动与情绪状态密切相关；另一方面，跨频耦合效应被认为与大脑的精神活动状态密切相关。然而，现有技术中并没有考虑到频带之间的相互作用。如何有效挖掘频带间EEG信号的相关性，增强情绪状态的时空频域表征能力，提高情绪解码器的泛化性能，是当前情绪解码领域仍待解决的重要问题。
技术实现思路
[0005]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决提升情绪分析效能的情绪分析方法、装置以及计算机可读存储介质。
[0006]第一方面，本专利技术提供一种情绪分析方法，所述方法包括：获取用户的脑电信号；将所述用户的脑电信号输入预设的多频带交互卷积神经网络，所述多频带交互卷积神经网络获取所述用户的脑电信号中第一频带的信号和第二频带的信号；从所述第一频带的信号中提取第一空频域特征，从所述第二频带的信号中提取第二空频域特征；基于预设的频带交互算子，对所述第一空频域特征和所述第二空频域特征进行计算得到多频带交互特征；对所述多频带交互特征计算得到所述用户具有一种或多种情绪的概率；根据所述用户具有一种或多种情绪的概率，输出对所述用户的情绪的分析结果。
[0007]优选地，前述的情绪分析方法，“对所述多频带交互特征计算得到所述用户具有一种或多种情绪的概率”的步骤包括：对所述多频带交互特征进行时域平均池化得到时空频
域特征，对所述时空频域特征计算得到所述用户具有所述一种或多种情绪的概率。
[0008]优选地，前述的情绪分析方法，所述多频带交互卷积神经网络预先经过训练以确定参数，使用的训练数据样本为测试用户观看影片时的脑电信号，所述测试用户的脑电信号携带指示所述测试用户的情绪的标签，其中，根据所述影片的类型和/或测试用户的情绪认知设置所述标签。
[0009]优选地，前述的情绪分析方法，在“基于预设的频带交互算子，对所述第一空频域特征和所述第二空频域特征进行计算得到多频带交互特征”的步骤之前，还包括：根据使用所述用户情绪分析结果的任务，从预设的多种频带交互算子中选择用于计算所述多频带交互特征频带交互算子。
[0010]优选地，前述的情绪分析方法，所述训练数据样本分为训练集、验证集，对所述多频带交互卷积神经网络的训练分为第一阶段和第二阶段，所述第一阶段中使用所述训练集训练所述多频带交互卷积神经网络，使用所述验证集计算所述多频带交互卷积神经网络在所述第一阶段的损失函数，调整所述多频带交互卷积神经网络的参数直至所述第一阶段的损失函数达到最低，所述第二阶段中使用所述训练集和所述验证集的合并数据，对调整参数后的所述多频带交互卷积神经网络进行训练，直至所述多频带交互卷积神经网络在所述第二阶段的损失函数小于所述第一阶段的损失函数。
[0011]第二方面，本专利技术提供一种情感脑机接口解码器，包括：信号获取模块，获取用户的脑电信号；多频带交互卷积神经网络，其中包括空频域特征表示模块、多频带交互模块和分类输出模块；所述空频域特征表示模块获取所述用户的脑电信号中第一频带的信号和第二频带的信号；从所述第一频带的信号中提取第一空频域特征，从所述第二频带的信号中提取第二空频域特征；所述多频带交互模块基于预设的频带交互算子，对所述第一空频域特征和所述第二空频域特征进行计算得到多频带交互特征；所述分类输出模块对所述多频带交互特征计算得到所述用户具有一种或多种情绪的概率；结果输出模块，根据所述用户具有一种或多种情绪的概率，输出对所述用户的情绪的分析结果。
[0012]优选地，前述的情感脑机接口解码器，所述分类输出模块对所述多频带交互特征进行时域平均池化得到时空频域特征，基于所述全连接层对所述时空频域特征计算得到所述用户具有所述一种或多种情绪的概率。
[0013]优选地，前述的情感脑机接口解码器，所述多频带交互卷积神经网络预先经过训练以确定参数，使用的训练数据样本为测试用户观看影片时的脑电信号，所述测试用户的脑电信号携带指示所述测试用户的情绪的标签，其中，根据所述影片的类型和/或测试用户的情绪认知设置所述标签。
[0014]优选地，前述的情感脑机接口解码器，所述多频带交互模块根据使用所述用户情绪分析结果的任务，从预设的多种频带交互算子中选择用于计算所述多频带交互特征频带交互算子。
[0015]第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述情绪分析方法的技术方案中任一项技术方案所述的上述情绪分析方法。
[0016]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0017]本专利技术的技术方案与现有技术不同，在接收用户的脑电信号后提取了其中不同频
带的空频域特征，并进一步计算出不同频带之间的多频带交互特征，该多频带交互特征反映了不同频带脑电信号之间的相互作用，本专利技术将该多频带交互特征作为卷积神经网络的输入，输出对用户情绪的预测，形成了用于情绪解码的多频带交互卷积神经网络以及与基于多频带交互卷积神经网络的情感脑机接口解码器，经实验证明具有优于现有技术方案的性能。
附图说明
[0018]参照附图，本专利技术的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本专利技术的保护范围组成限制。其中：
[0019]图1是根据本专利技术的一个实施例的情绪分析方法的流程图；
[0020]图2是根据本专利技术的一个实施例的情绪分析方法的流程图；
[0021]图3是根据本专利技术的一个实施例的情绪分析方法的工本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种情绪分析方法，其特征在于，包括：获取用户的脑电信号；将所述用户的脑电信号输入预设的多频带交互卷积神经网络，所述多频带交互卷积神经网络获取所述用户的脑电信号中第一频带的信号和第二频带的信号；从所述第一频带的信号中提取第一空频域特征，从所述第二频带的信号中提取第二空频域特征；基于预设的频带交互算子，对所述第一空频域特征和所述第二空频域特征进行计算得到多频带交互特征；对所述多频带交互特征计算得到所述用户具有一种或多种情绪的概率；根据所述用户具有一种或多种情绪的概率，输出对所述用户的情绪的分析结果。2.根据权利要求1所述的情绪分析方法，其特征在于，“对所述多频带交互特征计算得到所述用户具有一种或多种情绪的概率”的步骤包括：对所述多频带交互特征进行时域平均池化得到时空频域特征，对所述时空频域特征计算得到所述用户具有所述一种或多种情绪的概率。3.根据权利要求1所述的情绪分析方法，其特征在于，所述多频带交互卷积神经网络预先经过训练以确定参数，使用的训练数据样本为测试用户观看影片时的脑电信号，所述测试用户的脑电信号携带指示所述测试用户的情绪的标签，其中，根据所述影片的类型和/或测试用户的情绪认知设置所述标签。4.根据权利要求1所述的情绪分析方法，其特征在于，在“基于预设的频带交互算子，对所述第一空频域特征和所述第二空频域特征进行计算得到多频带交互特征”的步骤之前，还包括：根据使用所述用户情绪分析结果的任务，从预设的多种频带交互算子中选择用于计算所述多频带交互特征频带交互算子。5.根据权利要求1所述的情绪分析方法，其特征在于，所述训练数据样本分为训练集、验证集，对所述多频带交互卷积神经网络的训练分为第一阶段和第二阶段，所述第一阶段中使用所述训练集训练所述多频带交互卷积神经网络，使用所述验证集计算所述多频带交互卷积神经网络在所述第一阶段的损失函数，调整所述多频带交互卷积神经网络的参数直至所述第一阶段的损失函数...
【专利技术属性】
技术研发人员：姚林，汪佳衡，李文玉，王跃明，
申请(专利权)人：杭州数药智能科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。