基于多分支样本选择的跨被试脑电情绪识别方法及系统技术方案

本发明专利技术公开了一种基于多分支样本选择的跨被试脑电情绪识别方法及系统

【技术实现步骤摘要】
基于多分支样本选择的跨被试脑电情绪识别方法及系统


[0001]本专利技术属于跨被试脑电信号处理
，具体涉及一种基于多分支样本选择的跨被试脑电情绪识别方法及系统
。

技术介绍

[0002]情绪是人们在日常生活和人际交往中受到外界因素作用而产生的一种生理信号，它不仅可以反映人们在当前情景下的心理状态，同时也会左右人们的认知决策和行为表现
。
人们可以通过自己以往的经验认知来理解其他人的情绪，但是计算机很难同人一样准确地理解情绪
。
如果计算机也可以和人一样准确地识别情绪，那么其在医疗
、
教育和人机交互等领域会具有很大的应用价值
。
目前识别情绪的信号种类繁多，包括面部表情
、
语音和脑电信号等
。
相比于面部表情和语音，脑电信号更能客观反映人的情绪状态，而且不容易伪装
。
因此，基于脑电信号的情绪识别受到越来越多研究者的关注
。
研究者们也希望借助深度学习等人工智能的方法来辅助计算机理解人们的情绪，这对于各个领域的情绪识别应用具有重要价值
。
[0003]虽然脑电信号可以准确地
、
客观地识别人类情绪，但是它的非平稳性导致传统的脑电情绪识别模型不具有良好的普适性
。
即不同被试之间的脑电数据存在分布差异，导致在某些被试上训练得到的良好的脑电情绪识别模型在新被试脑电数据上的识别准确性较低
。
现有研究提出了一系列跨被试脑电情绪识别方法来解决该问题，他们将多个被试的有标签样本看作源域，新被试的无标签样本看作目标域，然后引入迁移学习的思想以减小源域和目标域的分布差异，使得在源域上训练得到的模型也适用于目标域
。
例如，
Fahimi
等人组合多个被试的有标签脑电数据作为源域，并在源域上训练一个卷积神经网络
(Convolution Neural Network
，
CNN)
模型，然后使用目标域的无标签数据对该模型进行微调校准，结果显示该方法有效提升了模型的普适性
。
李等人提出了一种联合分布对齐方法，通过引入对抗学习策略以同时减少源域和目标域在浅层网络中的边缘分布和这两个域在深层网络中的条件分布差异
。
李等人在传统的脑电情感识别模型中引入了深度自适应网络
(Deep Adaptation Network
，
DAN)
，主要通过缩小最大平均差异
(Maximum Mean Discrepancy
，
MMD)
来减小源域和目标域之间的分布差异
。
[0004]虽然上述脑电情绪识别方法在跨被试场景下都提升了性能，但是这些方法仍然存在一定局限性
。
他们把多个被试的脑电数据合并成一个大源域，然后进行大源域和目标域之间的情绪知识迁移
。
这种方式只考虑了源域和目标域之间的数据分布差异，而忽视了大源域中不同被试之间的数据分布差异
。
然而，考虑不同被试之间的差异是有必要的，因为不同被试对相同情绪的反应不同，甚至会出现截然不同的情绪反应
。
如果不考虑被试之间的差异而是进行盲目迁移则会导致情绪识别分歧
。
另外，以往的方法都是笼统地把源中所有样本都用于训练，但没有考虑源域中脑电样本对目标域脑电样本情绪识别的贡献程度不同
。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足提出一种基于多分支样本选择的跨被试脑电情绪识别方法及系统
。
[0006]第一方面，本专利技术提供一种基于多分支样本选择的跨被试脑电情绪识别方法，其包括以下步骤：
[0007]步骤
1、
脑电信号数据的采集
。
[0008]采集多个不同的被试者带情绪类别标签的脑电数据；每个被试者的脑电数据及其标签数据作为一个源域
。
对被情绪识别的对象进行脑电信号采集，得到的脑电数据作为目标域
。
[0009]步骤
2、
对源域和目标域的脑电信号进行预处理和特征提取
。
[0010]步骤
3、
构建多分支样本选择的情绪识别模型
。
情绪识别模型包括共享特征提取模块
SFE、
域特征提取器
DFE、
样本选择模块和分类器，且具有
m
个分支；每个分支均对应一个分类器
。m
为源域的数量
。
[0011]步骤3‑
1.
共享特征提取模块
SFE
提取源域和目标域的低层特征信息
。
[0012]步骤3‑
2.
目标域与每个源域的低层特征信息均组成一个输入对数据；每个输入对数据均对应情绪识别模型的一个分支；域特征提取器
DFE
对输入对数据进行提取，得到各输入对数据对应的域特征信息
。
[0013]步骤3‑
3.
样本选择模块基于各目标域中每个样本与各源域中样本的相似度，获得
MoC
损失
[0014]步骤3‑
4.
利用
m
个分支对应的分类器对于
m
个源域分别进行预测，利用各源域对应的预测标签和真实标签，获得分类误差根据不同分支对目标域的预测值之间的差异，获得差异损失
[0015]步骤3‑
5.
建立情绪识别模型的总损失函数如下：
[0016][0017]其中，
α
和
β
为情绪识别模型的超参数
。
[0018]步骤3‑
6.
基于总损失函数对
m
个分类器的模型参数进行迭代优化，得到优化后的
m
个分类器
。
[0019]步骤
4、
将目标域分别输入
m
个分类器，取
m
个分类器所得识别结果的平均值作为被测对象的情绪类别
。
[0020]作为优选，所述的情绪类别包括中性
、
开心
、
伤心和悲伤
。
带情绪类别标签的脑电数据的采集过程如下：将向被试者展示具有不同情绪偏向的电影片段，并通过脑电采集设备记录被试的脑电信号，电影片段对应的情绪偏向作为情绪类别标签
。
[0021]作为优选，步骤2中进行预处理和特征提取的过程为：将脑电数据下采样至
200Hz
采样率，再使用
1Hz
至
75Hz
之间的带通滤波器进行处理
。
提取所得脑电信号在
Delta、Theta、Alpha、Beta本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多分支样本选择的跨被试脑电情绪识别方法及系统，其特征在于：包括以下步骤：步骤
1、
脑电信号数据的采集；采集多个不同的被试者带情绪类别标签的脑电数据；每个被试者的脑电数据及其标签数据作为一个源域；对被情绪识别的对象进行脑电信号采集，得到的脑电数据作为目标域；步骤
2、
对源域和目标域的脑电信号进行预处理和特征提取；步骤
3、
构建多分支样本选择的情绪识别模型；情绪识别模型包括共享特征提取模块
SFE、
域特征提取器
DFE、
样本选择模块和分类器，且具有
m
个分支；每个分支均对应一个分类器；
m
为源域的数量；步骤3‑
1.
共享特征提取模块
SFE
提取源域和目标域的低层特征信息；步骤3‑
2.
目标域与每个源域的低层特征信息均组成一个输入对数据；每个输入对数据均对应情绪识别模型的一个分支；域特征提取器
DFE
对输入对数据进行提取，得到各输入对数据对应的域特征信息；步骤3‑
3.
样本选择模块基于各目标域中每个样本与各源域中样本的相似度，获得
MoC
损失步骤3‑
4.
利用
m
个分支对应的分类器对于
m
个源域分别进行预测，利用各源域对应的预测标签和真实标签，获得分类误差根据不同分支对目标域的预测值之间的差异，获得差异损失步骤3‑
5.
建立情绪识别模型的总损失函数如下：上式中，
α
和
β
为情绪识别模型的超参数；步骤3‑
6.
基于总损失函数对
m
个分类器的模型参数进行迭代优化，得到优化后的
m
个分类器；步骤
4、
将目标域分别输入
m
个分类器，取
m
个分类器所得识别结果的平均值作为被测对象的情绪类别
。2.
根据权利要求1所述的一种基于多分支样本选择的跨被试脑电情绪识别方法，其特征在于：所述的情绪类别包括中性
、
开心
、
伤心和悲伤；带情绪类别标签的脑电数据的采集过程如下：将向被试者展示具有不同情绪偏向的电影片段，并通过脑电采集设备记录被试的脑电信号，电影片段对应的情绪偏向作为情绪类别标签
。3.
根据权利要求1所述的一种基于多分支样本选择的跨被试脑电情绪识别方法，其特征在于：步骤2中进行预处理和特征提取的过程为：将脑电数据下采样至
200Hz
采样率，再使用
1Hz
至
75Hz
之间的带通滤波器进行处理；提取所得脑电信号在

【专利技术属性】
技术研发人员：沈方瑶，江海艇，陈丽娜，郭鸿杰，高宏，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：