基于脑电信号的即插即用式域适应方法技术

一种基于脑电信号的即插即用式域适应方法，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应。本发明专利技术能通过少数无标签的目标被试数据对模型进行校正，同时不明显降低模型准确率。同时不明显降低模型准确率。同时不明显降低模型准确率。

【技术实现步骤摘要】
基于脑电信号的即插即用式域适应方法


[0001]本专利技术涉及的是一种医疗监测领域的技术，具体是一种基于脑电信号的即插即用式域适应方法。

技术介绍

[0002]近年来，基于脑电信号的情绪识别以其内含信息量大和识别精度高的特点引起了科研人员的广泛关注。然而，由于个体间如心理状态、头皮电阻、头型等结构和功能上的差异，脑电信号的特征模式与被试呈现高度相关，这一缺点阻碍了基于脑电信号的情绪识别技术的大规模应用。目前常见的解决上述问题的方式是通过迁移学习方法进行域适应(Domain adaptation，DA)或域泛化(Domain Generalization，DG)。域适应方式需要预先采集大量目标被试数据再进行训练，存在效率低下、时间成本高、用户体验差等问题；而域泛化方法则会因为完全不依赖于目标被试的任何数据，导致准确率不佳。相较于域适应和域泛化两种方法，在进行实时情绪识别开始前，提前使用部分目标被试的数据对模型进行校正在实际中也是可以接受的。然而，已有的研究证明，如果没有提供与特征向量维度相匹配的训练数据，那么模型很可能会失效。因此如何使用有限的目标训练数据得到一个好的域适应结果是很有挑战性的问题。

技术实现思路

[0003]本专利技术针对现有技术特征识别需要重新采集新被试大量数据并重新训练才能达到较好识别效果的难点，提出一种基于脑电信号的即插即用式域适应方法，能通过少数无标签的目标被试数据对模型进行校正，同时不明显降低模型准确率。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于脑电信号的即插即用式域适应方法，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应。
[0006]所述的校正是指：利用少量无标签目标域数据，为目标被试生成私有编码器，并通过计算目标被试及源被试间的编码器输出Cosin相似度，输出综合了私有分类器和共有分类器的分类结果，进而对目标被试进行情绪识别。
[0007]所述的预处理是指：对采集到的脑电信号降采样至200Hz，在1
‑
75Hz进行带通滤波，以过滤噪音及伪迹。
[0008]所述的微分熵特征提取是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵(Differential Entropy，DE)特征，具体包括以下步骤：
[0009]1)对于脑电信号序列x[n]＝x1，...，x
n
，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：其
中是角频率，k＝0，1，...，N
‑
1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号。
[0010]所述的窗函数优选采用汉宁窗(Hanningwindow)，即所述的窗函数优选采用汉宁窗(Hanningwindow)，即经过汉宁窗处理可以减少由于傅里叶变换导致的频谱损失。
[0011]2)根据特征频段计算出相应的能量谱E(ω
k
)＝X(m，ω
k
)X
*
(m，ω
k
)。
[0012]3)基于能量谱计算微分熵特征其中：X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ，σ2)，则微分熵为
[0013]由于脑电信号的微分熵只和方差σ2有关，而脑电信号中的直流分量经带通滤波滤除，因此均值为0。因此有而脑电信号不同频段的方差σ2与该频段能量P
i
成正比，即由此得到每个频段的微分熵
[0014]所述的特征频段具体是指：Delta波，其频率范围为：1
‑
4Hz；Theta波，其频率范围为：4
‑
8Hz；Alpha波，其频率范围为：8
‑
14Hz；Beta波，其频率范围为：14
‑
31Hz；Gamma波，其频率范围为：31
‑
50Hz。
[0015]所述的基于长短期记忆的神经网络包括：共有和私有两种类别的编码器与解码器，从而从脑电信号中，找到情绪相关的所有被试都具有的共有成分及每个被试各不相同的私有成分，其中：对于共有编码器在时刻t的脑电特征及在时刻t
‑
1的LSTM隐状态被用来计算其t时刻的隐状态同样在t时刻的私有编码器隐状态也通过类似的方式同时计算得到，将私有编码器和共有编码器的隐状态相加得到共有解码器的输入即
[0016]所述的训练是指：基于注意力的池化被用于利用脑电信号中的关键导联和频段的空间信息，基于长短期记忆的编码器、解码器被用于学习时序信息，分类器根据编码器输出的结果进行情绪标签预测，域分类器被用于与共有编码器形成对抗，具体包括：
[0017]1)随机初始化共有编码器E
s
、私有编码器共有解码器D
s
、共有分类器C
s
及私有分类器其中：1
‑
n表示源域上的n名被试。
[0018]2)对于j＝1：n，计算共有分类器损失函数及私有分类器损失函数其中：代表第j名被试的输入所对应的正确情绪标签，和分别代表共有分类器和私有分类器的预测结果。
[0019]3)计算编码器的重构损失函数：其中：k是脑电特征的数量，而
代表L2范数损失函数。同时计算差异损失函数其中：代表Frobenius范式，
[0020]为了提取脑电信号中与被试无关的成分，通过对域分类器进行梯度反转与共有编码器形成对抗。所述的梯度反转层的损失函数为：其中：d
i
是正确的域标签，
[0021]4)计算整体的损失函数：根据整体损失函数优化
[0022]所述的校正，通过使用目标被试部分无标签数据，在不改变E
s
和D
s
的条件下，更新该被试的私有编码器具体包括：
[0023]①
随机初始化根据训练后的AT，E
s
，D
s
，计算
[0024]②
根据最小化重构损失函数：优化
[0025]所述的插即用式域适应是指：在测试阶段，使用共有分类器C
s
进行预测的同时将基于私有编码器与其他私有编码器之间的相似度来进行预测，分类器综合所有相似度分类结果后输出最终结果，具体包括：
[0026]i)对于X
t
中的每一个数据x
t
，随机从X
s
中选择计算和的相似性权重w
s
，其中：相似性权重根据Cosin相似性得到；
[0027]ii)计算加权后的私有源域分类器预测结果：
[0028]iii)计算共有分类器的预测结果：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑电信号的即插即用式域适应方法，其特征在于，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应；所述的校正是指：利用少量无标签目标域数据，为目标被试生成私有编码器，并通过计算目标被试及源被试间的编码器输出Cosin相似度，输出综合了私有分类器和共有分类器的分类结果，进而对目标被试进行情绪识别；所述的微分熵特征提取是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵特征，具体包括以下步骤：1)对于脑电信号序列x[n]＝x1，...，x
n
，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：其中其中是角频率，k＝0，1，...，N
‑
1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号；2)根据特征频段计算出相应的能量谱E(ω
k
)＝X(m，ω
k
)X
*
(m，ω
k
)；3)基于能量谱计算微分熵特征其中：X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ，σ2)，则微分熵为每个频段的微分熵2.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的特征频段具体是指：Delta波，其频率范围为：1
‑
4Hz；Theta波，其频率范围为：4
‑
8Hz；Alpha波，其频率范围为：8
‑
14Hz；Beta波，其频率范围为：14
‑
31Hz；Gamma波，其频率范围为：31
‑
50Hz。3.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的基于长短期记忆的神经网络包括：共有和私有两种类别的编码器与解码器，从而从脑电信号中，找到情绪相关的所有被试都具有的共有成分及每个被试各不相同的私有成分，其中：对于共有编码器在时刻t的脑电特征及在时刻t
‑
1的LSTM隐状态被用来计算其t时刻的隐状态同样在t时刻的私有编码器隐状态也通过类似的方式同时计算得到，将私有编码器和共有编码器的隐状态相加得到共有解码器的输入即4.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的训练是指：基于注意力的池化被用于利用脑电信号中的关键导联和频段的空间信息，基于长短期记忆的编码器、解码器被用于学习时序信息，分类器根据编码器输出的结果进行情绪标签预测，域分类器被用于与共有编码器形成对抗，具体包括：1)随机初始化共有编码器E
s
、私有编码器共有解码器D
s
、共有分类器C
s
及私有分类器其中：1
‑
n表示源域上的n名被试；2)对于j＝1∶n，计算共有分类器损失函数及私有分类器损失函数及私有分类器损失函数其中：代表第j名被试的输入所对应的正确情绪标签，和分别
代表共有分类器和私有分类器的预测结果；3)计算编码器的重构损失函数：其中：k是脑电特征的数量，而代表L2范数损失函数；同时计算差异损失函数其中：代表Frobenius范式，为了提取脑电信号中与被试无关的成分，通过对域分类器进行梯度反转与共有编码器形成对抗；所述的梯度反转层的损失函数为：其中：d
i
是正确的域标签，4)计算整体的损失函数：根据整体损失函数优化AT，E
s
，C
s
，D
s
。5.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的校正，通过使用目标被试部分无标签数据，在不改变E
s
和D
s
的条件下，更新该被试的私有编码器具体包括：
①
随机初始化根据训练后的AT，E
s
，D
s
，计算
②
根据最小化重构损失函数：优化6.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的插即用式域适应是指：在测试阶...

【专利技术属性】
技术研发人员：吕宝粮，李添豪，赵黎明，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：