基于动态卷积残差多源迁移的脑电情绪识别方法及系统技术方案

本发明专利技术属于脑电情绪识别领域，具体涉及了一种基于动态卷积残差多源迁移学习的脑电情绪识别方法及系统，旨在解决现有脑电情绪识别无法克服脑电信号非平稳性和个体时间差异带来的预测精度不足的问题。本发明专利技术包括：基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高维特征；结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于差异性进行源域和目标域的高维特征对齐；通过分类器进行对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。本发明专利技术克服了脑电信号非平稳性和个体时间差异带来的不足，预测精度高、效率高，模型应用价值更高。值更高。值更高。

【技术实现步骤摘要】
基于动态卷积残差多源迁移的脑电情绪识别方法及系统


[0001]本专利技术属于脑电情绪识别领域，具体涉及了一种基于动态卷积残差多源迁移学习的脑电情绪识别方法及系统。

技术介绍

[0002]情绪识别具有极大的科学和临床意义。脑电信号是一种具有较高时间分辨率的生理信号，通过分析情绪刺激引起的即时大脑活动来进行情绪识别，比面部表情、手势、语言等非生理手段更加客观可靠。
[0003]目前利用脑电信号进行情绪识别的研究在个体非独立下已经达到较高精度。但是脑电信号存在非平稳性且个体差异较大的挑战，一些传统的模型参数需要根据不同个体进行调整，脑电情绪识别的效率以及识别结果的准确性和精度都受到了限制。
[0004]综上所述，探索基于迁移学习的脑电信号情绪识别算法，并针对跨时间、跨个体情境下的多源域脑电情绪识别的进一步的研究具有实际意义。

技术实现思路

[0005]为了解决现有技术中的上述问题，即现有脑电情绪识别无法克服脑电信号非平稳性和个体时间差异带来的预测精度不足的问题，本专利技术提供了一种基于动态卷积残差多源迁移学习的脑电情绪识别方法，所述脑电情绪识别方法包括：
[0006]基于静态网络和动态卷积残差块构建特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
[0007]结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
[0008]通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
[0009]在一些优选的实施例中，所述静态网络和所述动态网络，其结构为：
[0010]所述静态网络为一个一维卷积层，所述一维卷积层的参数为不随样本变化的静态参数；
[0011]所述动态网络包括k个一维卷积残差块，所述k个一维卷积残差块在所述动态网络中所占的动态权重，根据不同的样本通过所述第二注意力机制模块进行动态调整，其中，k为预设的超参数。
[0012]在一些优选的实施例中，所述预设的超参数k的取值为：
[0013]当针对跨个体任务时，k＝4；
[0014]当针对同一个体的跨时间任务时，k＝2。
[0015]在一些优选的实施例中，所述动态网络，在特征提取器所占的权重为：
W
θ(x)
＝λW0+(1
‑
λ)ΔW
θ(x)
[0016]其中，W
θ(x)
代表特征提取器的主体函数，ΔW
θ(x)
代表动态网络的主体函数，W0代表静态网络的卷积核，λ代表第一注意力机制模块获取的动态网络在特征提取器所占的权重，π
i
(x)代表第二注意力机制模块获取的动态网络中第i个一维卷积残差块随样本x变化的动态权重，Φ
i
代表第i个一维卷积残差块。
[0017]在一些优选的实施例中，所述k个一维卷积残差块在所述动态网络所占的动态权重为：a＝Softmax(W2(Relu(W1x+b1)+b2))
[0018]其中，a为一维卷积残差块在动态网络所占的动态权重，W1和W2分别代表预设的第二注意力机制的两个全连接层参数，b1和b2分别代表第二注意力机制的两个全连接层的偏置，x代表样本，Relu代表第二注意力机制的第一个全连接层的激活函数，Softmax代表第二注意力机制的第二个全连接层的激活函数。
[0019]在一些优选的实施例中，所述脑电情绪识别方法，其训练中的总损失包括情绪分类损失、边缘分布域适应损失和条件分布域适应损失；
[0020]所述总损失，其表示为：L＝L
cls
+L
MMD
+L
MCD
[0021]其中，L代表总损失函数，L
cls
为情绪分类损失函数，L
MMD
为边缘分布域适应损失函数，L
MCD
为条件分布域适应损失函数。
[0022]在一些优选的实施例中，所述情绪分类损失函数为交叉熵损失函数。
[0023]在一些优选的实施例中，所述边缘分布域适应损失函数L
MMD
，其表示为：
[0024]其中，X
s
＝{x
s1
，x
s2
，
…
，x
si
，
…
，x
sn
}，X
t
＝{x
t1
，x
t2
，
…
，x
tj
，
…
，x
tn
}分别代表训练中的源域和目标域的样本数据，n为源域X的样本数据量，m为目标域的样本数据量，φ为预设的将样本数据映射到希尔伯特空间的映射函数，代表计算样本数据在希尔伯特空间的距离。
[0025]在一些优选的实施例中，所述条件分布域适应损失函数L
MCD
，在三阶段训练的每一阶段为不同的函数，将特征提取器记作G，将两个分类器记作F1，F2；
[0026]第一训练阶段，训练特征提取器G和两个分类器F1，F2，其目标函数为：，其目标函数为：
[0027]其中，Y
s
为源域的样本数据标签，L(X
s
，Y
s
)代表源域分类的交叉熵损失，γ为随着
训练迭代次数从0逐渐增大的权重，r为第r次迭代训练；
[0028]第二训练阶段，固定特征提取器G，训练两个分类器F1，F2，其目标函数为：，其目标函数为：，其目标函数为：
[0029]其中，代表在目标域中计算[d(p1(y1|x
t
)，p2(y2|x
t
))]的数学期望，p1(y1|x
t
)代表分类器F1输入为x
t
时分类为y1的概率分布，p2(y2|x
t
)代表分类器F2的输入为x
t
时分类为y2的概率分布，p
1c
，p
2c
分别代表p1(y1|x
t
)，p2(y2|x
t
)在第c个类别的概率，c代表第c个类别，C为样本数据的类别数；
[0030]第三训练阶段，固定两个分类器F1，F2，训练特征提取器G，其目标函数为：
[0031]本专利技术的另一方面，提出了一种基于动态卷积残差多源迁移学习的脑电情绪识别系统，所述脑电情绪识别系统包括：
[0032]特征提取模块，配置为基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述脑电情绪识别方法包括：基于静态网络和动态卷积残差块构建特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。2.根据权利要求1所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述静态网络和所述动态网络，其结构为：所述静态网络为一个一维卷积层，所述一维卷积层的参数为不随样本变化的静态参数；所述动态网络包括k个一维卷积残差块，所述k个一维卷积残差块在所述动态网络中所占的动态权重，根据不同的样本通过所述第二注意力机制模块进行动态调整，其中，k为预设的超参数。3.根据权利要求2所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述预设的超参数k的取值为：当针对跨个体任务时，k＝4；当针对同一个体的跨时间任务时，k＝2。4.根据权利要求1所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述动态网络，在特征提取器所占的权重为：W
θ(x)
＝λW0+(1
‑
λ)ΔW
θ(x)
其中，W
θ(x)
代表特征提取器的主体函数，ΔW
θ(x)
代表动态网络的主体函数，W0代表静态网络的卷积核，λ代表第一注意力机制模块获取的动态网络在特征提取器所占的权重，π
i
(x)代表第二注意力机制模块获取的动态网络中第i个一维卷积残差块随样本x变化的动态权重，Φ
i
代表第i个一维卷积残差块。5.根据权利要求4所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述k个一维卷积残差块在所述动态网络所占的动态权重为：a＝Softmax(W2(Relu(W1x+b1)+b2))其中，a为一维卷积残差块在动态网络所占的动态权重，W1和W2分别代表预设的第二注意力机制的两个全连接层参数，b1和b2分别代表第二注意力机制的两个全连接层的偏置，x代表样本，Relu代表第二注意力机制的第一个全连接层的激活函数，Softmax代表第二注意力机制的第二个全连接层的激活函数。6.根据权利要求1所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特
征在于，所述脑电情绪识别方法，其训练中的总损失包括情绪分类损失、边缘分布域适应损失和条件分布域适应损失；所述总损失，其表示为：L＝L
cls
+L
MMD
+L
MCD
其中，L代表总损失函数，L
cls
为情绪分类损失函数，L
MMD
为边缘分布域适应损失函数，L
MCD
为条件分布域适应损失函数。7.根据权利要求6所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于...

【专利技术属性】
技术研发人员：左年明，蒋田仔，姜皖清，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：