一种多模态跨被试情绪识别方法技术

本发明专利技术公开一种多模态跨被试情绪识别方法

【技术实现步骤摘要】
一种多模态跨被试情绪识别方法、系统、电子设备及介质


[0001]本专利技术涉及情绪识别
，特别是涉及一种多模态跨被试情绪识别方法
、
系统
、
电子设备及介质
。

技术介绍

[0002]情绪识别对于理解人类的意图和行为有着重要的作用，是人机交互领域的核心研究课题之一
。
由于情绪受生理
、
心理
、
环境等多种复杂因素的影响，机器往往难以准确理解人的情绪
。
近年来，智能情绪识别方法得到了广泛的关注
。
然而，情绪数据中存在的不确定性，如模态异质性和跨被试分布差异性等，严重限制了情绪识别方法在实际中的应用
。
[0003]现有的情绪识别方法主要基于行为数据或生理信号
。
其中，行为数据包括面部表情
、
声音
、
眼球运动等，生理信号则包括皮肤电反应
(GSR)、
肌电图
(EMG)、
心电图
(ECG)、
脑电图
(EEG)
等
。
前者更符合人类情绪认知的机制，而后者具有一定的防欺诈能力
。
在各种生理特征中，脑电图因其时间分辨率高
、
抗欺骗等特点，是目前应用最广泛的情绪识别方式
。
由于使用多模态融合技术可以为情绪识别提供互补的语义信息，许多研究将
EEG
与眼动
、
>面部表情等其他模态相结合，以提高情绪识别的鲁棒性和准确性，但同时，模态间结构的异质性给识别任务带来了更大的挑战
。
以外，在实际应用中，不同被试间的数据分布差异远大于情绪类别差异，这一现象进一步加剧了多模态情绪识别问题的复杂性
。
近年来，情绪识别中的跨被试分布差异问题越来越受到重视，但是现有的方法都是针对单一模态的跨被试对齐而设计的，并不能有效缓解多模态情绪识别中的跨被试问题
。

技术实现思路

[0004]本专利技术的目的是提供一种多模态跨被试情绪识别方法
、
系统
、
电子设备及介质，可有效缓解多模态情绪识别中的跨被试问题，提高情绪识别结果的准确度
。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种多模态跨被试情绪识别方法，包括：
[0007]构建多模态跨被试情绪识别网络；所述多模态跨被试情绪识别网络包括：依次连接的跨被试对齐模块
、
跨模态对齐模块和多模态融合模块；所述跨被试对齐模块包括
EEG
被试对齐子模块和眼动被试对齐子模块；所述
EEG
被试对齐子模块包括第一浅层编码器
、
均与所述第一浅层编码器连接的第一深层编码器和第一域预测器以及与所述第一浅层编码器连接的第一情绪标签预测器；所述眼动被试对齐子模块包括第二浅层编码器
、
均与所述第二浅层编码器连接的第二深层编码器和第二域预测器以及与所述第二浅层编码器连接的第二情绪标签预测器；所述跨模态对齐模块包括
EEG
模态对齐子模块和眼动模态对齐子模块；所述
EEG
模态对齐子模块包括均与所述第一浅层编码器连接的第一自注意力编码器和第一动量编码器；所述眼动模态对齐子模块包括均与所述第二浅层编码器连接的第二自注意力编码器和第二动量编码器；所述多模态融合模块包括与所述第一自注意力编码器和所述第二自注意力编码器连接的交叉注意力层以及均与所述交叉注意力层连接的第一融合
分支和第二融合分支；所述第一融合分支和所述第二融合分支均包括顺序连接的全连接层和
SoftMax
函数；所述全连接层与所述交叉注意力层连接；
[0008]获取多个源域数据
、
一个目标域数据
、
各所述源域数据的各特征数据集对应的真实情绪和所述目标域数据的各特征数据集对应的真实情绪；一个所述源域数据以及所述目标域数据均包括多个特征数据集；一个特征数据集包括一个对象在相同时刻下的
EEG
模态特征数据和眼动模态特征数据；
[0009]采用所有所述源域数据和所述目标域数据对所述多模态跨被试情绪识别网络进行训练，得到训练好的多模态跨被试情绪识别网络；
[0010]根据训练好的多模态跨被试情绪识别网络构建情绪识别模型，所述情绪识别模型用于进行情绪识别；所述情绪识别模型包括第一浅层编码器
、
第二浅层编码器
、
第一自注意力编码器
、
第二自注意力编码器
、
交叉注意力层
、
全连接层和
SoftMax
函数；所述第一自注意力编码器与所述第一浅层编码器以及所述交叉注意力层连接，所述第二自注意力编码器与所述第二浅层编码器以及所述交叉注意力层连接，所述交叉注意力层
、
所述全连接层和
SoftMax
函数顺次连接
。
[0011]一种多模态跨被试情绪识别系统，包括：
[0012]构建模块，用于构建多模态跨被试情绪识别网络；所述多模态跨被试情绪识别网络包括：依次连接的跨被试对齐模块
、
跨模态对齐模块和多模态融合模块；所述跨被试对齐模块包括
EEG
被试对齐子模块和眼动被试对齐子模块；所述
EEG
被试对齐子模块包括第一浅层编码器
、
均与所述第一浅层编码器连接的第一深层编码器和第一域预测器以及与所述第一浅层编码器连接的第一情绪标签预测器；所述眼动被试对齐子模块包括第二浅层编码器
、
均与所述第二浅层编码器连接的第二深层编码器和第二域预测器以及与所述第二浅层编码器连接的第二情绪标签预测器；所述跨模态对齐模块包括
EEG
模态对齐子模块和眼动模态对齐子模块；所述
EEG
模态对齐子模块包括均与所述第一浅层编码器连接的第一自注意力编码器和第一动量编码器；所述眼动模态对齐子模块包括均与所述第二浅层编码器连接的第二自注意力编码器和第二动量编码器；所述多模态融合模块包括与所述第一自注意力编码器和所述第二自注意力编码器连接的交叉注意力层以及均与所述交叉注意力层连接的第一融合分支和第二融合分支；所述第一融合分支和所述第二融合分支均包括顺序连接的全连接层和
SoftMax
函数；所述全连接层与所述交叉注意力层连接；
[0013]获取模块，用于获取多个源域数据
、
一个目标域数据
、
各所述源域数据的各特征数据集对应的真实情绪和所述目标域数据的各特征数据集对应的真实情绪；一个所述源域数据以及所述目标域数据均包括多个特征数据集；一个特征数据集包括一个对象在相同时刻下的
EEG
模态特征数据和眼本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态跨被试情绪识别方法，其特征在于，包括：构建多模态跨被试情绪识别网络；所述多模态跨被试情绪识别网络包括：依次连接的跨被试对齐模块
、
跨模态对齐模块和多模态融合模块；所述跨被试对齐模块包括
EEG
被试对齐子模块和眼动被试对齐子模块；所述
EEG
被试对齐子模块包括第一浅层编码器
、
均与所述第一浅层编码器连接的第一深层编码器和第一域预测器以及与所述第一浅层编码器连接的第一情绪标签预测器；所述眼动被试对齐子模块包括第二浅层编码器
、
均与所述第二浅层编码器连接的第二深层编码器和第二域预测器以及与所述第二浅层编码器连接的第二情绪标签预测器；所述跨模态对齐模块包括
EEG
模态对齐子模块和眼动模态对齐子模块；所述
EEG
模态对齐子模块包括均与所述第一浅层编码器连接的第一自注意力编码器和第一动量编码器；所述眼动模态对齐子模块包括均与所述第二浅层编码器连接的第二自注意力编码器和第二动量编码器；所述多模态融合模块包括与所述第一自注意力编码器和所述第二自注意力编码器连接的交叉注意力层以及均与所述交叉注意力层连接的第一融合分支和第二融合分支；所述第一融合分支和所述第二融合分支均包括顺序连接的全连接层和
SoftMax
函数；所述全连接层与所述交叉注意力层连接；获取多个源域数据
、
一个目标域数据
、
各所述源域数据的各特征数据集对应的真实情绪和所述目标域数据的各特征数据集对应的真实情绪；一个所述源域数据以及所述目标域数据均包括多个特征数据集；一个特征数据集包括一个对象在相同时刻下的
EEG
模态特征数据和眼动模态特征数据；采用所有所述源域数据和所述目标域数据对所述多模态跨被试情绪识别网络进行训练，得到训练好的多模态跨被试情绪识别网络；根据训练好的多模态跨被试情绪识别网络构建情绪识别模型，所述情绪识别模型用于进行情绪识别；所述情绪识别模型包括第一浅层编码器
、
第二浅层编码器
、
第一自注意力编码器
、
第二自注意力编码器
、
交叉注意力层
、
全连接层和
SoftMax
函数；所述第一自注意力编码器与所述第一浅层编码器以及所述交叉注意力层连接，所述第二自注意力编码器与所述第二浅层编码器以及所述交叉注意力层连接，所述交叉注意力层
、
所述全连接层和
SoftMax
函数顺次连接
。2.
根据权利要求1所述的多模态跨被试情绪识别方法，其特征在于，采用所有所述源域数据和所述目标域数据对所述多模态跨被试情绪识别网络进行训练，得到训练好的多模态跨被试情绪识别网络，具体包括：在当前迭代次数下，采用自步学习策略根据所述目标域数据以及上一次迭代次数下的所有所述源域数据，得到当前迭代次数下的训练集，以当前迭代次数下的训练集为输入，以当前迭代次数下的训练集中各特征数据集对应的真实情绪以及当前迭代次数下的训练集中各特征数据集的真实的域标签为输出，以交叉损失函数最小为目标，对所述跨被试对齐模块进行训练，得到当前迭代次数下训练好的跨被试对齐模块，并将当前迭代次数下的训练集从所述上一次迭代次数下的所有所述源域数据中删除，得到当前迭代次数下的所有所述源域数据，然后更新迭代次数进入下次迭代，直到当前迭代次数下没有源域数据，则确定最后一次迭代次数下训练好的跨被试对齐模块为最优跨被试对齐模块；所述域标签为源域或者目标域；所述交叉损失函数根据所述跨被试对齐模块得到；将所有所述源域数据和所述目标域数据输入所述最优跨被试对齐模块中的第一浅层
编码器和第二浅层编码器，得到特征向量集合；所述特征向量集合包括：各所述源域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量
、
所述目标域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量
、
各所述源域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量以及所述目标域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量；以所述特征向量集合为输入，以各所述源域数据的各特征数据集对应的真实情绪
、
所述目标域数据的各特征数据集对应的真实情绪和各样本对的匹配概率为输出，以总损失函数最小为目标，对所述跨模态对齐模块和所述多模态融合模块进行训练，得到最优跨模态对齐模块和最优多模态融合模块；一个样本对包括一个
EEG
模态编码特征向量和一个眼动模态编码特征向量；所述
EEG
模态编码特征向量和所述眼动模态编码特征向量为将所述特征向量集合输入所述第一自注意力编码器和所述第二自注意力编码器得到的；若一个样本对中所述
EEG
模态编码特征向量和所述眼动模态编码特征向量为同一特征数据对应的，则所述样本对的样本对匹配概率为1，否则所述样本对的样本对匹配概率为0；所述总损失函数为对比损失函数
、
匹配损失函数以及分类损失函数的和；所述对比损失函数根据所述跨模态对齐模块得到；所述匹配损失函数根据所述交叉注意力层以及所述第一融合分支得到；所述分类损失函数根据所述交叉注意力层
、
所述第二融合分支
、
所述第一浅层编码器
、
所述第一深层编码器
、
所述第一情绪标签预测器
、
所述第二浅层编码器
、
第二深层编码器和所述第二情绪标签预测器得到
。3.
根据权利要求2所述的多模态跨被试情绪识别方法，其特征在于，在当前迭代次数下，采用自步学习策略根据所述目标域数据以及上一次迭代次数下的所有所述源域数据，得到当前迭代次数下的训练集，以当前迭代次数下的训练集为输入，以当前迭代次数下的训练集中各特征数据集对应的真实情绪以及当前迭代次数下的训练集中各特征数据集的真实的域标签为输出，以交叉损失函数最小为目标，对所述跨被试对齐模块进行训练，得到当前迭代次数下训练好的跨被试对齐模块，并将当前迭代次数下的训练集从所述上一次迭代次数下的所有所述源域数据中删除，得到当前迭代次数下的所有所述源域数据，然后更新迭代次数进入下次迭代，直到没有余下的所述源域数据，则确定最后一次迭代次数下训练好的跨被试对齐模块为最优跨被试对齐模块，具体包括：在当前迭代次数下，采用自步学习策略根据所述目标域数据以及上一次迭代次数下的所有所述源域数据，得到当前迭代次数下的训练集；以当前迭代次数下的训练集的各特征数据集中
EEG
模态特征数据为输入，以当前迭代次数下的训练集的各特征数据集中
EEG
模态特征数据对应的真实情绪以及当前迭代次数下的训练集的各特征数据集中
EEG
模态特征数据的真实的域标签为输出，以第一交叉损失函数最小为目标，对所述
EEG
被试对齐子模块中的第一浅层编码器和第一深层编码器的参数进行调整，得到当前迭代次数下训练好的
EEG
被试对齐子模块；所述第一交叉损失函数为根据所述
EEG
被试对齐子模块得到的；以当前迭代次数下的训练集的各特征数据集中的眼动模态特征数据为输入，以当前迭代次数下的训练集的各特征数据集中眼动模态特征数据对应的真实情绪以及当前迭代次数下的训练集的各特征数据集中眼动模态特征数据的真实的域标签为输出，以第二交叉损失函数最小为目标，对所述眼动被试对齐子模块中的第二浅层编码器和第二深层编码器的
参数进行调整，得到当前迭代次数下训练好的眼动被试对齐子模块；所述第二交叉损失函数的值为根据所述眼动被试对齐子模块得到；判断上一次迭代次数下的所有所述源域数据的个数是否大于1；若是，则将当前迭代次数下的训练集从所述上一次迭代次数下的所有所述源域数据中删除，得到当前迭代次数下的所有所述源域数据，然后更新迭代次数进入下次迭代；若否，则根据当前迭代次数下训练好的
EEG
被试对齐子模块和当前迭代次数下训练好的眼动被试对齐子模块，得到最优跨被试对齐模块
。4.
根据权利要求2所述的多模态跨被试情绪识别方法，其特征在于，将所有所述源域数据和所述目标域数据输入所述最优跨被试对齐模块中的第一浅层编码器和第二浅层编码器，得到特征向量集合，具体包括：将所有源域数据的各特征数据集中的
EEG
模态特征数据以及所述目标域数据的各特征数据集中的
EEG
模态特征数据输入所述最优跨被试对齐模块中的第一浅层编码器，得到各所述源域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量以及所述目标域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量；将所有源域数据的各特征数据集中的眼动模态特征数据以及所述目标域数据的各特征数据集中的眼动模态特征数据输入所述最优跨被试对齐模块中的第二浅层编码器，得到各所述源域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量以及所述目标域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量
。5.
根据权利要求2所述的多模态跨被试情绪识别方法，其特征在于，以所述特征向量集合为输入，以各所述源域数据的各特征数据集对应的真实情绪
、
所述目标域数据的各特征数据集对应的真实情绪和各样本对的匹配概率为输出，以总损失函数最小为目标，对所述跨模态对齐模块和所述多模态融合模块进行训练，得到最优跨模态对齐模块和最优多模态融合模块，具体包括：在当前迭代次数下，将各所述源域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量以及所述目标域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量输入上一次迭代次数下跨模态对齐模块的交叉注意力层，得到各所述源域数据的各特征数据集中
EEG
模态特征数据对应的
EEG
模态编码特征向量以及所述目标域数据的各特征数据集中
EEG
模态特征数据对应的
EEG
模态编码特征向量；将各所述源域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量以及所述目标域数据的各特征数据集中
EEG
模态特征数据对应的跨被试对齐后
EEG
模态特征向量输入第一动量编码器，得到各所述源域数据的各特征数据集中
EEG
模态特征数据对应的
EEG
模态动量特征向量以及所述目标域数据的各特征数据集中
EEG
模态特征数据对应的
EEG
模态动量特征向量；将各所述源域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量以及所述目标域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量输入上一次迭代次数下跨模态对齐模块的第二自注意力编码器，得到各所述源域数据的各特征数据集中眼动模态特征数据对应的眼动模态编码特征向量以及
所述目标域数据的各特征数据集中眼动模态特征数据对应的眼动模态编码特征向量；将各所述源域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量以及所述目标域数据的各特征数据集中眼动模态特征数据对应的跨被试对齐后眼动模态特征向量输入第二动量编码器，得到各所述源域数据的各特征数据集中眼动模态特征数据对应的眼动模态动量特征向量以及所述目标域数据的各特征数据集中眼动模态特征数据对应的眼动模态动量特征向量；根据各所述源域数...

【专利技术属性】
技术研发人员：朱旗，朱婷，郑楚杭，李胜荣，王坤，黄硕，张道强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：