【技术实现步骤摘要】
本专利技术涉及情绪识别领域，尤其涉及一种基于约束对抗网络的双注意力跨模态情绪识别系统以及基于约束对抗网络的双注意力跨模态情绪识别系统的模型训练方法。
技术介绍
1、为了更加精准的识别到人的情绪，现有技术会使用人的脑电图和眼动信号进行跨模态的情绪识别。具体的，通常会使用以下方法：
2、1、maet（multimodal adaptive emotion transformer，多模态自适应情绪transformer）模型。该模型将单模态特征通过编码映射到包含多模态信息的特征空间中，具体的，使用深度回归神经网络探索回归连接，从眼动信号中生成多模态特征。该模型由一个多视角编码模块，一个自适应transformer，一个混合transformer以及若干分类器组成。训练时首先使用脑电图和眼动特征对其进行训练，使其具有处理多模态输入的能力。然后，对maet的主干进行了冻结，并引入了情感提示调整，只对情感提示和单一情态的分类器进行调整。maet经过训练后，可以将脑电图或眼动或脑电图和眼动同时作为输入，可以得到情绪识别结果。
...
【技术保护点】
1.一种基于约束对抗网络的双注意力跨模态情绪识别系统，其特征在于，包括：多个基于多头自注意的生成器、多头交叉注意层、共同联合空间、多个与所述生成器对应的解码器、模态鉴别器及情绪分类器，其中，
2.根据权利要求1所述的系统，其中，所述多个基于多头自注意的生成器包括：脑电图特征生成器、眼动特征生成器；
3.根据权利要求1所述的方法，其中，所述基于多头自注意的生成器包括基于transformer的编码器，其中，所述编码器用于从与所述情绪识别相关的单模态数据中学习单模态特征，所述编码器包括：位置嵌入、多头自注意层、残差连接和层归一化层、前馈网络以及公共
【技术特征摘要】
1.一种基于约束对抗网络的双注意力跨模态情绪识别系统，其特征在于，包括：多个基于多头自注意的生成器、多头交叉注意层、共同联合空间、多个与所述生成器对应的解码器、模态鉴别器及情绪分类器，其中，
2.根据权利要求1所述的系统，其中，所述多个基于多头自注意的生成器包括：脑电图特征生成器、眼动特征生成器；
3.根据权利要求1所述的方法，其中，所述基于多头自注意的生成器包括基于transformer的编码器，其中，所述编码器用于从与所述情绪识别相关的单模态数据中学习单模态特征，所述编码器包括：位置嵌入、多头自注意层、残差连接和层归一化层、前馈网络以及公共变换层。
4.一种基于约束对抗网络的双注意力跨模态情绪识别系统的模型训练方法：
5.根据权利要求4所述的方法，其中，在得到训练后的双注意力跨模态情绪识别模型之后，所述方法包括：
6...
【专利技术属性】
技术研发人员：吕宝粮，赵黎明，
申请(专利权)人：上海零唯一思科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。