一种情感识别的方法、装置、设备和介质制造方法及图纸

本申请提供了一种情感识别的方法、装置、设备和介质，该方法包括：获取目标对象的多个模态分别对应的模态特征；基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。分类结果。分类结果。

【技术实现步骤摘要】
一种情感识别的方法、装置、设备和介质


[0001]本申请涉及数据处理领域，具体而言，涉及一种情感识别的方法、装置、设备和介质。

技术介绍

[0002]随着科技的进步，网络环境也变得越来越高效，基于网络环境人工智能也得到了更快度的发展，其中，情感识别一直是人工智能领域的热门话题，它有利于人们的社会沟通和活动。在人们的生活和交往的过程中，包含各种表达情感的方式。
[0003]表达情感的方式可以包含以下任意一种模态数据：文本数据、视频数据和语音数据等。现阶段情感分析着重于单个模态数据的情感分析研究，但现有研究证明，不同模态数据之间存在与情感状态判别相关的特征信息，模态特征之间也存在着互补性和一致性情感信息。现阶段，对多个模态数据进行情感分析时，学习模型基本上都是单向跨模态注意力机制，且多模态之间都是按顺序叠加多个单向跨模态特征，才能得到多个模态数据多模态数据的情感分析结果。但是这种分析方式处理性能较弱。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种情感识别的方法、装置、设备和介质，用于解决现有技术中多模态情感识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感识别的方法，其特征在于，包括：获取目标对象的多个模态分别对应的模态特征；基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。2.根据权利要求1所述的方法，其特征在于，基于所述注意力表示获得所述目标对象的情感分类结果，包括：将每个模态对应的所述模态特征作为所述神经网络的价值；基于所述价值和所述注意力表示，通过所述神经网络获得分别以每个模态的模态特征为主导的模态间的情感交互信息；基于每个所述情感交互信息获得所述目标对象的情感分类结果。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对每个模态的所述核张量沿着对应模态的时间维度进行平均池化操作，得到所述核张量的池化矩阵。4.根据权利要求2所述的方法，其特征在于，所述基于每个所述情感交互信息获得所述目标对象的情感分类结果，包括：将所述每个所述情感交互信息的叠加结果，输入至所述神经网络的线性分类层，得到所述目标对象的情感分类结果。5.根据权利要求2所述的方法，其特征在于，在基于每个所述情感交互信息获得所述目标对象的情感分类结果之前，所述方法还包括：重复执行如下步骤预设次数：针对每个模态，将所述模态的所述情感交互信息作为新的模态特征；基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；根据所述查询值和所述键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；将每个模态对应的所述模态特征作为所述神经网络...

【专利技术属性】
技术研发人员：孔万增，唐佳佳，李康，金宣妤，丁彧，吕唐杰，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：