一种多模态情感识别方法、装置、电子设备和存储介质制造方法及图纸

本申请提供一种多模态情感识别方法、装置、电子设备和计算机存储介质，该方法包括：获取待测样本文件，对所述待测样本文件中N个模态的信息进行特征提取，得到帧级别特征；其中，所述待检测样本文件表示与情感信息相关的文件，N为大于2的整数；从所述N个模态的每个模态的帧级别特征获取L个帧级别特征；根据所述N个模态各自对应的L个帧级别特征，得到N个3阶时序特征张量；L为大于1的整数的平方；根据所述N个3阶时序特征张量，得到N阶多模态融合特征张量；基于所述N阶多模态融合特征张量，确定所述待测样本文件的情感分类结果。待测样本文件的情感分类结果。待测样本文件的情感分类结果。

【技术实现步骤摘要】
一种多模态情感识别方法、装置、电子设备和存储介质


[0001]本申请涉及情感分析
，尤其涉及一种多模态情感识别方法、装置、电子设备和计算机存储介质。

技术介绍

[0002]情感识别主要是根据目标人物一系列的行为动作、语言及表情等信息计算出对应的情感，应用领域广泛。随着互联网及大数据技术的发展，情感识别不仅仅依赖于单一模态的信息，跨模态的信息交互可以提供给情感识别更多的信息和特征，使得识别更准确。
[0003]相关技术中，多模态融合方法主要有特征融合和决策层融合两种，特征融合主要是针对不同模态的不同特征进行简单拼接，得到多模态融合特征，然而需要在时序上对不同模态的特征进行对齐，并且还需要保证不同模态间的颗粒度一致，即不同模态间的维度需要保持一致，这可能会导致对情感起关键作用的某一模态信息不完整；决策层融合是在每种单一模态信息单独做训练之后对结果进行决策投票，它不需要模态对齐信息，但是却难以挖掘不同模态间的交互信息；可见，在根据上述多模态融合方法进行情感识别时，会因为模态内或不同模态间信息缺失造成情感识别时准确率低的问题。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态情感识别方法，其特征在于，所述方法包括：获取待测样本文件，对所述待测样本文件中N个模态的信息进行特征提取，得到帧级别特征；其中，所述待检测样本文件表示与情感信息相关的文件，从所述N个模态的每个模态的帧级别特征获取L个帧级别特征；根据所述N个模态各自对应的L个帧级别特征，得到N个3阶时序特征张量；L为大于1的整数的平方；根据所述N个3阶时序特征张量，得到N阶多模态融合特征张量；基于所述N阶多模态融合特征张量，确定所述待测样本文件的情感分类结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述N个模态对应的L个帧级别特征，得到N个3阶时序特征张量，包括：对所述N个模态对应的L个帧级别特征进行转化，得到N个时序特征矩阵；分别对所述N个时序特征矩阵进行张量化，得到N个3阶时序特征张量。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述N个3阶时序特征张量，得到N阶多模态融合特征张量，包括：利用低秩张量网络机制，将所述N个3阶时序特征张量投影到N维空间，得到N阶多模态融合特征张量。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：在分别对所述N个时序特征矩阵进行张量化之前，采用设定压缩方法对所述N个时序特征矩阵进行降维。5.根据权利要求1所述的方法，其特征在于，在第k个模态的帧级别特征对应的维度为n
k
的情况下，所述N阶多模态融合特征张量的维度为n1×
n2×
...
×
n
...

【专利技术属性】
技术研发人员：刘敏，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：