确定对象情感的方法、训练情感分类模型的方法及装置制造方法及图纸

本公开提供了一种确定对象情感的方法，涉及人工智能领域，尤其涉及深度学习和计算机视觉领域。具体实现方案为：针对目标对象的多模态数据中每个单模态数据，利用单模态数据的第一权重对单模态数据的特征进行加权，得到每个单模态数据的第一加权特征；多模态数据包括多个单模态数据；根据单模态数据的第一权重，利用特征融合模型对多个单模态数据的第一加权特征进行融合，得到第一融合特征；利用分类模型对第一融合特征进行分类，得到目标对象的情感分类结果。本公开还提供了一种训练情感分类模型的方法、装置、电子设备、存储介质。存储介质。存储介质。

【技术实现步骤摘要】
确定对象情感的方法、训练情感分类模型的方法及装置


[0001]本公开涉及人工智能
，进一步涉及深度学习和计算机视觉
，尤其涉及一种确定对象情感的方法及装置、训练情感分类模型的方法及装置、电子设备、存储介质及计算机程序产品。

技术介绍

[0002]随着网络技术的快速发展，互联网的用户量和平台数量也在迅速增长，越来越多的人喜欢在公共社交媒体和电商平台上分享自己的生活，表达自己的观点。社交平台上往往包含大量的文字、图片以及视频内容，针对这些内容中情感信息的研究，一方面，商家根据他们发表的多媒体内容，分析出每个消费者的情感倾向。例如，针对某个产品的积极态度或者消极态度，从而更有针对性的进行商品推荐、新闻推送。另一方面，商家可以利用用户的情感偏向对自己的产品进行改进或者推广，通过分析用户的情感倾向，商家能够了解到自身产品的优缺点或者消费者群体的层次，从而针对性的对自身产品与服务进行改进，以更好地与其他同类型的企业进行竞争。如何分析多媒体内容中的情感，是当前情感分析领域面临的机遇和挑战。

技术实现思路

[0003]本公开提供了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定对象情感的方法，包括：针对目标对象的多模态数据中每个单模态数据，利用所述单模态数据的第一权重对所述单模态数据的特征进行加权，得到所述每个单模态数据的第一加权特征；所述多模态数据包括多个单模态数据；根据所述单模态数据的第一权重，利用特征融合模型对多个所述单模态数据的第一加权特征进行融合，得到第一融合特征；利用分类模型对所述第一融合特征进行分类，得到所述目标对象的情感分类结果。2.根据权利要求1所述的方法，还包括：利用第一权重模型对所述多模态数据进行处理，得到所述多模态数据中每个单模态数据的第一权重；其中，所述特征融合模型包括第一特征融合网络和第二特征融合网络；所述根据所述单模态数据的第一权重，利用特征融合模型对多个所述单模态数据的第一加权特征进行融合，得到第一融合特征包括：利用所述第一特征融合网络对多个所述单模态数据的第一加权特征进行融合，得到第二融合特征；利用第二权重模型对多个所述单模态数据的第一权重和所述第二融合特征进行处理，得到所述单模态数据的第二权重；针对每个单模态数据的第一加权特征，利用该单模态数据的第二权重对该单模态数据的第一加权特征进行加权，得到每个单模态数据的第二加权特征；利用所述第二特征融合网络对多个所述单模态数据的第二加权特征进行融合，得到所述第一融合特征。3.根据权利要求2所述的方法，其中，所述第二权重模型实现为：Inter_A
n
＝F(Softmax(W
n
*relu(W
j
*Z)))其中，Inter_A
n
为第n个所述单模态数据的第二权重，W
n
为第n个所述单模态数据的第一权重，W
j
为所述单模态数据的第一权重，n＝1，
……
，N，j＝1，
……
，N，N为所述多模态数据中单模态数据的数量，Z为所述第二融合特征，relu(*)为线性整流函数，F(*)为任意函数。4.根据权利要求2或3所述的方法，其中，所述特征融合模型还包括特征转换网络，所述方法还包括：利用特征提取模型对所述单模态数据进行特征提取，得到所述单模态数据的初始特征序列；利用所述特征转换网络对所述单模态数据的初始特征序列进行转换，得到所述单模态数据的高维特征；利用第三权重模型对所述单模态数据的高维特征进行处理，得到所述单模态数据的第三权重；利用所述单模态数据的第三权重对所述单模态数据的高维特征进行加权，得到所述单模态数据的特征。5.根据权利要求4所述的方法，其中，所述多模态数据包括图像模态数据，所述特征提取模型包括图像提取网络；所述利用特征提取模型对所述单模态数据进行特征提取，得到所述单模态数据的初始
特征序列包括：计算所述图像模态数据中每个图像帧与第一图像帧之间的相似度，将所述图像模态数据中与所述第一图像帧的相似度小于预设相似度阈值的图像帧和所述第一图像帧作为目标帧；利用所述图像提取网络对所述目标帧进行特征提取，得到所述图像模态数据的初始特征序列。6.根据权利要求4所述的方法，其中，所述多模态数据包括音频模态数据，所述特征提取模型包括音频提取网络；所述利用特征提取模型对所述单模态数据进行特征提取，得到所述单模态数据的初始特征序列包括：利用所述音频提取网络对所述音频模态数据进行特征提取，得到所述音频模态数据的初始特征序列。7.根据权利要求4所述的方法，其中，所述多模态数据包括文本模态数据，所述文本模态数据包括以下至少之一：根据所述多模态数据的字幕得到的文本；根据所述多模态数据的音频得到的文本；根据所述多模态数据的图像得到的文本；其中，所述特征提取模型包括文本提取网络；所述利用特征提取模型对所述单模态数据进行特征提取，得到所述单模态数据的初始特征序列包括：将所述文本模态数据转换为词向量；利用所述文本提取网络对所述词向量进行特征提取，得到所述文本模态数据的初始特征序列。8.一种情感分类模型的训练方法，所述情感分类模型包括特征融合模型和分类模型，包括：针对多模态样本数据中每个单模态样本数据，利用所述单模态样本数据的第一权重对所述单模态样本数据的特征进行加权，得到所述每个单模态样本数据的第一加权特征；所述多模态样本数据包括多个单模态样本数据和用于表征所述多模态样本数据情感的标签；根据所述单模态样本数据的第一权重，利用所述特征融合模型对多个所述单模态样本数据的第一加权特征进行融合，得到第一融合特征；利用所述分类模型对所述第一融合特征进行分类，得到样本的情感分类结果；根据所述样本的情感分类结果和所述标签，训练所述情感分类模型。9.根据权利要求8所述的方法，其中，所述情感分类模型还包括第一权重模型；还包括：利用所述第一权重模型对所述多模态样本数据进行处理，得到所述多模态样本数据中每个单模态样本数据的第一权重；其中，所述特征融合模型包括第一特征融合网络和第二特征融合网络；所述情感分类模型还包括第二权重模型，所述根据所述单模态样本数据的第一权重，利用所述特征融合模型对多个所述单模态样本数据的第一加权特征进行融合，得到第一融合特征包括：
利用所述第一特征融合网络对多个所述单模态样本数据的第一加权特征进行融合，得到第二融合特征；利用所述第二权重模型对多个所述单模态样本数据的第一权重和所述第二融合特征进行处理，得到所述单模态样本数据的第二权重；针对每个单模态样本数据的第一加权特征，利用该单模态样本数据的第二权重对该单模态样本数据的第一加权特征进行加权，得到每个单模态样本数据的第二加...

【专利技术属性】
技术研发人员：冯博豪，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：