【技术实现步骤摘要】
本申请涉及计算机应用，尤其涉及情感分类方法、装置、设备、存储介质及程序产品。
技术介绍
1、在涉及人物的图像中，可以根据图像中的人物互动、场景信息等，识别人物的情感关系，以此来辅助人们更好地理解图像内容。传统的情感分类方法通常利用视觉信息进行关系识别。具体的，先将图像以及预判别关系的人物对输入视觉主干网络中计算视觉特征，然后利用感兴趣区域池化(roipooling)提取人物的视觉特征，并利用图卷积网络对抽取出的所有人物特征进行特征信息传递来建模人物之间的情感关系。最后，将预判别关系的人物对特征输入分类器中，进行情感关系分类。
2、但是，在利用视觉信息进行关系识别的过程中，如果图像中的人物过多或者场景复杂，将会存在对图像中的人物的情感分类不准确的问题。因此，如何提高对图像中的人物的情感分类的准确性，是目前亟需解决的技术问题。
技术实现思路
1、本申请实施例提供了情感分类方法、装置、设备、存储介质及程序产品，能够有效提升对图像中的人物的情感分类的准确性。
2、一方面，本申请实施例提供一种情感分类方法，该方法包括：
3、对目标图像进行特征提取，得到所述目标图像的视觉特征；
4、对所述目标图像对应的多个情感文本中的各个情感文本进行特征提取，得到所述各个情感文本的语义特征；
5、根据所述目标图像的视觉特征和所述各个情感文本的语义特征，获取所述目标图像与所述各个情感文本的相似度；
6、根据所述目标图像与所述各个情感文本的相
7、在一个实施例中，所述方法还包括：
8、对所述目标图像进行视觉词汇提取，得到所述目标图像的视觉词汇；
9、将所述目标图像的视觉词汇，与多个预设的情感关系类别分别进行融合，得到所述目标图像对应的多个情感文本。
10、在一个实施例中，所述对所述目标图像进行视觉词汇提取，得到所述目标图像的视觉词汇，包括：
11、获取文本语料库中各个类别特征与所述目标图像的相似度；
12、根据所述各个类别特征与所述目标图像的相似度，从所述文本语料库中选取目标类别特征；
13、将所述目标类别特征确定为所述目标图像的视觉词汇。
14、在一个实施例中，所述获取文本语料库中各个类别特征与所述目标图像的相似度，包括：
15、遍历至少一个维度的文本语料库，获取当前遍历的文本语料库中各个类别特征与所述目标图像的相似度；
16、所述将所述目标类别特征确定为所述目标图像的视觉词汇，包括：
17、在遍历结束后，将从各个维度的文本语料库中选取的目标类别特征，确定为所述目标图像的视觉词汇。
18、在一个实施例中，所述对目标图像进行特征提取，得到所述目标图像的视觉特征，包括：
19、确定目标人物在所述目标图像中的局部区域；
20、对所述局部区域进行特征提取，得到所述视觉特征；
21、所述将所述目标情感文本对应的情感关系类别作为所述目标图像中的人物的情感分类，包括：
22、将所述目标情感文本对应的情感关系类别作为所述目标图像中所述目标人物的情感分类。
23、在一个实施例中，所述目标图像中的人物的情感分类是通过情感分类模型确定的；所述情感分类模型的训练方法包括：
24、获取训练图像，以及所述训练图像的类别标签，所述类别标签用于指示所述训练图像中人物的情感分类；
25、调用初始情感分类模型对所述训练图像进行特征提取，得到所述训练图像的视觉特征；
26、对所述训练图像对应的多个训练情感文本中的各个训练情感文本进行特征提取，得到所述各个训练情感文本的语义特征；
27、根据所述训练图像的视觉特征和所述各个训练情感文本的语义特征，获取所述训练图像与所述各个训练情感文本的相似度；
28、根据所述训练图像与所述各个训练情感文本的相似度，从所述多个训练情感文本中选取目标训练情感文本，并将所述目标训练情感文本对应的情感关系类别作为所述训练图像中的人物的预测情感分类；
29、按照减小所述预测情感分类与所述类别标签指示的情感分类的差异的方向，对所述初始情感分类模型进行训练，得到所述情感分类模型。
30、在一个实施例中，所述训练图像对应的多个训练情感文本是通过情感文本提取模型得到的，所述情感文本提取模型的训练方法包括：
31、获取所述训练图像，以及所述训练图像的多个参考情感文本；
32、调用初始情感文本提取模型对所述训练图像进行视觉词汇提取，得到所述训练图像的视觉词汇；
33、将所述训练图像的视觉词汇，与多个预设的情感关系类别分别进行融合，得到所述训练图像对应的多个预测情感文本；
34、按照减小所述多个预测情感文本与相应的参考情感文本的差异的方向，对所述初始情感文本提取模型进行训练，得到所述情感文本提取模型。
35、另一方面，本申请实施例提供了一种情感分类装置，该情感分类装置包括：
36、特征提取单元，用于对目标图像进行特征提取，得到所述目标图像的视觉特征；
37、所述特征提取单元，还用于对所述目标图像对应的多个情感文本中的各个情感文本进行特征提取，得到所述各个情感文本的语义特征；
38、相似度获取单元，用于根据所述目标图像的视觉特征和所述各个情感文本的语义特征，获取所述目标图像与所述各个情感文本的相似度；
39、情感分类单元，用于根据所述目标图像与所述各个情感文本的相似度，从所述多个情感文本中选取目标情感文本，并将所述目标情感文本对应的情感关系类别作为所述目标图像中的人物的情感分类。
40、另一方面，本申请实施例提供一种计算机设备，包括处理器、存储装置和通信接口，处理器、存储装置和通信接口相互连接，其中，存储装置用于存储支持计算机设备执行上述方法的计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，执行如下步骤：
41、对目标图像进行特征提取，得到所述目标图像的视觉特征；
42、对所述目标图像对应的多个情感文本中的各个情感文本进行特征提取，得到所述各个情感文本的语义特征；
43、根据所述目标图像的视觉特征和所述各个情感文本的语义特征，获取所述目标图像与所述各个情感文本的相似度；
44、根据所述目标图像与所述各个情感文本的相似度，从所述多个情感文本中选取目标情感文本，并将所述目标情感文本对应的情感关系类别作为所述目标图像中的人物的情感分类。
45、另一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行上述情感分类方法。...
【技术保护点】
1.一种情感分类方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像进行视觉词汇提取，得到所述目标图像的视觉词汇，包括：
4.根据权利要求3所述的方法，其特征在于，所述获取文本语料库中各个类别特征与所述目标图像的相似度，包括：
5.根据权利要求1所述的方法，其特征在于，所述对目标图像进行特征提取，得到所述目标图像的视觉特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述目标图像中的人物的情感分类是通过情感分类模型确定的；所述情感分类模型的训练方法包括：
7.根据权利要求6所述的方法，其特征在于，所述训练图像对应的多个训练情感文本是通过情感文本提取模型得到的，所述情感文本提取模型的训练方法包括：
8.一种情感分类装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储装置和通信接口，所述处理器、存储装置和通信接口相互连接，其中：
10.
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至7任一项所述的情感分类方法。
...【技术特征摘要】
1.一种情感分类方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像进行视觉词汇提取，得到所述目标图像的视觉词汇，包括：
4.根据权利要求3所述的方法，其特征在于，所述获取文本语料库中各个类别特征与所述目标图像的相似度，包括：
5.根据权利要求1所述的方法，其特征在于，所述对目标图像进行特征提取，得到所述目标图像的视觉特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述目标图像中的人物的情感分类是通过情感分类模型确定的；所述情感分类模型的训练方法包括：
7.根据权利要求6所述的方法，其特征在于...
【专利技术属性】
技术研发人员：吴世伟，王启萌，高龑，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。