一种基于情感对的GIF动画情感识别方法技术

一种基于情感对的GIF动画情感识别方法，涉及动画情感识别。包括以下步骤：(1)训练情感对序列检测子；(2)训练中层表示到情感倾向的分类器。提出了基于GIF动画情感识别方法，相对于基于静态图片的情感识别方法更具有挑战性，并且解决了底层特征不匹配的问题和词与词之间关系扁平的问题。解决了GIF动画情感识别问题，相比目前的基于底层特征的情感识别方法，识别准确率更高。可以应用于微博情感识别领域。相对于基于静态图片的情感识别方法更具有挑战性，并且解决了底层特征不匹配的问题和词与词之间关系扁平的问题。

Emotion recognition method of GIF animation based on emotion pairs

The invention relates to an emotion recognition method of GIF animation based on emotion pairs. The method comprises the following steps: (1) train the emotion to the sequence detector; (2) training the middle layer to express the emotion tendency classifier. Put forward GIF animation emotion recognition method based on relative emotion recognition method based on static images is more challenging, and the solution of the relationship between the low-level features and the problem of matching words flat problem. To solve the problem of emotion recognition in GIF animation, the recognition accuracy is higher than the current emotion recognition method based on the underlying features. Micro-blog can be applied to the field of emotion recognition. Compared with the method based on static images, the emotion recognition method is more challenging, and solves the problem of the mismatch between the underlying features and the problem of the relationship between words.

【技术实现步骤摘要】

本专利技术涉及动画情感识别，尤其是涉及一种基于情感对的GIF动画情感识别方法。
技术介绍
“情感对”是一种我们提出的情感中层特征表示方法。GIF图片是社交网络上常见的动画形式。情感识别指的是用计算机算法来识别物体情感倾向的过程，常见的情感倾向有三种：积极、中性和消极。对社交网络上的内容进行情感识别可以分析用户的情感倾向。根据内容的性质不同可以分为文本情感识别，静态图像情感识别和GIF动画情感识别三个领域。文本情感识别采用情感词和语言模型。流行的静态图像情感识别方法采用基于ANP的中层特征表示。目前与本专利技术最相近的技术方案是基于SentiBank的静态图片的情感识别。在国际会议ACMMM论文Large-scalevisualsentimentontologyanddetectorsusingadjectivenounpairs中Borth等人提出了一个视觉情感分类器的集合SentiBank，这个分类器集合构成了一个视觉情感的中层表示。基于SentiBank的方案首先从Flickr的标签数据中提取形容词和名词，将这些形容词和名词组成形容词名词对(ANP)。将这些形容词名词对在YouTube中搜索，剔除不合理的形容词和名词对。之后将这些ANP作为搜索词在Google图片搜索中搜索相关词，作为训练数据集，训练对应ANP的检测器。检测器的模型是SVM.使用的特征是五种底层特征的拼接。现有技术的主要缺点是不适用于GIF动画的情感识别问题。这种不适用主要体现在：1.所采用的底层特征不能直接用于GIF动画。现有技术采用的是静态图片底层的特征，不适用于GIF动画。2.现有方法形成的中层表示不能用于GIF动画。现有方法的中层表示是形容词名词对(ANP)的形式。其中的形容词和名词取材于静态图片的社交网络Flickr.这些词不一定能表达GIF动画的情感。ANP本身对动作的表示能力弱。也不适合表示GIF动画。3.现有方法中词与词之间的结构是扁平的，难以处理一词多义以及种属关系问题。扩展性差。
技术实现思路
本专利技术所要解决的问题在于针对上述现有技术的不足，提供一种基于情感对的GIF动画情感识别方法。本专利技术包括以下步骤：(1)训练情感对序列检测子；(2)训练中层表示到情感倾向的分类器。在步骤(1)中，所述训练情感对序列检测子的具体方法可为：(1.1)构建“情感对”模型，在现有“形容词名词对”模型的基础上引入了动词，构成了动词名词对，专门用来描述GIF视频中的动作信息。为了表述方便将“形容词名词对”和“动词名词对”合称为“情感对”；(1.2)概念语义体系的构建，只需要WordNet中的形容词，动词和名词三种类型的单词。其他的例如副词、介词、助词均被删除。对提取出的动词、形容词和名词组合为形容词名词对(ANP)和动词名词对(VNP)；(1.3)概念语义的筛选，在删除数词，介词，副词等和“情感对”无关的概念语义词之后,还需要从中筛选出符合目标的概念语义项目；(1.4)基于多任务学习和情感相关性挖掘的“情感对”的检测，我们检测器的输出是相应“情感对”的概率值，输入是GIF动画的视频帧。检测之后的结果是一个长向量，该向量的维度是筛选后“情感对”的个数，该向量将作为该视频帧的中间层特征表示。在步骤(1)第(1.3)部分中，所述筛选出符合目标的概念语义项目的具体步骤可为：设计了情感丰富度权值。构建过程如下：在SentiWordNet中，每个词的情感倾向性(SentiScore)分为若干个等级，情感丰富度权值的绝对值越大表示情感倾向越强烈。SentiWeighti＝|SentiScorei|SentiScore就是SentiWordNet中该概念语义的情感得分，情感丰富度权值的取值范围是[0,1]。设计语义频率权值(GiphyWeight)。构建过程如下：在GIF视频网站Giphy.com中搜索情感词，统计Giphy.com搜索结果中GIF图像的数量Count,每一个概念语义的语义频率权值依据下式得出：在上式中，Counti是第i个概念语义在Giphy.com中对应的GIF动画个数。分母则是全部概念语义对应的GIF动画个数的最大值。在得到情感丰富度权值和语义频率权值后，根据下式计算出一个筛选权值FilterWeight:筛选权值FilterWeight的取值范围为[0,1]。在步骤(1)第(1.4)部分中，所述基于多任务学习和情感相关性挖掘的“情感对”的检测中：在多任务情感分析中使用的损失函数是交叉熵损失函数，使用KL距离来计算标签与分类结果之间的相似度；对于两个离散型分布P，Q，KL距离可以用上式进行计算。在步骤(2)中，所述训练中层表示到情感倾向的分类器具体包括以下步骤：(2.1)构建情感对序列；(2.2)构建基于情感对序列的GIF情感时序分析模型，为了评估情感对序列的有效性，引入了带长短期记忆单元(LSTM)的循环神经网络(RNN)作为时序分析的模型。在步骤(2)第(2.1)部分中，所述构建情感对序列具体包括以下步骤：设计一个GIF情感分析时序模型—“情感对序列”，试图通过将时序信息形式化为概念语义的有序链表来解决时序问题；一个“情感对序列”是一组“情感对”构成的向量，为了评价不同长度的视频，向量的维度是不确定的，向量中的每个值代表一个情感对，而情感对则是从GIF视频帧中检测得到的；SentiPairSequence＝(SentE1,SentE2,...,SentEn),SentEi∈{ANP,VNP本文档来自技高网...

【技术保护点】
一种基于情感对的GIF动画情感识别方法，其特征在于包括以下步骤：(1)训练情感对序列检测子；(2)训练中层表示到情感倾向的分类器。

【技术特征摘要】
1.一种基于情感对的GIF动画情感识别方法，其特征在于包括以下步骤：(1)训练情感对序列检测子；(2)训练中层表示到情感倾向的分类器。2.如权利要求1所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(1)中，所述训练情感对序列检测子的具体方法为：(1.1)构建“情感对”模型，在现有“形容词名词对”模型的基础上引入了动词，构成了动词名词对，专门用来描述GIF视频中的动作信息；为了表述方便将“形容词名词对”和“动词名词对”合称为“情感对”；(1.2)概念语义体系的构建，只需要WordNet中的形容词，动词和名词三种类型的单词；其他的例如副词、介词、助词均被删除；对提取出的动词、形容词和名词组合为形容词名词对和动词名词对；(1.3)概念语义的筛选，在删除数词，介词，副词等和“情感对”无关的概念语义词之后,还需要从中筛选出符合目标的概念语义项目；(1.4)基于多任务学习和情感相关性挖掘的“情感对”的检测，我们检测器的输出是相应“情感对”的概率值，输入是GIF动画的视频帧；检测之后的结果是一个长向量，该向量的维度是筛选后“情感对”的个数，该向量将作为该视频帧的中间层特征表示。3.如权利要求2所述一种基于情感对的GIF动画情感识别方法，其特征在于在步骤(1)第(1.3)部分中，所述筛选出符合目标的概念语义项目的具体步骤为：设计情感丰富度权值，构建过程如下：在SentiWordNet中，每个词的情感倾向性分为若干个等级，情感丰富度权值的绝对值越大表示情感倾向越强烈；SentiWeighti＝|SentiScorei|SentiScore就是SentiWordNet中该概念语义的情感得分，情感丰富度权值的取值范围是[0,1]；设计语义频率权值，构建过程如下：在GIF视频网站Giphy.com中搜索情感词，统计Giphy.com搜索结果中GIF图像的数量Count,每一个概念语义的语义频率权值依据下式得出：Gi...

【专利技术属性】
技术研发人员：纪荣嵘，曹冬林，蔡政，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35