一种社交媒体视觉内容情感分类方法技术

本发明专利技术公开一种社交媒体视觉内容情感分类方法，包括如下步骤：层次化视觉情感本体建模：建立情感本体概念，完成对社交媒体中的视觉内容的规范性描述；对社交媒体中的视觉内容进行本体概念检测：基于深度学习建立社交媒体中视觉内容和情感本体概念之间的映射关系；基于情感本体概念响应的情感倾向识别：利用社交媒体中视觉内容的情感本体概念，识别社交媒体视觉内容的情感倾向。本发明专利技术对视觉内容进行多角度和多层次立体描述，同时，在进行概念检测过程中，充分考虑了视觉感知过程，能够准确地对视觉内容进行情感分类；本发明专利技术在对社交媒体视觉内容进行情感分类过程中，无需人工情感标注，有效避免了情感倾向标签不可靠造成的情感分类不准确。

A visual content emotion classification method for social media

【技术实现步骤摘要】
一种社交媒体视觉内容情感分类方法
本专利技术涉及机器学习领域，特别是涉及一种社交媒体视觉内容情感分类方法。
技术介绍
情感分析原本是自然语言处理领域中的研究热点，是指利用计算机技术对文本内容中所包含的用户态度、观点和情感倾向进行检测、分析和挖掘。但是伴随着社交媒体的兴盛和具有摄像功能的移动终端的普及，图像和视频这样的视觉内容成为用户进行自我表达的新兴媒介。这些视觉数据和文字一样包含着诸如态度和观点之类的信息，因此情感分析和意见挖掘的研究对象扩展到了视觉内容。作为文本情感分析的补充，面向社交媒体中海量视觉内容的情感分析和意见挖掘不仅能够为金融市场走势预测、产品销售情况预测、电影票房预测和政治大选结果预测等大数据应用提供辅助信息，还能为网络舆情监测和辅助决策提供支持。但是社交媒体视觉内容情感分析的特殊之处在于：(1)社交媒体中的数据来自于用户的自由分享，主题宽泛的视觉内容和情感倾向之间的映射关系复杂，语义鸿沟问题十分严重；(2)从视觉内容文字描述中得到的情感标记信息含有严重噪声，而采用人工方式对大量训练样本进行情感标注比较困难，并且情感的主观性导致基于人工标注得到的情感标签也未必可靠。所以基于深度神经网络建立主题宽泛的视觉内容和情感倾向之间的模糊映射，并依赖带有噪声的不可靠情感标签进行反向传播训练的模式存在缺陷。目前国内外针对主题宽泛的视觉大数据的情感分析和意见挖掘研究还处于起步阶段，主要分为基于中间表达层的方法和基于深度学习的方法两大类。现有基于中间表达层的方法往往将多组概念并列在一起构成情感本体并检测视觉内容在这些概念上的响应，然后将这些响应作为中间特征并借助监督学习方法进行情感倾向预测，并没有对描述视觉内容的全局性概念和局部性概念进行区分，而且忽略了本体概念本身所携带的情感信息以及本体概念之间的关系，除此之外，不可靠的情感标签中存在的干扰噪声也给以概念响应为中间特征的情感预测带来困难。基于深度神经网络建立主题宽泛的视觉内容和情感倾向之间不明确映射的方法忽略了情感语义的产生过程，情感标签的不可靠性也增加了网络训练难度，而基于深度神经网络进行本体概念检测后再进行情感预测的方法也忽略了本体概念的情感含义和概念关系，并且主要针对视觉内容全局进行学习和训练，缺乏对其中局部对象的关注。同时，在现有视觉化社交媒体平台上，动态图像和短视频也是重要的情感和意见传达媒介，而现有研究主要针对静态图像，涉及动态图像和视频序列的研究还有待开展。
技术实现思路
本专利技术的目的是提供一种社交媒体视觉内容情感分类方法，以解决上述现有技术存在的问题，能够准确地对视觉内容中的静态图像、动态图像和视频序列进行情感分类。为实现上述目的，本专利技术提供了如下方案：本专利技术提供一种社交媒体视觉内容情感分类方法,包括如下步骤：层次化视觉情感本体建模：建立情感本体概念，完成对社交媒体中的视觉内容的规范性描述；对社交媒体中的视觉内容进行本体概念检测：基于深度学习建立社交媒体中视觉内容和情感本体概念之间的映射关系；基于情感本体概念响应的情感倾向识别：利用社交媒体中视觉内容的情感本体概念，识别社交媒体视觉内容的情感倾向。优选地，所述层次化视觉情感本体建模包括：社交媒体视觉情感本体词汇获取和层次化视觉情感本体建模；所述情感本体概念由实体概念和属性概念组合而成；所述层次化情感本体建模还包括对视觉内容文本实体概念之间的概念关系进行提取，所述概念关系包括：共生关系、互斥关系和包容关系。优选地，对社交媒体中的视觉内容进行本体概念检测包括面向静态图像的情感本体概念检测，还包括面向动态图像和视频序列的情感本体概念检测。优选地，所述面向静态图像的情感本体概念检测包括对静态图像情感本体全局性概念和局部性概念的检测。优选地，所述面向静态图像的情感本体概念检测采用递进模式，先在不区分属性信息的情况下对名词性实体概念进行检测，然后，再对实体概念对应的属性概念进行分辨。优选地，所述面向动态图像和视频序列的情感本体概念检测采用联合卷积神经网络和LSTM的递归神经网络深度学习模型。优选地，所述面向动态图像和视频序列的情感本体概念检测方法为：首先，采用面向静态图像的概念检测方法对动态图像或视频序列中的每一帧图像进行检测，得到每一帧图像对应的情感本体概念响应；然后，计算动态图像或视频序列的整体响应，动态图像或视频序列的整体响应小于或等于所有帧图像对应的情感本体概念的最大响应值；对于涉及动作行为的动态图像或视频序列，将实体概念和属性概念作为一个整体来进行情感本体概念的检测。优选地，所述基于情感本体概念响应的情感倾向识别采用基于概念推理的情感倾向识别方法。本专利技术公开了以下技术效果：(1)本专利技术在构建情感本体模型过程中，将本体概念分为宏观和微观两个层面，分别对视觉内容的全局性概念和局部性概念进行检测，从而形成对视觉内容的多角度和多层次立体描述，能够准确地对视觉内容进行情感分类；同时，本专利技术在面向静态图像进行概念检测过程中，先进行实体概念检测，再进行属性概念检测，将抽象的属性概念具体化，有效跨越了情感本体构建过程中的语义鸿沟，降低了对属性概念的检测难度，并充分考虑了视觉感知过程，为情感倾向识别提供了数据基础；本专利技术利用情感本体概念和概念关系进行推理，实现社交媒体视觉内容进行情感分类，无需人工情感标注，有效避免了情感倾向标签不可靠造成的情感分类不准确。(2)本专利技术通过对动态图像和视频序列的情感本体概念检测，实现了对社交媒体视觉内容中动态图像和视频序列的情感分类，从而能够对社交媒体视觉内容的情感进行完整表达。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术社交媒体视觉内容情感分类方法流程图；图2为本专利技术社交媒体视觉情感本体词汇获取流程图；图3为本专利技术静态图像情感本体概念检测流程图；图4为本专利技术动态图像和视频序列的情感本体概念检测流程图；图5为本专利技术基于概念推理的情感倾向识别方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参照图1-5所示，本实施例提供一种社交媒体视觉内容情感分类方法，包括：层次化视觉情感本体建模：建立情感本体概念，完成对社交媒体中的视觉内容的规范性描述。基于名词、形容词和动词构成概念集合来对社交媒体视觉内容进行表示，本文档来自技高网...

【技术保护点】
1.一种社交媒体视觉内容情感分类方法，其特征在于，包括如下步骤：/n层次化视觉情感本体建模：建立情感本体概念，完成对社交媒体中的视觉内容的规范性描述；/n对社交媒体中的视觉内容进行本体概念检测：基于深度学习建立社交媒体中视觉内容和情感本体概念之间的映射关系；/n基于情感本体概念响应的情感倾向识别：利用社交媒体中视觉内容的情感本体概念，识别社交媒体视觉内容的情感倾向。/n

【技术特征摘要】
1.一种社交媒体视觉内容情感分类方法，其特征在于，包括如下步骤：
层次化视觉情感本体建模：建立情感本体概念，完成对社交媒体中的视觉内容的规范性描述；
对社交媒体中的视觉内容进行本体概念检测：基于深度学习建立社交媒体中视觉内容和情感本体概念之间的映射关系；
基于情感本体概念响应的情感倾向识别：利用社交媒体中视觉内容的情感本体概念，识别社交媒体视觉内容的情感倾向。


2.根据权利要求1所述的社交媒体视觉内容情感分类方法，其特征在于，所述层次化视觉情感本体建模包括：社交媒体视觉情感本体词汇获取和层次化视觉情感本体建模；
所述情感本体概念由实体概念和属性概念组合而成；
所述层次化情感本体建模还包括对视觉内容文本实体概念之间的概念关系进行提取，所述概念关系包括：共生关系、互斥关系和包容关系。


3.根据权利要求1所述的社交媒体视觉内容情感分类方法，其特征在于，对社交媒体中的视觉内容进行本体概念检测包括面向静态图像的情感本体概念检测，还包括面向动态图像和视频序列的情感本体概念检测。


4.根据权利要求3所述的社交媒体视觉内容情感分类方法，其特征在于，所述面向静态图像的情感本体概念检测包括对静态图像情感本...

【专利技术属性】
技术研发人员：田二林，杨学冬，姚妮，张永霞，于源，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：河南;41