图像细粒度情感预测方法、电子设备及存储介质技术

本发明专利技术的实施例提供一种图像细粒度情感预测方法，该方法包括：基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合，其中，每个情感词集合具有一个代表情感词；预测目标图像的每个代表情感词对应的代表情感值；以及基于每个情感词集合的代表情感词的代表情感值预测所述目标图像的该情感词集合中剩余情感词对应的情感值。本发明专利技术的另一实施例还提供一种电子设备和一种计算机可读存储介质。算机可读存储介质。算机可读存储介质。

【技术实现步骤摘要】
图像细粒度情感预测方法、电子设备及存储介质


[0001]本专利技术涉及图像情感预测
，尤其涉及一种小样本细粒度图像情感预测方法，具体来说涉及一种图像细粒度情感预测方法、电子设备及存储介质。

技术介绍

[0002]伴随着多媒体与互联网等产业的迅猛发展，人们倾向于将图像上传到各网络平台来分享自己的经历与感受。图像作为载体，比文本蕴藏更多信息，图像本身更易超越文化和时间的障碍，向人们传递着更加丰富的情感信息以及意境。对图像数据进行检测，获取相关信息，建立起有意义的内容描述，是图像理解与计算机视觉的重要研究内容，而如何解释和提取图像中蕴含的情感信息，成为近年来的一项研究热点。从用户的体验角度出发，情感的类别可能是多样的，尤其是同艺术表达相关的图像，例如抽象画、影视剧照、美术插图等。
[0003]在实现本专利技术构思的过程中，专利技术人发现相关技术中至少存在如下问题：相关技术中图像情感预测往往采用的是正负向的分类情感或基于人类基本情感的6类或8类情感类型，而且给出的多为情感标签，缺少对情感激发程度的有效预测。

技术实现思路

[0004]有鉴于此，本专利技术要解决的技术问题在于提供一种图像细粒度情感预测方法、设备及介质，解决了相关技术中图像情感预测中不能有效预测图像的情感激发程度的问题。
[0005]为了解决上述技术问题，本专利技术的具体实施方式提供一种图像细粒度情感预测方法，包括：基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合，其中，每个情感词集合具有一个代表情感词；预测目标图像的每个代表情感词对应的代表情感值；以及基于每个情感词集合的代表情感词的代表情感值预测所述目标图像的该情感词集合中剩余情感词对应的情感值。
[0006]根据本专利技术的可选实施例，基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合的步骤，包括：采用主成分分析法获得多个情感词的因子载荷矩阵，其中，所述因子载荷矩阵由因子载荷值组成；根据所述因子载荷矩阵确定多个因子和多个情感词集合，其中，多个情感词的最大因子载荷值对应的因子与情感词一一对应；以及采用随机森林算法确定每个情感词集合的代表情感词。
[0007]根据本专利技术的可选实施例，确定每个情感词集合的代表情感词的步骤，包括：采用随机森林算法为每个情感词分别构建初始图像情感预测模型；根据所述初始图像情感预测模型确定每个情感词集合内情感词的预测准确率；以及基于所述预测准确率确定每个情感词集合的代表情感词。
[0008]根据本专利技术的可选实施例，预测目标图像的每个代表情感词对应的代表情感值的步骤，包括：提取所述目标图像的多维初始图像特征；针对每个情感词，基于最小绝对收缩选择算子和随机森林特征重要性组合降维方式对多维初始图像特征进行降维获得降维图像特征；以及基于降维图像特征预测每个代表情感词对应的代表情感值。
[0009]根据本专利技术的可选实施例，所述初始图像特征包括底层特征、高层特征和关键区域特征，所述底层特征包括颜色特征和纹理特征，所述高层特征包括美学特征和构图特征，所述关键区域特征包括颜色矩特征和形状对比度特征。
[0010]根据本专利技术的可选实施例，基于降维图像特征预测每个代表情感词对应的代表情感值的步骤，包括：基于集成学习方法建立每个代表情感词对应的图像情感预测模型；以及将降维图像特征输入每个代表情感词对应的图像情感预测模型获得该代表情感词对应的代表情感值。
[0011]根据本专利技术的可选实施例，基于集成学习方法建立每个代表情感词对应的图像情感预测模型的步骤，包括：构建包含多张图像且覆盖所有原始情感的场景图像库；将所述场景图像库中的绝大部分图像作为初始准确度训练集，并将所述场景图像库中的剩余图像作为初始准确度测试集；以及利用所述初始准确度训练集和所述初始准确度测试集训练每个代表情感词对应的图像情感预测模型，从而构建每个代表情感词对应的图像情感预测模型。
[0012]根据本专利技术的可选实施例，将降维图像特征输入每个代表情感词对应的图像情感预测模型获得该代表情感词对应的代表情感值的步骤，包括：将降维图像特征输入图像情感预测模型的每个一级学习器，获得与该一级学习器对应的一级预测结果，其中，每个图像情感预测模型包括多个一级学习器、多个二级学习器和一个线性回归模型；将所有一级学习器输出的一级预测结果输入每个二级学习器，获得与该二级学习器对应的二级预测结果；以及将所有二级学习器输出的二级预测结果输入所述线性回归模型，获得与所述图像情感预测模型对应的代表情感值。
[0013]根据本专利技术的可选实施例，基于每个情感词集合的代表情感值预测所述目标图像的该情感词集合中剩余情感词对应的情感值的步骤，包括：针对每个情感词集合，利用最小二乘法构建该情感词集合的代表情感词与该情感词集合的每个剩余情感词之间的多元线性回归模型；以及根据该情感词集合的代表情感词的代表情感值和多元线性回归模型预测该多元线性回归模型对应的剩余情感词的情感值。
[0014]本专利技术实施例的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，上述存储装置用于存储可执行指令，上述可执行指令在被上述处理器执行时，实现本专利技术实施例的方法。
[0015]本专利技术实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被处理器执行时用于实现本专利技术实施例的方法。
[0016]本专利技术的另一方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现本专利技术实施例的方法。
[0017]根据本专利技术的实施例，基于相关性对多个情感形容词(即情感词)进行分组，利用W
‑
stacking(权重分配
‑
堆叠)模型获得每组情感形容词中的一个情感形容词的预测结果，并采用多元线性回归方法再获得每组情感形容词中剩余情感形容词的预测结果，可以至少部分地解决相关技术中图像情感预测中不能有效预测图像的情感激发程度的问题，并因此可以实现精准预测图像情感激发程度的技术效果。
[0018]应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本专利技术所欲主张的范围。
附图说明
[0019]下面的所附附图是本专利技术的说明书的一部分，其绘示了本专利技术的示例实施例，所附附图与说明书的描述一起用来说明本专利技术的原理。
[0020]图1为本专利技术具体实施方式提供的一种图像细粒度情感预测方法的流程示意图。
[0021]图2为本专利技术具体实施方式提供的一种获得多个情感词集合的流程示意图。
[0022]图3为本专利技术具体实施方式提供的一种预测目标图像的每个代表情感词对应的代表情感值的流程示意图。
[0023]图4为本专利技术具体实施方式提供的一种基于降维图像特征预测每个代表情感词对应的代表情感值的流程示意图。
[0024]图5为本专利技术具体实施方式提供的一种基于集成学习方法建立每个代表情感词对应的图像情感预测模型的流程示意图。
[0025]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像细粒度情感预测方法，其特征在于，该方法包括：基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合，其中，每个情感词集合具有一个代表情感词；预测目标图像的每个代表情感词对应的代表情感值；以及基于每个情感词集合的代表情感词的代表情感值预测所述目标图像的该情感词集合中剩余情感词对应的情感值。2.根据权利要求1所述的图像细粒度情感预测方法，其特征在于，基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合的步骤，包括：采用主成分分析法获得多个情感词的因子载荷矩阵，其中，所述因子载荷矩阵由因子载荷值组成；根据所述因子载荷矩阵确定多个因子和多个情感词集合，其中，多个情感词的最大绝对因子载荷值对应的因子与情感词集合一一对应；以及确定每个情感词集合的代表情感词。3.根据权利要求2所述的图像细粒度情感预测方法，其特征在于，确定每个情感词集合的代表情感词的步骤，包括：采用随机森林算法为每个情感词分别构建初始图像情感预测模型；根据所述初始图像情感预测模型确定每个情感词集合内情感词的预测准确率；以及基于所述预测准确率确定每个情感词集合的代表情感词。4.根据权利要求1所述的图像细粒度情感预测方法，其特征在于，预测目标图像的每个代表情感词对应的代表情感值的步骤，包括：提取所述目标图像的多维初始图像特征；针对每个情感词，基于最小绝对收缩选择算子和随机森林特征重要性组合降维方式对多维初始图像特征进行降维获得降维图像特征；以及基于降维图像特征预测每个代表情感词对应的代表情感值。5.根据权利要求4所述的图像细粒度情感预测方法，其特征在于，基于降维图像特征预测每个代表情感词对应的代表情感值的步骤，包括：基于集成学习方法建立每个代表情感词对应的图像情感预测模型；以及将降维图像特征输入每个代表情感词对应的图像情感预测模型获得该代表情感词对应的代表情感值。6.根据权利要求5所...

【专利技术属性】
技术研发人员：苏志斌，刘冰，周璇烨，任慧，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：