一种基于双向连接的图像情感分析方法技术

本发明专利技术公开了一种基于双向连接的图像情感分析方法。本发明专利技术主要考虑扩充特征提取模型的宽度取代深度堆叠来提升深度神经网络在视觉情感分析领域对情感这一抽象目标的适应性。本发明专利技术采用双向特征连接的方式，首先对训练集进行数据增强扩充样本容量，然后采用横向连接深度特征提取网络扩充特征提取网络宽度，然后采用类特征金字塔的纵向特征连接方式提高模型特征提取能力，最后使用分类网络得到情感分类结果，成功弥补了图像情感分析中深度神经网络对情感这一抽象目标的识别过充分的缺陷，进一步提高视觉情感分析的准确率。一步提高视觉情感分析的准确率。一步提高视觉情感分析的准确率。

【技术实现步骤摘要】
一种基于双向连接的图像情感分析方法


[0001]本专利技术属于图像情感分析领域，具体涉及一种基于横纵双向特征连接的视觉情感分析方法。

技术介绍

[0002]丰富的情感是人类特有的精神现象。情感是生物智能的一部分，是智能的衍生。通常情况下，我们会认为情感的丰富程度与智能的高低直接相关，能够产生并表达丰富情感的生物具有较高的智能，而无法表现情感、或是情感表现较为单一的生物具有较低的智能。近年来，随着人工智能与机器人领域如火如荼的发展，情感计算(Affective Computing)在人工智能的人机交互相关研究中的地位越来越重要，具有情感的自然交互方式不仅能够实现更加友好的交互界面，而且是实现强人工智能的必由之路。兼具情感与智能的人工智能有更高的实用价值和现实意义，例如：在管理行业，通过情感计算获得领导者与员工的情绪，从而提升企业的整体效率；在贸易方面，通过客户评价文本分析客户的情感进行精准促销，可以更精准的帮助企业树立自己的品牌；在健康领域，基于医患对答的情感预测可以帮助医生分析病人心理，辅助进行心理访谈，进而诊治心理疾病和平复自杀等消极情绪。为实现真正的人工智能，必须要实现融合智能与情感的自然人机交互。近年来，受益于计算机技术和深度神经网络技术的突破，人工智能的研究达到了一个新的高潮。随着人工智能与机器人领域如火如荼的发展，情感计算(Affective Computing)在人工智能的人机交互相关研究中的地位越来越重要，具有情感的自然交互方式不仅能够实现更加友好的交互界面，而且是实现强人工智能的必由之路。兼具情感与智能的人工智能有更高的实用价值和现实意义，例如：在管理行业，通过情感计算获得领导者与员工的情绪，从而提升企业的整体效率；在贸易方面，通过客户评价文本分析客户的情感进行精准促销，可以更精准的帮助企业树立自己的品牌；在健康领域，基于医患对答的情感预测可以帮助医生分析病人心理，辅助进行心理访谈，进而诊治心理疾病和平复自杀等消极情绪。为实现真正的人工智能，必须要实现融合智能与情感的自然人机交互。在此背景下，情感计算这一新兴科学领域，开始进入众多信息科学和心理学研究者的视野，越来越多的研究者开始关注情感这一智能的衍生物，希望通过情感计算的研究来还原生物情感智能，赋予机器丰富的情感以及更高的智能。视觉情感分析是情感计算领域的重要组成部分，旨在利用计算机和特定算法来预测人看到一幅图像时产生的心理变化[1]，可以在一定程度上预测并控制读者在浏览、阅读时的情绪变化，在社交媒体分析、多媒体分析、舆情预测等领域有着重要的应用前景，已经成为当前情感计算领域的重要研究方向。
[0003]视觉情感分析作为情感计算的一部分，与机器学习中的经典分类问题相比，既存在一致性，也存在差异性。一致性在于视觉情感分析问题和经典分类问题都需要神经网络对图像中的语义信息有一定的理解能力，即模型对图像的特征提取能力，与其他大多数分类问题一致，情感分类需要对图像内容进行分析、理解，得出分类结果；差异性则在于情感空间与视觉特征空间之间存在的巨大鸿沟，经典分类问题的识别目标为在图像视觉空间中
存在的具象的物体，而视觉情感分析的关键在于如何从具象的图像空间映射到抽象的情绪空间，模拟出人类在观看图像时产生情感这一过程，从而得出情感分类标签.因此，视觉情感分析过程要在保持客观思维的同时，更多地参考、还原人类的思维方式与特点，从多角度、多思维模式下完成图像情感计算任务。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出了一种基于双向连接的图像情感分析方法。
[0005]本专利技术设计了基于横纵双向特征连接的情感分析方法，以扩展宽度的方式来提升抽象分类问题的精度。首先，以两个深度卷积神经网络为特征提取骨干网络，获取其各自在模块纵向堆叠过程中不同尺度的特征张量；然后，将两个模型并联，并对相同尺度特征张量进行横向多级连接，以扩充提取得到的语义信息，同时使用注意力模块添加特征信息的注意力特征，并通过卷积逐层下采样、联合，最终得到双向联合两个深度卷积神经网络多层次的复杂特征向量输出；最后，通过分类网络输出情感分类结果。这种使用双向特征连接的情感分类方法强化了骨干网络的特征提取能力，吸收了特征金字塔对不同尺度特征图综合考虑的优点，还打破了单一分类网络反复堆叠模块的线性结构，更适用于抽象的情感分类问题。
[0006]一种基于双向连接的图像情感分析方法，该方法具体包括以下步骤：
[0007]步骤1：深度神经网络权重预训练和图像数据集预处理；
[0008]步骤2：通过深度特征横向连接模块完成特征合并；
[0009]通过深度特征横向连接模块横向连接多个深度神经网络模型并完成特征合并；多个深度神经网络模型具有相同输出尺寸的卷积层；所述的深度特征横向连接模块由卷积层、连接层以及SE注意力模块组成；
[0010]步骤3：通过纵向特征级联模块进行联合特征融合；
[0011]以深度特征横向连接得到的联合特征作为级联结构的输入，并根据一种类似于特征金字塔的方式将不同尺寸的联合特征进行融合，同时采用注意力层添加通道注意力，提升模型精度；纵向联合方式与特征金字塔结构类似，将联合特征向量由浅至深的各个联合输出纵向联合；这个过程表示为：
[0012][0013][0014][0015]式中Q
I
为联合特征金字塔第I层的输出；f
Q
()为联合特征金字塔中的下采样运算，为特征联合层；Avgpool()为全局平均池化层；Out为联合特征金字塔的整体输出特征向量；P
I
为深度特征横向连接模块的第I层的输入张量；
[0016]步骤4：在纵向级联模块后通过2层具有4096个神经元、1层具有1000个神经元的全连接层、一层神经元个数为2、激活函数为Sigmoid的全连接层的分类网络；
[0017]步骤5：将归一化后的图像通过步骤2
‑
4得到情感二分类结果。
[0018]作为优选，所述的深度神经网络权重预训练和数据集预处理；具体为：
[0019]步骤1
‑
1：在图像数据集ImageNet上训练深度神经网络特征提取模型；以增强图像
情感分析模型的基本图像感知能力；
[0020]步骤1
‑
2：对于目标数据集，将数据集中的每一个样本归一化到相同的尺寸，并在每一次交叉验证的训练集中通过图像处理进行样本扩容；在经过处理的数据集上使用预训练模型提取每一个样本图像的深度特征。
[0021]作为优选，所述的深度神经网络模型的个数为两个；分别为深度残差网络和神经结构搜索网络。
[0022]作为优选，所述的通过深度特征横向连接模块横向连接深度残差网络和神经结构搜索网络模型，具体为：
[0023]对于输入图像Y，使用深度卷积模型Res
‑
Net和NAS
‑
Net进行特征提取，获得其在每一个完整模块层的输出，并使用横向连接模块进行连接；横向连接部分将深度残差网络第3、4、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向连接的图像情感分析方法，其特征在于，该方法具体包括以下步骤：步骤1：深度神经网络权重预训练和图像数据集预处理；步骤2：通过深度特征横向连接模块完成特征合并；通过深度特征横向连接模块横向连接多个深度神经网络模型并完成特征合并；多个深度神经网络模型具有相同输出尺寸的卷积层；所述的深度特征横向连接模块由卷积层、连接层以及SE注意力模块组成；步骤3：通过纵向特征级联模块进行联合特征融合；以深度特征横向连接得到的联合特征作为级联结构的输入，并根据一种类似于特征金字塔的方式将不同尺寸的联合特征进行融合，同时采用注意力层添加通道注意力，提升模型精度；纵向联合方式与特征金字塔结构类似，将联合特征向量由浅至深的各个联合输出纵向联合；这个过程表示为：纵向联合；这个过程表示为：纵向联合；这个过程表示为：式中Q
I
为联合特征金字塔第I层的输出；f
Q
()为联合特征金字塔中的下采样运算，为特征联合层；Avgpool()为全局平均池化层；Out为联合特征金字塔的整体输出特征向量；P
I
为深度特征横向连接模块的第I层的输入张量；步骤4：在纵向级联模块后通过2层具有4096个神经元、1层具有1000个神经元的全连接层、一层神经元个数为2、激活函数为Sigmoid的全连接层的分类网络；步骤5：将归一化后的图像通过步骤2
‑
4得到情感二分类结果。2.根据权利要求1所述的一种基于双向连接的图像情感分析方法，其特征在于：所述的深度神经网络权重预训练和数据集预处理；具体为：步骤1
‑
1：在图像数据集ImageNet上训练深度神经网络特征提取模型；以增强图像情感分析模型的基本图像感知能力；步骤1
‑
2：对于目标数据集，将数据集中的每一个样本归一化到相同的尺寸，并在每一次交叉验证的训练集中通过图像处理进行样本扩容；在经过处理的数据集上使用预训练模型提取每一个样本图像的深度特征。3.根据权利要求1所述的一种基于双...

【专利技术属性】
技术研发人员：王兴起，何金义，邵艳利，魏丹，陈滨，方景龙，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：