一种结合情感类别注意力损失的卷积神经网络情感图像分类方法技术

一种结合情感类别注意力损失的卷积神经网络情感图像分类方法，涉及智能媒体计算和计算机视觉技术领域；首先对训练样本进行类别权重计算，得到情感类别注意力权重向量；其次按情感类别数量和情感类别注意力损失修改卷积神经网络最后的分类层与损失函数；然后将训练样本进行预处理后传入网络中，使网络在损失函数和优化器的对参数的迭代更新后达到收敛，完成训练；最终将预处理后的测试图像送入网络中，计算得到的模型的情感图像分类准确率以及模型对测试情感图像的预测类别。本发明专利技术使得情感图像在通过卷积神经网络进行情感类别分类时，可以自适应的得到更符合数据集样本分布特点的分类结果，有助于情感分类算法在不同的实际应用场景中训练与使用。

【技术实现步骤摘要】
一种结合情感类别注意力损失的卷积神经网络情感图像分类方法
本专利技术属于计算机视觉
，涉及一种结合情感类别注意力损失的卷积神经网络情感图像分类方法。
技术介绍
随着社交媒体的发展，人们越来越倾向于通过在网络上发布图像信息来记录和分享自己的心情。这些蕴含着情感信息的图片，往往也包含着发布者对某一类事物的情感趋向和态度。而通过从海量图像中获知人们的情感趋向来了解用户群体的态度，对商品推荐、舆情分析以及社交媒体管理都有着重要的作用。所以如何利用计算机算法进行高效自动化的对大量蕴含情感信息的图像进行识别和分析是现在亟需解决的问题。早前的情感分析方法采取使用底层手工特征用于情感分类，如颜色、线条、纹理等特征，或者利用名词形容词对探测器Sentibank提取图像中的中层表征。得益于深度学习强大的特征提取能力，使用基于卷积神经网络的算法在图像分类任务中取得的效果越来越好，情感图像分类任务也因此有了新的进展。如You等人在2016年设计了一种深度卷积神经网络来进行图像情感分类，在其反馈机制中加入了滤除功能，通过该功能滤除了训练集中错误的标注数据，从而有效地提高了图像情感分类的能力。She等人在2019年设计了一种基于深度卷积神经网络ResNet101的弱监督耦合卷积网络进行图像情感分类，通过类激活图捕捉引起情感的区域，并且利用误差反向传播机制进行反馈调整，从而进一步提升图像情感分类的准确性。但在通常的图像分类任务中，不同类别的图像区别相对明确，而不同情感图像在情感类别之间，却没有明确清晰的界限。这就需要通过对样本特征的相似度距离采取不同的度量方式计算损失函数，来提升不同类别的区分度。而在这方面Zhang等人于2017年提出了一种将深度卷积神经网络与中心损失相结合的人脸识别技术，通过将传统损失函数与中心损失函数两种损失函数共同作为迁移学习过程中的监督信号，使得提取到的特征在同类别时聚合在不同类时分散，以此来提高模型输出人脸特征的判别能力。Yang等人在2018年提出了一种使用三重约束来训练卷积神经网络的方法有效地将图像定位在情感级别，通过考虑不同情感极性的关系，计算特征间的相关性来实现情感图像检索和分类的多任务处理。尽管这些研究考虑了收束类内距离，但没有针对性的对样本数量不均衡的情感类别进行损失函数设计，这在真实的社交媒体环境中还是不够的。在真实的社交媒体环境中，情感图像的数量无法做到按类别均匀分布。这就会使得通常训练出的模型不能有针对性的考虑各个情感类别，而造成分类性能的损失。在这样的启发下，我们设计了一种结合了交叉熵损失与情感类别注意力中心损失的方法，扩大情感图像类间距离的同时也按不同类别有差异的收束类内距离，从而提升情感图像分类的准确率。
技术实现思路
为了解决以上问题，我们专利技术了一种情感图像分类算法，将情感类别注意力中心损失与交叉熵损失相结合，使得不同类样本特征距离更远的同时，同类别样本间的距离更近。减少了部分样本由于缺少类内约束而分布在与类内中心距离更远的类间交界处的机会，从而减少了这些样本被错分的可能。同时针对不同样本类别采取不同的收束力度，使得当各类别的样本在数量不均衡时，可以得到相应的调整，从而使得通过本方法得到的网络模型具有更好的情感图像分类效果。本专利技术的具体步骤如下：步骤1，建立图像的情感类别权重向量：将有标注的情感图像数据集进行整理划分，将训练集部分中每一类的图像视为一维，得到情感类别权重向量W；步骤2，建立深度网络模型：选择深度网络模型，如ResNet-101，并以待分类类别数作为输出向量维度替换原模型最后的分类层；步骤3，损失函数设计：为了利用图像的情感类别权重信息，解决异类样本比例不均衡和类间类内距离收束的问题，损失函数包括对类间距离和类内距离的计算以及不同情感类别权重比例的考量；步骤4，训练模型：将步骤1划分的图像经过放缩随机翻转等方式进行预处理后，输入到步骤2的网络模型中，使用随机梯度下降方法进行优化，通过步骤3的损失函数计算损失对模型参数进行学习；步骤5，获得待测图像的情感类别：将数据集中的图像经过固定尺寸放缩和中心裁剪的预处理步骤后，输入到步骤4训练好的模型中，得到对应的情感类别。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：本专利技术提出了一种结合情感类别注意力损失的卷积神经网络情感图像分类方法。通过计算交叉熵损失和类别注意力中心损失相结合的方式反馈更新卷积神经网络的参数，使得不同类样本特征距离更远的同时，同类别样本间的距离更近。减少了部分样本由于缺少类内约束而分布在与类内中心距离更远的类间交界处的机会，从而减少了这些样本被错分的可能。同时针对不同样本类别采取不同的收束力度，使得当各类别的样本数量不均衡时，可以得到相应的调整，从而使得通过本方法得到的网络模型在类别不均衡的情感图像数据集的测试中，具有更好的情感分类效果。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明：图1为训练基于本方法的图像情感分类卷积神经网络的架构图。图2为基于本方法进行情感图像分类的整体流程图。具体实施方式本专利技术提出了一种结合情感类别注意力损失的卷积神经网络情感图像分类方法。本专利技术的整体结构如图1所示。本专利技术实例在win10和JupyterNotebook环境下进行仿真，使用FI数据集通过本专利技术中的方法进行训练，得到可实现高准确率的图像情感分类模型。得到模型后，可将测试图像输入到模型中，得到图像的情感分类结果。本专利技术的具体实现流程如图2所示，具体实现步骤如下：步骤1:建立图像的情感类别权重向量：将有标注的情感图像数据集进行整理划分，将训练集部分中每一类的图像视为一维，得到情感类别权重向量W；步骤2:建立深度网络模型：选择ResNet-101作为深度网络模型的骨干网络，并以待分类类别数作为输出向量维度替换原模型最后的分类层，得到待使用的深度网络模型；步骤3:损失函数设计：为了利用图像的情感类别权重信息，解决异类样本比例不均衡和类间类内距离收束的问题，损失函数包括对类间距离和类内距离的计算以及不同情感类别权重比例的考量；步骤4:训练模型：将步骤1划分的图像经过放缩随机翻转等方式进行预处理后，输入到步骤2的网络模型中，使用随机梯度下降方法进行优化，通过步骤3的损失函数计算损失对模型参数进行学习；步骤5:获得待测图像的情感类别：将数据集中的图像经过固定尺寸放缩和中心裁剪的预处理步骤后，输入到步骤4训练好的模型中，得到对应的情感类别。在所述步骤1中，建立了图像的情感类别权重向量W：本方法可以用于大型真实社交网络中的图像进行情感分类，故在本实例中选取自Flickr和Instagram整理而成的通用公开情感数据集Flickr&Instagram(下文简称FI数据集)，相较传统情感数据集，该数据集具有数据规模大，情感类别不均衡的特点，更符合真实网络环境。将FI数据集中的训练集按原8类标签整本文档来自技高网...

【技术保护点】
1.结合情感类别注意力损失的卷积神经网络情感图像分类方法，其特征在于，包含如下步骤：/n步骤1，建立图像的情感类别权重向量：将数据集中每一类的图像视为一维，得到情感类别权重向量W；/n步骤2，建立深度网络模型：选择深度网络模型ResNet-101，使用ResNet-101为基础骨干网络，并以待分类类别数作为输出向量维度替换原模型最后的分类层，以生成情感类别；/n步骤3，损失函数设计：为了利用图像的情感类别权重信息，解决异类样本比例不均衡和类间类内距离收束的问题，损失函数包括对类间距离和类内距离的计算以及不同情感类别权重比例的考量；/n步骤4，训练模型：将图像经过预处理后，输入到网络模型中，使用随机梯度下降方法进行优化，对模型参数进行学习；/n步骤5，获得待测图像的情感类别：将数据库中的图像经过同步骤4一样的预处理步骤后，输入到步骤4训练好的模型中，得到对应的情感类别。/n

【技术特征摘要】
1.结合情感类别注意力损失的卷积神经网络情感图像分类方法，其特征在于，包含如下步骤：
步骤1，建立图像的情感类别权重向量：将数据集中每一类的图像视为一维，得到情感类别权重向量W；
步骤2，建立深度网络模型：选择深度网络模型ResNet-101，使用ResNet-101为基础骨干网络，并以待分类类别数作为输出向量维度替换原模型最后的分类层，以生成情感类别；
步骤3，损失函数设计：为了利用图像的情感类别权重信息，解决异类样本比例不均衡和类间类内距离收束的问题，损失函数包括对类间距离和类内距离的计算以及不同情感类别权重比例的考量；
步骤4，训练模型：将图像经过预处理后，输入到网络模型中，使用随机梯度下降方法进行优化，对模型参数进行学习；
步骤5，获得待测图像的情感类别：将数据库中的图像经过同步骤4一样的预处理步骤后，输入到步骤4训练好的模型中，得到对应的情感类别。


2.根据权利要求1所述的方法，其特征在于：在所述步骤1中，建立图像的情感类别权重的具体方法为：将情感类别数为N的图像训练集中的同一类别图像视为一个维度Ci，i＝1,2,…,N；计算统计不同维度中样本数量ni，i＝1,2,…,N；通过计算获得各类别权重，合并形成权重向量W＝[w1,w2,…,wN]，各wi计算方式如下：





3.根据权利要求2所述的方法，...

【专利技术属性】
技术研发人员：毋立芳，邓斯诺，张恒，石戈，简萌，相叶，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11