基于元学习的少样本图像情感分类方法技术

本发明专利技术公开了一种基于元学习的少样本图像情感分类方法，首先在源数据集上构建多个与目标数据集中具有情感标签信息的少样本图像类似的元学习任务，然后通过对这些元学习任务学习，得到一个良好的分类模型初始化参数，使得分类模型在面对少样本目标数据集中情感图像时能够取得较好的分类效果。本发明专利技术不仅可以大大缓解对标注数据的需要，而且基于元学习的方式也更加符合人类的学习方式(人类学习新任务都是基于已经学过任务去学习的)，可以使神经网络模型更加智能化。

【技术实现步骤摘要】
基于元学习的少样本图像情感分类方法
本专利技术属于机器学习(MachineLearning)中的神经网络(NeuralNetworks，NN)领域，涉及基于深度学习的图像情感分类方法，尤其涉及基于元学习的少样本图像情感分类。
技术介绍
一些心理学研究表明，人类的情绪反应会随着不同的视觉刺激而变化，尤其是，图片对于吸引人们的注意力和激励他们采取行动是非常重要的。先前的各种研究表明，对于某些消费者来说，在无法真实地触摸产品的情况下，图片可以导致对更高产品质量的感知，这使得这种视觉暗示显得尤为重要。在电子商务场景中，图片也会对买家意向、信任度、风险降低、转化率和点击率产生影响。在一些慈善募捐活动中，“捐款呼吁材料”中积极和消极情绪的结合会激发观众捐款。受心理学和艺术理论的启发，各种与视觉内容的情感反应相关的人为设计的图像特征被识别并纳入图像情感分类任务，例如8种不同的像素级别的特征(颜色、纹理、构图等)，并且相关研究也证明了它们对于分析图像情感非常重要。另一方面，随着机器学习(特别是深度学习)的发展，卷积神经网络在图像的语义内容识别方面取得了巨大成功，因此也产生了使用各种深度表示模型来提取层次化的潜在特征的模型，以提高图像的情感预测能力。例如结合卷积神经网络和支持向量机(SupportVectorMachine，SVM)来检测大规模图像数据集上的图像的情感。然而现有图像情感分类方法都需要大量的有情感标签。而在实际应用中，具有情感标签的图像的数量往往是有限的，因为要获得足够的具有情感标签的图像需要大量的人力物力。因此，从有限资源中学习一个好的模型成为一个亟待解决的挑战。尤其当将从源数据集中学习到的模型转移到一个未知目标数据集(目标数据集仅有少量的图像具有情感标签信息)时候，由于源数据集的数据分布和目标数据集的数据分布可能非常不同，这种情况将会导致目标数据集的图像情感分类效果更加不理想。
技术实现思路
针对目前用于图像情感的深度学习方法，难以基于有限资源实现学习的问题，本专利技术目的旨在提供一种基于元学习的图像情感分类方法，能够实现少样本图像情感分类。本专利技术主要利用元学习(MetaLearning)构建一套学习方法，此方法可以和任何卷积神经网络(ConvolutionalNeuralNetworks，CNN)结合使用，使其具有少样本(Few-shotLearning，FSL)图像情感分类(ImageEmotionClassification，IEC)的能力。这里的少样本图像分类指的是在仅给出少量的来自新的情感类别图像的情况下(只需要这少量图像的情感类别标签信息)，对剩余的情感类别图像进行情感识别。使用少样本图像情感分类的模型可以大大减少对人工标注数据的需要(人工标注数据需要大量的人力物力资源)。本专利技术的思路为利用元学习的方法从一组有情感标签的图像数据集中学习一个先验知识，并且这个先验知识可以很容易地推广到其他未知的图像情感数据集上，而且新的图像情感数据集不再需要耗费大量的人力物力资源去标注大量的图像，只需要对每个类标注少量的图像就能得到较好的分类效果。基于上述专利技术思路，本专利技术提出的基于元学习的少样本图像情感分类方法，所使用的数据集包括用于元学习的元训练阶段的源数据集和用于目标图像情感分类的目标数据集，所述基于元学习的少样本图像情感分类方法包括以下步骤：S1利用源数据集和目标数据集构建元训练任务和元测试任务依据目标数据集中图像情感类别和图像数量，首先在源数据集随机采样与目标数据集中图像情感类别数量相同的图像情感类别；再在所有属于随机采样到的图像情感类别的图像样本中随机采样与目标数据集中具有情感标签信息的图像数量相同的图像样本，得到一个支持集；然后从所有属于随机采样到的图像情感类别的剩余图像样本中随机采样若干样本作为查询集；所述支持集和查询集构成在源数据集上采样出的一个少样本情感分类的元训练任务(Meta-trainingTasks)；重复上述操作，即可获得多个元训练任务；将对目标数据集的分类任务称为元测试任务(Meta-testingTasks)；S2学习元训练任务利用分类模型在随机采样出来的多个元训练任务上进行元学习，通过多个小批次的训练，优化分类模型初始化参数；S3对目标数据集图像情感分类利用学习到的分类模型应用到目标数据集，执行元测试任务；首先使用目标数据集中的带有情感标签信息的图像样本对分类模型初始化参数进行微调，再使用初始参数微调后的分类模型对目标数据集中剩余的图像进行情感分类。上述基于元学习的少样本图像情感分类方法，本专利技术中针对的元测试任务为少样本图像集，即目标数据集中仅包含少量具有情感标签信息的图像样本。上述基于元学习的少样本图像情感分类方法，元学习的元训练阶段需要大量与元测试任务(目标数据集上的分类任务)相似但不同的少样本元训练任务，以模拟目标数据集的少样本情况。因此，步骤S1的目的在于在元训练阶段，构建多个少样本元训练任务，以模拟和元测试任务一样的少样本分类场景。本步骤主要是通过随机采样来实现的。给定源数据集为Dtrain，目标数据集为Dtest。源数据集中的图像样本都属于图像情感类别集合Ctrain中的一个，而目标数据集中的图像样本属于图像图像情感类别集合Ctest，值得注意的一点是Ctrain和Ctest是两个不相交的集合，即目标数据集中的图像情感类别为全新的类别，并且目标数据集中每个图像情感类别仅有少量的几个样本具有情感标签信息。在少样本学习领域，目标数据集总的类别个数为N，每个类别具有情感标签信息的图像数为K，那么这个元测试任务为一个N-Way，K-Shot的任务。则在源数据集上，具体的一次元训练任务随机采样过程如下：在源数据集Dtrain所属的类别集合Ctrain中随机采样N个类别，作为这个任务的总的类别；再在所有属于这N个类别的样本中随机采样N*K个图像样本作为这个任务的支持集(用于分类模型训练，为了与前面的Dtrain清楚地区分开来，这里称为支持集(SupportSet))。最后在属于这N个类别的剩余图像样本中随机采样P个图像样本作为这个任务的查询集(用于分类模型测试，为了与前面的Dtest清楚地区分开来，这里称为查询集(QuerySet))。至此，在源数据集上采样出了一个元训练任务。重复上述操作多次即可获得多个随机采样得到的元训练任务。随机采样出来的每个元训练任务都是一个少样本情感分类任务。上述基于元学习的少样本图像情感分类方法，由于本专利技术提供的是一套通用的图像情感分类方法，对于分类模型没有任何的限定，其可以与任何卷积神经网络(例如GoogleNet，AlexNet，VGG，MldrNet和ResNet)一起使用。因此，这里不对分类模型的具体架构做过多赘述。上述基于元学习的少样本图像情感分类方法，步骤S2的目的在于，利用分类模型对元训练任务通过多个小批次(Mini-Batch)的训练，学习到一个良好的分类模型初始化参数。这个初始化参数在面对未知的少样本图像情感分类任务的情况本文档来自技高网...

【技术保护点】
1.一种基于元学习的少样本图像情感分类方法，其特征在于所使用的数据集包括用于元学习的元训练阶段的源数据集和用于目标图像情感分类的目标数据集，所述基于元学习的少样本图像情感分类方法包括以下步骤：/nS1利用源数据集和目标数据集构建元训练任务和元测试任务/n依据目标数据集中图像情感类别和图像数量，首先在源数据集随机采样与目标数据集中图像情感类别数量相同的图像情感类别；再在所有属于随机采样到的图像情感类别的图像样本中随机采样与目标数据集中具有情感标签信息的图像数量相同的图像样本，得到一个支持集；然后从所有属于随机采样到的图像情感类别的剩余图像样本中随机采样若干样本作为查询集；所述支持集和查询集构成即为在源数据集上采样出的一个少样本情感分类的元训练任务；/n重复上述操作，即可获得多个元训练任务；/n将对目标数据集的分类任务称为元测试任务；/nS2学习元训练任务/n利用分类模型在随机采样出来的多个元训练任务上进行元学习，通过多个小批次的训练，优化分类模型初始化参数；/nS3对目标数据集图像情感分类/n利用学习到的分类模型应用到目标数据集，执行元测试任务；首先使用目标数据集中的带有情感标签信息的图像样本对分类模型初始化参数进行微调，再使用初始参数微调后的分类模型对目标数据集中剩余的图像进行情感分类。/n...

【技术特征摘要】
20200901 CN 20201090493051.一种基于元学习的少样本图像情感分类方法，其特征在于所使用的数据集包括用于元学习的元训练阶段的源数据集和用于目标图像情感分类的目标数据集，所述基于元学习的少样本图像情感分类方法包括以下步骤：
S1利用源数据集和目标数据集构建元训练任务和元测试任务
依据目标数据集中图像情感类别和图像数量，首先在源数据集随机采样与目标数据集中图像情感类别数量相同的图像情感类别；再在所有属于随机采样到的图像情感类别的图像样本中随机采样与目标数据集中具有情感标签信息的图像数量相同的图像样本，得到一个支持集；然后从所有属于随机采样到的图像情感类别的剩余图像样本中随机采样若干样本作为查询集；所述支持集和查询集构成即为在源数据集上采样出的一个少样本情感分类的元训练任务；
重复上述操作，即可获得多个元训练任务；
将对目标数据集的分类任务称为元测试任务；
S2学习元训练任务
利用分类模型在随机采样出来的多个元训练任务上进行元学习，通过多个小批次的训练，优化分类模型初始化参数；
S3对目标数据集图像情感分类
利用学习到的分类模型应用到目标数据集，执行元测试任务；首先使用目标数据集中的带有情感标签信息的图像样本对分类模型初始化参数进行微调，再使用初始参数微调后的分类模型对目标数据集中剩余的图像进行情感分类。


2.根据权利要求1所述基于元学习的少样本图像情感分类方法，其特征在于步骤S1中，给定源数据集为Dtrain，目标数据集为Dtest，目标数据集上的元测试任务是一个N-Way，K-Shot的分类任务，N表示目标数据集总的类别个数，K表示每个类别具有情感标签信息的图像数；具体的一次随机采样过程如下：在源数据集Dtrain所属的类别集合Ctrain中随机采样N个类别，作为这个任务的总的类别；再在所有属于这N个类别的样本中随机采样N*K个图像样本作为这个任务的支持集；最后在属于这N个类别的剩余图像样本中随机采样P个图像样本作为这个任务的查询集；至此，在源数据集上采样出了一个元训练任务；重复上述操作多次即可获得多个随机采样得到的元训练任务。


3.根据权利要求1或2所述基于元学习的少样本图像情感分类方法，其特征在于步骤S2包括以下分步骤：
S21将所有元训练任务分为L批次元训练阶段，并令l从l＝1开始；
S22对于第l批次元训练阶段，利用分类模型对该批次内的所有元训练任务进行学习，并使用梯度下降算法对分类模型初始化参数进行优化更新；
S23判断分类模型是否收敛，若模型收敛，进入步骤S3；否则进入步骤S24；
S24判断元训练阶段次数是否达到最大次数L，若达到最大次数L，则令l＝1，返回步骤S22；否则，将元训练阶段次数在l基础上...

【专利技术属性】
技术研发人员：周帆，曹丞泰，钟婷，王天亮，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51