一种基于交叉空间池化策略的弱监督图像情感分类与定位方法技术

本发明专利技术提供一种基于交叉空间池化策略的弱监督图像情感分类与定位方法，包括基于ResNet‑101采用交叉空间池化策略最后生成一个维度为类别数的特征向量；然后通过聚合所有的情感类别的特征图来捕获图像中诱发情感的区域。本发明专利技术利用交叉空间池化策略使得卷积神经网络为每类情感学习到更具有鉴别力的信息，从而提高了情感分类性能，使得分类的准确率都有了很大的提升。

A method of emotion classification and location of weak surveillance image based on cross space pooling strategy

【技术实现步骤摘要】
一种基于交叉空间池化策略的弱监督图像情感分类与定位方法
本专利技术涉及图像处理
，尤其涉及一种基于交叉空间池化策略的弱监督图像情感分类与定位方法。
技术介绍
人们越来越喜欢通过上传图片到社交媒介如Twitter、微博等来主动表达情感,同时在一些安防、监控、教育等领域，也需要通过了解人们的情绪，因此图像的视觉情感分析研究越来越受关注,随着人工智能在各领域的深入,人们对计算机理解图像所传达情感的期望越来越高.深度学习在图像分类[1-3]、对象识别[4-6]和语义分割[7-9]等视觉识别任务中都取得了不错的效果,因此,深度学习的方法也被应用在图像情感分析[10-13].在图像情感分析中,基于深度特征的机器学习的效果已经优于传统手工设计特征的方法[14-17],传统手工设计特征主要考虑颜色、纹理和主成分等.Borth等[18-19]通过形容词-名词对(ANPs)为元素,定义了用于描述图像的视觉情感本体,基于视觉底层特征提出了SentiBank来检测图像中情感的描述,在分类方面构建了视觉情感概念.Ali等[20]提出在情感分析中考虑对象和场景两种高层语义概念(High-LevelConcepts),图像的情感分析同时与高层语义和低层特征相关,并且不同的情感类别与不同的高层语义概念有关,首先构建高层语义与情感之间的关系,然后通过支持向量回归(SVR)实现情感的预测.Kosti等[21]提出了在情感预测中考虑上下文来分析图像中的人物情感,训练两个卷积神经网络,最后把两个神经网络的特征融合.Peng等[17]提出了EmotionROI数据集,这个数据集标注了图像中诱发情感的区域,使用欧几里德损失的全卷积网络(FCNEL)预测图像情感刺激图(MSE).这些基于高层语义的方法都试图从图像中情感相关的因素中学习特征来提高分类性能,图像情感相关因素的选择成为关键.通过考虑更多的因素(更多的人工注释或是检测方法)有利于分类的性能的提高,但是考虑哪些因素对情感分类是最有效的,还没有一个定论,同时也需要更大的代价来获取这些相关的因素.卷积神经网络中的弱监督对象定位任务是指在只有图像类别的粗粒度标签情况下标注出图像中的对象(如:猫或狗),实现细粒度的标注.随着深度学习在大规模对象识别方面的成功,很多弱监督卷积神经网络的方法通过使用多样例学习(MIL)算法[22]来实现目标检测,MIL定义图像为一组区域,并假设标记为正数的图像包含某个类别至少一个对象实例,而标记为负数的图像不包含感兴趣类别的对象.最普遍的一个方法[23]由生成目标建议和从多个阶段的建议中提取特征组成,并在特征上采用MIL从弱袋标签中确定边界盒的标签.但是,情感是更加主观的,假设一个实例(对象)只出现在一个类别中,对于情感检测是次优的.另外,也有人提出了使用统一的网络框架进行定位,把卷积滤波器作为检测器来激活深度特征图上的位置,Zhou等[24]提出了类激活图(CAM),通过修改网络结构为全卷积网络,在最顶层卷积层之后使用全局平均池化层来聚集特定类的激活图.Selvaraju等[25]提出了梯度类激活图(Grad_CAM),通过反向传播来计算梯度,再与特征图相融合,计算出特定类的激活图,可以实现任意层的反向传播,但是通常都在最后一个卷积层来计算.梯度类激活图是类激活图的一个泛化,但是类激活图需要修改网络的结构.Duran等[26]提出了WILDCAT方法,学习与类别相关的多个形态信息(如狗的头或腿),模型中明确设计了与不同类模态相关的局部特征,提出的模型能完成图像分类和弱监督的对象定位与分割.考虑对象客观信息,Zhu等[27]提出了区域候选(SPN)方法,首先通过图形传播算法生成候选区域,再与卷积层的特征图融合,卷积神经网络不断迭代优化,最终学到更多具有鉴别力的信息,压制噪声的干扰,在弱监督对象定位和分类性能上都有所提高.这些方法都是针对一般的分类任务,检测出图像中特定对象相关的区域,都倾向于标注出图像中的前景对象区域,其实是一个识别问题(识别图像中的猫或狗).在观测一幅图像时，人类的情感会被激发，不同区域对诱发情感的贡献是不同的，如何自动定位图像中激发人类情感的区域就是图像情感区域定位问题.相较于对象区域定位,更加具有挑战性,因为图像的情感语义不仅仅与图像中的显著对象(前景)区域有关,还和图像所传达的整体语义信息相关.Yang等[28]提出了WSCNet网络架构,通过训练两个分支来完成情感检测和分类,分类的时候使用了第一个分支情感检测的结果.Fan等[29]利用眼动数据来定位图像中人类关注的区域,通过设计一个卷积神经网络来实现情感显著性预测,其中包含了一个子网络用来学习图像场景的语义和空间信息.[1]KrizhevskyA,SutskeverI,HintonG.Imagenetclassificationwithdeepconvolutionalneuralnetworks[C]//Proceedingsofthe25thInternationalConferenceonNeuralInformationProcessingSystems.LakeTahoe,ACMPress,2012:1097-1105.[2]SimonyanK,ZissermanA.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition[C]//Proceedingsofthe3rdInternationalConferenceonLearningRepresentations.SanDiego:ACMPress,2015.[3]HeK,ZhangX,RenS,etal.Deepresiduallearningforimagerecognition[C]//Proceedingsofthe2016IEEEConferenceonComputerVisionandPatternRecognition.LasVegas:IEEEPress,2016:770-778.[4]GirshickR,DonahueJ,DarrellT,MalikJ.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Columbus:IEEEPress,2014:580-587.[5]GirshickR.FastR-CNN[C]//Proceedingsofthe2015IEEEInternationalConferenceonComputerVision.Washington:IEEEPress,2015:1440-1448[6]DaiJ.,LiY,He,K,SunJ.R-FCN:Objectdetectionviaregion-basedfullyconvolutionalnetwo本文档来自技高网...

【技术保护点】
1.一种基于交叉空间池化策略的弱监督图像情感分类与定位方法，其特征在于，包括：/n步骤1：基于全卷积网络ResNet-101，删除该全卷积网络的池化层和全连接层，利用1×1的卷积核对ResNet-101中conv5生成的特征图进行卷积操作，为每一个类别生成特定数量(k)的特征图；/n步骤2：利用全局平均池化来提取每个特征图的全局信息；/n步骤3：再通过最大池化操作来找到最大响应的特征图，最后生成一个维度为类别数的特征向量，每一个向量的值记为S

【技术特征摘要】
1.一种基于交叉空间池化策略的弱监督图像情感分类与定位方法，其特征在于，包括：
步骤1：基于全卷积网络ResNet-101，删除该全卷积网络的池化层和全连接层，利用1×1的卷积核对ResNet-101中conv5生成的特征图进行卷积操作，为每一个类别生成特定数量(k)的特征图；
步骤2：利用全局平均池化来提取每个特征图的全局信息；
步骤3：再通过最大池化操作来找到最大响应的特征图，最后生成一个维度为类别数的特征向量，每一个向量的值记为Sc；



其中，表示F′中第c类的第j通道的特征，F′为通过1×1的卷积后的特征；k表示每一个类别生成特征通道的数量，c表示第c类情感，总的情感类别数为C，Gave表示全局平均池化；
步骤4：初始化卷积神经网络权重参数，即在ImageNet上视觉识别的预训练模型权重值，分别设置全卷积层...

【专利技术属性】
技术研发人员：徐丹，彭国琴，
申请(专利权)人：云南大学，
类型：发明
国别省市：云南;53