基于低秩稀疏表征和关系推断的图像可记忆度预测方法技术

本发明专利技术公开了一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，包括：在MIT数据库上将提取的第一图片特征随机划分为两组，一组作为训练集特征；另一组作为测试集特征；在LaMem数据库上将提取的第二图片特征随机划分为六组，每组选预设张数的图片特征作为训练集特征，另一预设张数的图片特征作为测试集特征；将上述数据库上提取的训练集特征、训练集图片对应的标签、以及参数值作为目标函数的输入，经多次迭代，分别得到适用于MIT数据库、及LaMem数据库的映射矩阵和相关系数矩阵；分别将MIT数据库、及LaMem数据库上测试集的特征矩阵、与对应的映射矩阵和相关系数矩阵进行相乘，得到最终的图像可记忆度预测分数。

Image Memory Prediction Method Based on Low Rank Sparse Representation and Relational Inference

The invention discloses an image memory prediction method based on low rank sparse representation and relational inference, which includes: randomly dividing the extracted first picture features into two groups in MIT database, one group as training set features, the other group as test set features, and randomly dividing the extracted second picture features into six groups in LaMem database, each group of selected preset picture numbers. The feature is used as the feature of training set and the picture feature of preset tensor is used as the feature of test set. The feature of training set extracted from the above database, the label corresponding to the picture of training set and the parameter value are used as the input of the objective function. After several iterations, the mapping matrix and correlation coefficient matrix suitable for MIT database and LaMem database are obtained respectively. The feature matrix of the test set on LaMem database, the corresponding mapping matrix and the correlation coefficient matrix are multiplied to obtain the final image memory prediction score.

【技术实现步骤摘要】
基于低秩稀疏表征和关系推断的图像可记忆度预测方法
本专利技术涉及图像可记忆度预测领域，尤其涉及一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法。
技术介绍
随着社交网络和硬件设备的快速发展，图像越来越多地出现在日常生活中。在成千上万的图像中，有一些图片可以在脑海中存留很长时间，而有一些却很快就会被遗忘。以上提到的现象可以用图像可记忆度来衡量，也就是一张图片能够被记住的程度。在参考文献[1]中，利用亚马逊众包平台设计了一个新颖的图像可记忆度游戏，在这个游戏中，志愿者需要观察一系列图片流，并且在看到重复的图片时，进行反馈。图像可记忆度被定义为观测者可以在一连串图片流中捕捉到重复图片的概率，取值范围是[0,1]。而且已有的研究工作表明，图像可记忆度是图片的内在固有属性。鉴于图像可记忆度在封面设计，广告宣传以及教育等领域的应用，对图像可记忆度的研究越来越得到人们的重视。目前对于图像可记忆度的研究主要分为两个方面。1)探索影响图像可记忆度的视觉因素和图片特征。特征，即一事物区别于其他事物的特点。在机器学习领域，特征可以理解为对图片的一种描述，而这种描述可以将不同的图片区分开来，并且可以利用这种描述进行下一步的研究。图片的特征有很多种，根据前人的研究，有的特征与图像可记忆度相关，有的特征与图像可记忆度关联很小，甚至无关。为了获得较好的图像可记忆度预测效果，需要提取与图像可记忆度有关的特征。研究表明，如果图片中含有人脸，会得到更高的可记忆度分数，反之，描述自然风景的图片可记忆度分数较低。另外，研究者发现场景和物体标注以及“属性”特征与图像的可记忆度高度相关，“属性”可以看作是一种可解释的中层特征，比如说“毛茸茸的”、“宽敞的”。在提取特征的过程中，可能会提取到重复的、对预测图像可记忆度没有积极作用的特征。对特征进行低秩稀疏学习，即低秩稀疏表征，可以将这一部分不理想的特征去掉，从而得到信息含量丰富却不冗余的特征，提高算法效率以及图像可记忆度预测的准确性。2)设计图像可记忆度预测模型。相比对影响图像可记忆度的因素的探索，这方面的研究相对较少，很多工作直接采用了支持向量回归等已有的经典方法。更进一步，在参考文献[1]中，提出了多视角自适应回归模型，将每种视觉特征看作一个视角，极大的提升了预测效果，并且模型可以自适应的选择有更多信息的特征。在参考文献[2]中，提出了一种新的预测可记忆度的模型，此模型将弱学习、迁移学习与多视角一致性损失函数结合起来，实现了对特征表示的加强和高层语义鸿沟的跨越。目前，在图像可记忆度领域，有两个广泛应用的数据库，分别是参考文献[1]中提出的MIT数据库，以及参考文献[3]中提出的LaMem数据库：MIT数据库：包含来自SUN[5]数据库的2222张图片，每张图片都有对应的可记忆度分数标签。LaMem数据库：包含来自MIRFlickr[6]，AVA[7]，affectiveimages[8]，aliency(MIT1003[9]和NUSEF[10]),SUN[5],imagepopularity[11],AbnormalObjects[12]以及aPascal[13]等数据库的60000张图片，每张图片都有其对应的图像可记忆度分数标签。现有的很多研究只是简单的将影响图像可记忆度的特征串联起来，进而去预测图像可记忆度。这种特征结合策略会造成特征的冗余，导致预测效果不佳。而且大多数研究对预测模型的关注不够。因此提出一种高效、稳定的图像可记忆度预测方法是非常有必要的。参考文献[1]P.Isola,J.Xiao,A.Torralba,andA.Oliva,“Whatmakesanimagememorable？”inProceedingsofIEEEInternationalConferenceonComputerVisionandPatternRecognition,2011,pp.14325–14329.[2]H.Peng,K.Li,B.Li,H.Ling,W.Xiong,andW.Hu,“Predictingimagememorabilitybymulti-viewadaptiveregression,”inProceedingsofACMInternationalConferenceonMultimedia,2015,pp.1147–1150.[3]P.Jing,Y.Su,L.Nie,andH.Gu,“Predictingimagememorabilitythroughadaptivetransferlearningfromexternalsources,”IEEETransactionsonMultimedia,vol.19,no.5,pp.1050–10622017.[4]A.Khosla,A.S.Raju,A.Torralba,andA.Oliva,“Understandingandpredictingimagememorabilityatalargescale,”inProceedingsoftheIEEEInternationalConferenceonComputerVision,2015,pp.2390–2398.[5]J.Xiao,J.Hays,K.A.Ehinger,A.Oliva,andA.Torralba,“Sundatabase:Large-scalescenerecognitionfromabbeytozoo,”inProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,2010,pp.3485–3492.[6]M.J.HuiskesandM.S.Lew,“Themirflickrretrievalevaluation,”inProceedingsofACMInternationalConferenceonMultimediaInformationRetrieval.ACM,2008,pp.39–43.[7]N.Murray,L.Marchesotti,andF.Perronnin,“AVA:alarge-scaledatabaseforaestheticvisualanalysis,”inProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,2012,pp.2408–2415.[8]J.MachajdikandA.Hanbury,“Affectiveimageclassificationusingfeaturesinspiredbypsychologyandarttheory,”inProceedingsofACMInternationalConferenceonMultimedia,2010,pp.83–92.[9]T.Judd,K.Ehinger,F.Durand,andA.Torralba,“Learningtopredictwherehumanslook,”inProceedingsofIEEEConferenceonComputerVision,2009,pp.2106–2113.[10]S.Ra本文档来自技高网...

【技术保护点】
1.一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述方法包括以下步骤：在MIT数据库上将提取的第一图片特征随机划分为两组，一组作为训练集特征；另一组作为测试集特征；在LaMem数据库上将提取的第二图片特征随机划分为六组，每组选预设张数的图片特征作为训练集特征，另一预设张数的图片特征作为测试集特征；将上述数据库上提取的训练集特征、训练集图片对应的标签、以及参数值作为目标函数的输入，经过多次迭代，分别得到适用于MIT数据库、及LaMem数据库的映射矩阵和相关系数矩阵；分别将MIT数据库、及LaMem数据库上测试集的特征矩阵、与对应的映射矩阵和相关系数矩阵三者进行乘法运算，分别得到最终的图像可记忆度预测分数。

【技术特征摘要】
1.一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述方法包括以下步骤：在MIT数据库上将提取的第一图片特征随机划分为两组，一组作为训练集特征；另一组作为测试集特征；在LaMem数据库上将提取的第二图片特征随机划分为六组，每组选预设张数的图片特征作为训练集特征，另一预设张数的图片特征作为测试集特征；将上述数据库上提取的训练集特征、训练集图片对应的标签、以及参数值作为目标函数的输入，经过多次迭代，分别得到适用于MIT数据库、及LaMem数据库的映射矩阵和相关系数矩阵；分别将MIT数据库、及LaMem数据库上测试集的特征矩阵、与对应的映射矩阵和相关系数矩阵三者进行乘法运算，分别得到最终的图像可记忆度预测分数。2.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述第一图片特征包括：底层特征、场景标记、物体标记和属性标记特征；所述底层特征包括：空间包络、方向梯度直方图、结构相似性测度、以及尺度不变特征变换。3.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述第二图片特征为深度特征。4.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，...

【专利技术属性】
技术研发人员：褚晶辉，商悦晨，井佩光，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12