基于WordNet语义相似度的多特征图像标签排序方法技术

本发明专利技术涉及一种基于WordNet语义相似度的多特征图像标签排序方法，包括：建立训练样本库，提取样本库中图像的显著性区域图，训练SVM分类器，测试图像标签预处理，判断测试图像的类型，测试图像标签排序。本发明专利技术融合相关性、视觉性、多特征等方法，不仅考虑了场景类图像整幅图像的不同特征，而且考虑了对象类图像显著图的不同特征。在对图像标签进行排序之前，对图像标签的不正确性和标签的不全面性等问题进行改进，提高图像标签与图像内容之间的相关度，以及图像标签的准确性和全面性；本发明专利技术不仅考虑了图像视觉特征之间的相似度，而且考虑了标签文本之间的语义相似度，使图像标签的排序更准确。

【技术实现步骤摘要】

本专利技术属于互联网社群图像标签处理领域，涉及一种利用现有数据库（NS-WIDE）图像与对应的标签列表基于WordNet语义相似度的多特征图像标签排序方法。
技术介绍
随着互联网技术的不断发展，尤其是web2.0的快速发展，我们步入了信息化时代。同时社交网络的数量也在不断增多，而其中最具代表性的社交媒体网站有Facebook，Google的视频分享网站YouTube以及Yahoo的社交图像分享网站Flicker。这一类的社交网站都允许网络用户自行上传图像或者视频，用户可以通过关键字对图像的内容、时间、地点等信息进行标注，这些标注的信息被称为“标签（Tag）”，而为媒体添加关键字标签的过程被称为“Tagging”。由于大部分网络用户没有受过专门的媒体信息标注训练，同时也受到其个人的文化背景、个人因素等影响，故图像存在标注信息与图像本身相关度不大等问题，并且标签的相关性、重要性等方面不能够由现有的标签次序所反映。为解决这个问题，近些年来大量的学者对此问题进行了研究，目前已有的对图像标签排序办法大致可以分为两类：一、基于全局特征的标签处理办法，即利用图像的全局特征对标签进行处理。二、利用显著图特征进行图像标签排序处理，此种方法首先必须从各图像提取相应的显著图，然后利用图像显著图特征找到k个最近邻显著图像，最后使用这k个图像的标签对目标图像的标签的相关性进行投票。上述两类方法在很大程度上都将标签改善与标签排序分为两个不同的研究内容，故它们在标签排序的过程中很少对图像标签本身做太多的处理，只是对图像标签进行简单的预处理。
技术实现思路
针对现有技术存在的上述问题，本专利技术提出了一种基于WordNet语义相似度的多特征图像标签排序方法，在对图像标签进行排序之前，对图像标签的不正确性和标签的不全面性等问题进行改进，提高图像标签与图像内容之间的相关度，以及图像标签的准确性和全面性；同时在图像标签排序的过程中，将图像划分为场景类与对象类图像，场景类图像利用图像的全局特征进行处理，对象类图像利用图像的显著图进行处理。为了实现上述目的，本专利技术采取了如下技术方案：步骤1，建立训练样本库。利用现有的数据库NS-WIDE中的图像建立一个应用于SVM线性分类器训练的样本图像库，包括场景类图像(Sense Image)和对象类图像(Object Image)。步骤2，提取样本库中图像的显著性区域图。利用现有的Itti模型原理方法，提取两类图像的显著性区域图。对象类和场景类图像显著图分别为和Sense_SaliencyMap{S1,S2,S3,……,Sn本文档来自技高网...

【技术保护点】
基于WordNet语义相似度的多特征图像标签排序方法，其特征在于包括以下步骤：步骤1，建立训练样本库；利用现有的数据库NS?WIDE中的图像建立一个专门应用于SVM线性分类器训练的样本图像库，包括场景类图像和对象类图像；步骤2，提取样本库中图像的显著性区域图；步骤2.1，获取初级视觉特征；利用现有的Itti模型原理方法，通过计算中央周边差分采样，分别得到亮度、颜色和方向特征图N(I)、N(C)和N(O)，并将三种特征图组合成显著性区域图S；S＝α*N(I)+β*N(C)+γ*N(O)其中，N(·)为归一化函数，α、β和γ分别代表亮度、颜色和方向特征图的权值系数；步骤2.2，基于人脑过滤冗余信息机制过滤冗余噪声信息；步骤2.3，通过禁止返回的检测机制、就近转移的原则和注意尺寸的确定实现焦点的注意和转移；步骤3，训练SVM分类器；步骤3.1，获取显著性区域图的灰度直方图特征；分别提取对象类和场景类图像的显著性区域直方图特征Object_Bw_SaliencyMap{O1,O2,O3,…,Om}和Sense_Bw_SaliencyMap{S1,S2,S3,…,Sn}；对象类、场景类图像灰度直方图特征向量分别为：OBw_f＝{OBw_f1,OBw_f2,OBw_f3,...,OBw_fi,...,OBw_fm}SBw_f＝{SBw_f1,SBw_f2,SBw_f3,...,SBw_fi,...,SBw_fn}其中，OBw_fi与SBw_fi分别为某幅对象类和场景类图像的灰度直方图特征向量；步骤3.2，训练SVM分类器；将对象类与场景类图像作为SVM线性分类器的正负样本，其对应的灰度直方图特征向量OBw_f、SBw_f作为SVM分类器的输入特征向量，通过SVM线性分类器训练得到一个线性分类器，其表达式为：f=Bw_f*Σi=1nWeighti+bias]]>其中，Bw_f=OBw_f或SBw_f；Weight＝{Weight1,Weight2,...,Weightn}为分类器的权重，n为灰度直方图的特征维数，bias为偏置；步骤4，测试图像标签预处理；在对测试图像标签排序之前，对测试图像原有标签的不准确性、不全面性进行预处理；步骤5，判断测试图像的类型；利用所述步骤2的方法提取测试图像的显著性区域图，并提取显著性区域图的灰度直方图特征；将此特征向量输入SVM分类器，求出f的值，并根据f的值判断测试图像是场景类图像还是对象类图像；图像类型的判别公式如下：Type=1,f∈[α1,β1]0f∈[α2,β2]]]>其中，α1和β1、α2和β2表示对象类、场景类图像经过SVM分类器分类取值范围上、下限，α2＜β2≤α1＜β1；Type表示图像类型，Type=1表示测试图像为对象类图像，Type=0为场景类图像；步骤6，测试图像标签排序；根据图像的类型选择不同的标签投票方法，对于场景类图像采用不同维数全局特征进行标签投票，对象类图像采用测试图像的显著图不同维数特征进行标签投票；然后对投票结果处理并进行排序。...

【技术特征摘要】
1.基于WordNet语义相似度的多特征图像标签排序方法，其特征在于包括以下步骤：
步骤1，建立训练样本库；
利用现有的数据库NS-WIDE中的图像建立一个专门应用于SVM线性分类器训练的样本
图像库，包括场景类图像和对象类图像；
步骤2，提取样本库中图像的显著性区域图；
步骤2.1，获取初级视觉特征；
利用现有的Itti模型原理方法，通过计算中央周边差分采样，分别得到亮度、颜色和方向
特征图N(I)、N(C)和N(O)，并将三种特征图组合成显著性区域图S；
S＝...

【专利技术属性】
技术研发人员：刘宏哲，袁家政，吴焰樟，王棚飞，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：