一种图像自动标注方法技术

本发明专利技术公开了一种图像自动标注方法，它分为以下三个步骤：第一步，采用仿射传播聚类算法从个人照片集中选出一些代表性图像来描述该类视觉信息，这样可大大减少训练图像数目；第二步，依据视觉信息和语义标注一致性原则，对代表性图像进行合理标注，这有助于提高图像检索和管理的性能；最后，利用带重新启动的随机游走算法，自动标注其它图像。

【技术实现步骤摘要】

本专利技术涉及计算机
的图像标注方法，具体是一种利用视觉信息和语义标注一致性原则，采用带重新启动的随机游走算法实现的。
技术介绍
随着互联网的飞速发展和数码相机的高度普及，如Flickr、YouTube、Zooomr等社会媒体共享网站中上传图像的数 量呈几何级数增长。Flickr网站中拥有超过200万个人照片和850万注册用户，这些用户可随时对感兴趣图像进行标注。虽然目前图像标注都由人工完成，但标注中往往包含与内容无关信息，从而使标注质量不尽人意。由Flickr用户提供的很多标注其意义不够精确。经统计，大约只有50%的标注与图像内容相关。因此，准确标注图像对图像检索应用十分必要。经对现有技术文献的检索发现，Jin等人提出了基于WordNet推断给定图像的标注方法，不过由于WordNet词汇量有限，因而其不能很好反映特定图像库特点。Wang等人则利用带重启动的随机游走算法，来处理图像标注问题，该方法通过共生度量计算标注间的相关值，并在相关值计算过程中加入标注的初始信息。Yan等人给出一种基于学习的混合方法实现图像标注，该方法融合了图像标注和图像浏览两种特性。Jia等人介绍一种基于随机游走算法的标注优化方案，该方案同时考虑了标注相似性和图像相似性两种特性。Xu等人在考虑图像标注间相似性和相关性的基础上，利用规则化的隐含狄利克雷法实现对图像的标注。Yang等人在给每个候选标注与一组给定标注建立关联的基础上提出了懒惰学习方法。从上面提到这些方法可以看出，图像标注过程主要可分为两个步骤首先，手动标注训练集；然后，根据训练过程获得的标注信息，自动分配测试集标注。经分析可知，在此标注生成过程中存在一些明显缺陷一方面，手动标注一个大型图像集，是一项非常耗时的任务；另一方面，由于来自同一主题的图像在内容上是相似的，以及用户提供的标注并非与图像内容完全相关，且标注顺序也并非一定与图像信息的重要性一致。
技术实现思路
为有效标注同一主题图像，本专利技术提出，首先，采用仿射传播聚类算法从相同主题图像集中选出代表性图像，然后，依据视觉信息和语义标注一致性原则，对代表性图像进行能够正确反映图像内容的合理标注，最后，利用带重新启动的随机游走算法，自动标注其它图像；包括以下步骤( I)输入待标注的图像集(2)从相同主题图像集中选择代表性图像对图像集DS= Ix1, X2,…，xn}，仿射传播聚类算法依据代表性和可用性这两个特性，通过迭代过程完成选择，具体的，图像Xi和Xj之间，代表性r (Xi, Xj)表示从Xi点考虑，Xj是否能作为其代表性图像；可用性a(Xi，Xj)则表示从\点考虑，Xi如何才能将\选为其代表性图像；仿射传播聚类算法的迭代算法如下本文档来自技高网...

【技术保护点】
一种图像自动标注方法，其特征是：首先，采用仿射传播聚类算法从相同主题图像集中选出代表性图像，然后，依据视觉信息和语义标注一致性原则，对代表性图像进行能够正确反映图像内容的合理标注，最后，利用带重新启动的随机游走算法，自动标注其它图像；包括以下步骤：（1）输入待标注的图像集（2）从相同主题图像集中选择代表性图像对图像集DS={x1,x2,…,xn}，仿射传播聚类算法依据代表性和可用性这两个特性，通过迭代过程完成选择，具体的，图像xi和xj之间，代表性r(xi,xj)表示从xi点考虑，xj是否能作为其代表性图像；可用性a(xi,xj)则表示从xj点考虑，xi如何才能将xj选为其代表性图像；仿射传播聚类算法的迭代算法如下：r(xi,xj)=w(xi,xj)?max{a(xi,xj′)+w(xi,xj′)}???(1)a(xi,xj)=Σi′≠jmax(0,r(xi′,xj))i=jmin{0,r(xj,xj)+Σi′≠i,jmax(0,r(xi′,xj))}i≠j---(2)其中，xi’和xj’分别表示图像xi和xj的最近邻图像，w(xi,xj)表示图像xi和xj间视觉相似性，此处利用拉普拉斯卷积核定义图像xi和xj间视觉相似性度量：w(xi,xj)=exp(-||v(xi)-v(xj)||σv)---(3)其中，v(xi)和v(xj)分别表示图像xi和图像xj的视觉特征，σv为一个表示视觉特性尺度的正参数，值为两个图像对应块距离的中值；迭代过程收敛后，选择图像xr作为图像xi的代表性图像，当其满足下式时：C(xr)=argmrax{a(xi,xr)+w(xi,xr)}---(4)对给定的图像集，其代表性图像集Q为：Q={xr},r∈[1,2,...,N]???(5)（3）依据出现在同一张图像中两个标注间相关性信息及标注与代表性图像集Q 之间相关性信息对代表性图像进行标注；1）标注间相关性估计标注间相关性是指由一个标注出现推断出另一个标注出现的概率，这取决于这两个标注在同一张图像中出现的频率，不同于利用底层特征描述图像信息，利用标注描述图像内容属于高层语义范畴，利用类谷歌距离原理来定义标注TI和tJ间的语义相关性sem(tI,tJ)：sem(tI,tJ)=exp{-max[lognum(tI),lognum(tJ)]-lognum(tI,tJ)log(G)-min[lognum(tI),lognum(tJ)]}---(6)其中，num(tI)和num(tJ)分别表示由标注tI和tJ标注的图像数目，num(tI,tJ)表示同时由tI和tJ标注的图像数目，G表示同一类型的图像数目，为确保所有标注对的语义矩阵S中每一列总和1，需对每一个元素sem(tI,tJ)进行列归一化：s(tI,tJ)=sem(tI,tJ)ΣJ=1msem(tI,tJ)---(7)m为同一类型图像库的标注数目；2）标注与代表性图像集Q相关性估计从同一主题图像集中选取的代表性图像，其标注应包含该主题的典型内容，即代表性图像标注取决于该主题图像集所包含的视觉信息，标注tI和代表性图像x间相关性通过核密度法获得：s^(tI,x)=1|X(tI)|Σxi∈X(tI)exp(-||v(x)-v(xi)||σv)---(8)其中，X(tI)表示包含标注tI图像，|X(tI)|表示包含标注tI图像数目，v(xi)和σv含义和式(3)相同，式(8)表示的是：标注tI与代表性图像x间的相关性，为同一主题下所有图像相似性总和；3）标注排序基于上述标注间相关性估计假设和标注与代表性图像集Q相关性估计假设，利用迭代框架对代表性图像x的已有标注进行优化排序，迭代公式如下：Rk+1=cSRk+(1?c)R0???(9)其中，S为关于不同标注即标注对的相关矩阵，R0表示标注tI和代表性图像x初始的相关值矩阵，c是调整初始相关值R0与不同标注相关矩阵S权重的系数，Rk表示 第k步迭代时的相关值；上述迭代过程目的是优化共生标注并删除孤立标注，且在迭代过程结束后，我们将R中相关值最大的那些标注作为相同一主题下其余图像传播标注的基础。（3）依据代表性图像的标注对属于同一类别的其它图像自动进行标注采用基于半监督学习的流行排序法即带重新启动的随机游走算法进行标注传播，而并非直接根据代表性图像去推导同一主题下其它图像...

【技术特征摘要】
1.一种图像自动标注方法，其特征是首先，采用仿射传播聚类算法从相同主题图像集中选出代表性图像，然后，依据视觉信息和语义标注一致性原则，对代表性图像进行能够正确反映图像内容的合理标注，最后，利用带重新启动的随机游走算法，自动标注其它图像；包括以下步骤 (1)输入待标注的图像集 (2)从相同主题图像集中选择代表性图像 对图像...

【专利技术属性】
技术研发人员：朱松豪，邹黎明，胡学伟，梁志伟，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：