图像多尺度自动标注方法技术

本发明专利技术涉及一种图像多尺度自动标注方法，步骤包括：在训练集中寻找待标注图像的K近邻图像；全局标注在K近邻图像中出现的频率作为第一权重；选择匹配度最高的M个K近邻图像加入候选集；依据候选集图像的每个全局标注出现的频率更新第一权重获得第二权重；利用候选集图像对待标注图像进行局部标注；计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与第一权重和第二权重加权求和得到第三权重，取第三权重最大的t个全局标注作为待标注图像的全局标注。本发明专利技术方法实现了图像的局部语义与全局语义的多尺度标注。在进行全局标注时，利用了局部标注与全局标注间的关联度信息，提高了全局标注的准确性。

【技术实现步骤摘要】
图像多尺度自动标注方法
本专利技术涉及机器学习
，特别是涉及一种图像的自动标注技术。
技术介绍
图像自动标注技术是机器学习和计算机视觉中的研究热点之一，图像自动标注就是以单词、词汇的形式，自动地给图像赋予语义信息。图像的自动标注在多个领域都有巨大的应用价值，其基本的思想在于利用已有标注的图像训练一个模型，然后将模型应用在无标注的待标注图像上，进而推理出待标注图像的语义。图像的语义可分为局部语义和全局语义两种尺度，其中局部语义指图像中某一部分呈现的语义，它能够与图像中某些位置的像素建立映射；全局语义是指图像整体反映出的语义，它很难与具体的像素建立联系，而往往是图像中多个特征联合表达出的语义。在现有的技术中，对图像局部语义的自动标注，语义分割是一种有效的方法，它通过给图像中每个像素一个语义标签，实现了局部语义的标注，与不建立像素和语义对应关系的普通图像标注技术相比，语义分割能够更精确的实现局部语义标注，但是无法实现全局语义的标注。目前还缺乏在语义分割基础上进行多尺度语义标注的方法研究。
技术实现思路
本专利技术所要解决的技术问题是，克服现有技术的上述缺点，提供一种图像多尺度自动标注方法，在语义分割实现精确局部语义标注的基础上，进一步实现全局语义标注。为了解决以上技术问题，本专利技术提供的图像多尺度自动标注方法，其特征在于，包括以下步骤：第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注；第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重；第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集；第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重；第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值；第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。本专利技术方法实现了图像的局部语义(局部标注)与全局语义(全局标注)的多尺度标注。在进行全局标注时，利用了每个全局标注在K近邻图像中出现的频率、在候选集中图像中出现的频率以及局部标注与全局标注间的关联度信息、提高了全局标注的准确性(全局标注排序更准确)。相对于传统互相孤立的局部标注方法和全局标注方法，本专利技术将两者结合在一起，通过建立一个统一的模型，实现局部标注和全局标注的一步实现，提高了图像标注效率。附图说明下面结合附图对本专利技术作进一步的说明。图1本专利技术图像多尺度自动标注方法的流程图。具体实施方式如图1所示，本实施例图像多尺度自动标注方法，其特征在于，包括以下步骤：第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注。本步骤中，提取待标注图像和训练集中所有图像的GIST特征向量，计算待标注图像的GIST特征向量与训练集中所有图像的GIST特征向量之间的欧氏距离，选取欧氏距离最小的K个图像，作为待标注图像的K近邻图像。本实施例提取GIST特征向量，除此之外，还可以是HOG特征向量或视觉词包特征向量。第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重。使用计算机来进行自动处理时，借助对K近邻图像建立关于全局标注的索引，对索引进行统计，来计算所述的频率，当然也不排除使用其他的统计方式。具体的，本实施例中，全局标注的第一权重计算方法如下：设训练集图像的全局标注全集为{y1,y2,...,yL}，L为训练集图像的全局标注种类数；对K近邻图像集合中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Yi，Yi∈{0,1}L，向量Yi的第l维个元素Yi(l)＝1，则表示第i个训练集图像含有全局标注yl，向量Yi的第l维个元素Yi(l)＝0，则表示第i个训练集图像不含有全局标注yl，对于待标注图像的K近邻图像集合{X1,X2,...,XK}，建立其全局标注的索引，用{Y1,Y2,...,YK}进行表示，令为K近邻图像集中的全局标注的总数，令为K近邻图像集合中第l个全局标注yl的总数，则第l个全局标注的第一权重为第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集。本步骤使用SIFT流方法，通过最小化两图间SIFT流能量，对待标注图像和每个K近邻图像之间建立逐像素的密集匹配。选择SIFT流能量最小的M个K近邻图像组成候选集。两幅图像之间，SIFT流能量越小，代表匹配度越高。本步骤中的SIFT流方法为现有成熟算法，参见论文《SIFTFlow:DenseCorrespondenceacrossScenesanditsApplications》。第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重。使用计算机来进行自动处理时，借助对候选集图像建立关于全局标注的索引，对索引进行统计，来计算所述的频率。本步骤方法与第2步原理相同。具体的，本实施例中，全局标注的第二权重计算方法如下：对候选集中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Zi，Zi∈{0,1}L，向量Zi的第l维个元素Zi(l)＝1，则表示第i个候选集图像含有全局标注yl，向量Zi的第l维个元素Zi(l)＝0，则表示第i个候选集图像不含有全局标注yl，对于待标注图像的候选集{X1,X2,...,XM}，建立其全局标注的索引，用{Z1,Z2,...,ZM}进行表示，令为候选集中所有图像的全局标注的总数，令为第l个全局标注在候选集中的总数，则第l个全局标注的第二权重α∈(0,1)，权重参数α的取值建议为0.8,取值可用验证集图像进行验证，一般应取大于0.5的值。第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值。本步骤为现有成熟方法。本实施例中选用的是LabelTransfer方法，参见论文《NonparametricSceneParsingviaLabelTransfer》。除此之外，还可以采用全卷积神经网络、二阶池化、图模型等方法来进行逐像素标注。本实施例所采用的局部标注方法，简要来说，建立Markov随机场模型，根据待标注图像与候选集图像的匹配信息，计算待标注图像所有的像素点的每种局部标注的后验概率，取后验概率最大的局部标注作为对应像素的局部标注。第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。本实施例中，相关度系数使用余弦相似度进行计算，当然也可以使用其他算法来获得相似度。相似度系数越大，代表相关性越高，本文档来自技高网...

【技术保护点】
一种图像多尺度自动标注方法，其特征在于，包括以下步骤：第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注；第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重；第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集；第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重；第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值；第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。

【技术特征摘要】
1.一种图像多尺度自动标注方法，其特征在于，包括以下步骤：第1步、在训练集中寻找待标注图像的K近邻图像，所述训练集包含N个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注；第2步、每个全局标注在K近邻图像中出现的频率作为该全局标注的第一权重；第3步、对待标注图像和每个K近邻图像建立逐像素的密集匹配，选择匹配度最高的M个K近邻图像加入候选集；第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重；第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值；第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。2.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第1步中，提取待标注图像和训练集中所有图像的特征向量，计算待标注图像的特征向量与训练集中所有图像的特征向量之间的欧氏距离，选取欧氏距离最小的K个图像为所述的K近邻图像，所述特征向量为GIST特征向量、或HOG特征向量、或视觉词包特征向量。3.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第2步中，全局标注的第一权重计算方法如下：设训练集图像的全局标注全集为{y1,y2,...,yL}，L为训练集图像的全局标注种类数；对K近邻图像集合中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的L维向量Yi，Yi∈{0,1}L，向量Yi的第l维个元素Yi(l)＝1，则表示第i个训练集图像含有全局标注yl，向量Yi的第l维个元素Yi(l)＝0，则表示第i个训练集图像不含有全局标注yl，对于待标注图像的K近邻图像集合{X1,X2,...,XK}，建立其全局标注的索引，用{Y1,Y2,...,YK}进行表示，令为K近邻图像集中的全局标注的总数，令为K近邻图像集合中第l个全局标注yl的总数，则第l个全局标注的第一权重为4.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第3步中使用SIFT流方法，通过最小化两图间SIFT流能量，对待标注图像和每个K近邻图像之间建立逐像素的密集匹配。5.根据权利要求1的图像多尺度自动标注方法，其特征在于：所述第4步中，全局标注的第二权重计...

【专利技术属性】
技术研发人员：赵海英，贾耕云，
申请(专利权)人：北京邮电大学世纪学院，
类型：发明
国别省市：北京,11