一种图片语义自动标注方法与系统技术方案

本发明专利技术公开了一种图片语义自动标注方法与系统，涉及图像语义自动标注技术。本发明专利技术公开的系统包括：部件一、针对已带有图片标注的图片数据集，构建基于n元图片的索引；部件二、对待标注图片进行预处理，提取图像n元；部件三、从所构建的基于n元图片的索引中检索所提取的图像n元对应的所有语义标签，计算所检索出的图像n元对应的语义标签的概率值；部件四、更新所有语义标签的概率值；部件五、按照更新后的概率值对所有语义标签进行排序，将概率值排序中达到设定值的一个或多个语义标签输出。本发明专利技术还公开了一种图片语义自动标注方法。本申请技术方案应用于图像自动语义标注中，能快速、高效的挖掘出丰富的图像语义标注。 1

A method and system for automatic picture semantic annotation

The invention discloses a picture semantic automatic annotation method and system, which relates to automatic image annotation technology. The system disclosed in the invention includes: Part one, an index based on a n element picture is constructed for a picture data set which has a picture annotation; part two, preprocessing the annotated picture and extracting an image N element; part three, retrieves all the semantics corresponding to the extracted image of the extracted image from the index based on the N element picture. Label, calculate the probability value of the semantic label corresponding to the retrieved image N element; part four, update the probability value of all semantic tags; part five, sort all semantic tags according to the updated probability values, and output one or more semantic tags in the probability value sorting to achieve the set value. The invention also discloses an automatic image annotation method. The application technology scheme is applied to automatic image semantic annotation, which can quickly and efficiently extract rich image semantic annotation. One

【技术实现步骤摘要】
一种图片语义自动标注方法与系统
本专利技术涉及图像语义自动标注技术，具体涉及一种基于n-gram图片索引结构的图片语义自动标注方法与系统，主要应用于图像语义自动标注和图像检索领域。
技术介绍
所谓图像自动标注(AutomaticImageAnnotation，AIA)，就是让计算机能够自动给图像添加上能够反应图片内容或者用户意图的文本标签。利用已经带有了反应图片语义信息的文本信息的图像集，或者其他对挖掘图像深层语义信息有帮助的资源。学习图像的深层语义概念空间与图像底层原始特征空间的函数关系。并利用该模型对其他未知语义信息内容图像进行自动标注。总体来说，目前进行图像语义自动标注的方法，主要集中在运用机器学习对图片进行语义标注上。虽然基于机器学习的图片语义标注已经被研究了很多年，并且有了长足的进展，同时人们提出了很多的图片表示新形式，尝试了很多多类标分类器。但是图片的语义标注效果和效率，并不能令人满意；对语义鸿沟的缩小仍然没有突破性的进展；离实际的应用还有很大差距。特别是当训练数据质量不够理想或者数据集和类别集非常大时，大多数的算法的性能都会急剧下降。这主要是因为，这些模型都需要首先提供已经标注的数据集，然后利用复杂的机器学习算法，对大量的分类器的参数进行优化。最后通过得到的每个类别的分类器，挖掘未知图像的语义标签。这样对训练集的要求就比较高，而且不同人对同一幅图片的标注的歧义性也比较大。当训练集的标签数量和选取的特征较为复杂时，需要通过分类器优化的参数的数量将会非常大，这类方法不能适应现今互联网时代图像数量爆炸增长的形式。而且大多数机器学习算法由于时间复杂度的问题，忽略了图像中物体的空间信息，而是尽量多的提取图像的底层特征信息，并将不同的底层特征信息进行融合，进而去训练相应的分离器。这样当训练集发生变化时，所有训练过程都需要重新做一遍，因此当前的机器学习算法大多运用在训练数据集较小，需要标注的图片属于特定领域的问题上。
技术实现思路
本专利技术所要解决的技术问题是，提供一种图片语义自动标注方法与系统，以提高图片语义自动标注的效率与效果。为了解决上述技术问题，本专利技术公开了一种图片语义自动标注系统，包括：部件一、针对已带有图片标注的图片数据集，构建基于n元图片的索引；部件二、对待标注图片进行预处理，提取图像n元；部件三、从所构建的基于n元图片的索引中检索所提取的图像n元对应的所有语义标签，计算所检索出的图像n元对应的语义标签的概率值；部件四、更新所有语义标签的概率值；部件五、按照更新后的概率值对所有语义标签进行排序，将概率值排序中达到设定值的一个或多个语义标签输出。较佳地，上述系统中，所述部件一构建的基于n元图片的索引的结构以图像n元为索引，以图像标注和图像详细信息为索引对象。较佳地，上述系统中，所述部件三按照如下公式计算所检索出的图像n元对应的语义标签的概率值：式中：p(sun|img，(1，1))——待标注图片img中，出现(1，1)的条件下，sun标签出现的概率，其中，sun标签为图像n元对应的语义标签；Lweightsun——索引中(1，1)对应的sun标签的概率权值；N((1，1))——待标注图片img中(1，1)出现的个数。较佳地，上述系统中，所述部件四更新所有语义标签的概率值指：初始化待标注图片的各语义标签的概率值为0，更新语义标签的概率值，直至图片中所有的元都被检索到。较佳地，上述系统中，所述部件四按照如下公式更新语义标签的概率值：p(sun|img)＝1-(1-p(sun|img))·(1-p(sun|img，(1，1)))式中：p(sun|img)——待标注图像img中被标注为sun的概率权值，其中，sun标签为图像n元对应的语义标签；p(sun|img，(1，1))——待标注图片img中，出现(1，1)的条件下，sun标签出现的概率。本专利技术还公开了一种图片语义自动标注方法，包括：针对已带有图片标注的图片数据集，构建基于n元图片的索引；对待标注图片进行预处理，提取图像n元，从所构建的基于n元图片的索引中检索所提取的图像n元对应的所有语义标签，计算所检索出的图像n元对应的语义标签的概率值；更新所有语义标签的出现概率值，按照更新后的出现概率值对所有语义标签进行排序，将出现概率值排序中达到设定值的一个或多个语义标签输出。较佳地，上述方法中，所构建的基于n元图片的索引的结构以图像n元为索引，以图像标注和图像详细信息为索引对象。较佳地，上述方法中，按照如下公式计算所检索出的图像n元对应的语义标签的概率值：式中：p(sun|img，(1，1))——待标注图片img中，出现(1，1)的条件下，sun标签出现的概率，其中，sun标签为图像n元对应的语义标签；Lweightsun——索引中(1，1)对应的sun标签的概率权值；N((1，1))——待标注图片img中(1，1)出现的个数。较佳地，上述方法中，更新所有语义标签的概率值指：初始化待标注图片的各语义标签的概率值为0，更新语义标签的概率值，直至图片中所有的元都被检索到。较佳地，上述方法中，按照如下公式更新语义标签的概率值：p(sun|img)＝1-(1-p(sun|img))·(1-p(sun|img，(1，1)))式中：p(sun|img)——待标注图像img中被标注为sun的概率权值，其中，sun标签为图像n元对应的语义标签；p(sun|img，(1，1))——待标注图片img中，出现(1，1)的条件下，sun标签出现的概率。本申请技术方案应用于图像自动语义标注中，能快速、高效的挖掘出丰富的图像语义标注。具体实施方式图1为本实施例中提取“图像词元”的过程图；图2为本实施例中图像切割以及提取n-gram的示例图；图3为基于n-gram模型的图片索引方法构建的以n-gram为索引，以语义标签和图像为索引内容索引结构的示例图；图4为本实施例中基于n-gram图片索引的图片语义自动标注流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文将结合附图对本专利技术技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。实施例1现有图像自动标注技术，往往需要进行大量的参数优化和复杂的参数学习过程，对图像语义标注的效率低下标注效果不够理想，不能适应图片规模不断扩大的新形势。为了提高图片语义自动的效率与效果，结合使用基于n-gram模型的图片索引结构，本申请人提供了一种基于n-gram图片索引结构的图片语义自动标注系统。该基于n-gram图片索引结构的图片语义自动标注系统，至少包括如下基本部件：部件一、针对已带有图片标注的图片数据集，构建基于n-gram图片的索引；具体地，部件一通过对随机选取的图片进行文本化切分，并通过k-means聚类方法学习并构建“图像词典”，然后通过已带有图片标注的图片数据集，构建基于n-gram图片索引。其中，所构建的基于n元图片的索引的结构以图像n元为索引，以图像标注和图像详细信息为索引对象。这是因为，运用贝叶斯概率方法，对以图像n-gram为索引，以图片标注和图片为索引对象的索引结构中的子索引节点中权值进行计算，即可得到语义标签与图像n-gram之间的概率关系。通过对本文档来自技高网...

【技术保护点】
1.一种图片语义自动标注系统，其特征在于，该系统包括：

【技术特征摘要】
1.一种图片语义自动标注系统，其特征在于，该系统包括：部件一、针对已带有图片标注的图片数据集，构建基于n元图片的索引；部件二、对待标注图片进行预处理，提取图像n元；部件三、从所构建的基于n元图片的索引中检索所提取的图像n元对应的所有语义标签，计算所检索出的图像n元对应的语义标签的概率值；部件四、更新所有语义标签的概率值；部件五、按照更新后的概率值对所有语义标签进行排序，将概率值排序中达到设定值的一个或多个语义标签输出；具体地，部件一通过对随机选取的图片进行文本化切分，并通过k-means聚类方法学习并构建“图像词典”，然后通过已带有图片标注的图片数据集，构建基于n元图片索引；构建“图像词典”时，首先需要通过随机选取的图片数据集学习“图像词元”，然后通过学习得到的构建“图像词典”；在“图像词典”中加入了n元项，对于任一个“图像词元”，与其相邻的n-1个“图像词元”构成一个“图像词元”序列，将所有这些“图像词元”序列都作为一个项加入“图像词典”中，同时加入其长度小于n的其他“图像词元”序列，构成“图像词典”。2.如权利要求1所述的系统，其特征在于，所述部件一构建的基于n元图片的索引的结构以图像n元为索引，以图像标注和图像详细信息为索引对象。3.如权利要求1或2所述的系统，其特征在于，所述部件三按照如下公式计算所检索出的图像n元对应的语义标签的概率值：式中：p(sun|img,(1,1))——待标注图片img中，出现(1,1)的条件下，sun标签出现的概率，其中，sun标签为图像n元对应的语义标签；Lweightsun——索引中(1,1)对应的sun标签的概率权值；N((1,1))——待标注图片img中(1,1)出现的个数。4.如权利要求3所述的系统，其特征在于，所述部件四更新所有语义标签的概率值指：初始化待标注图片的各语义标签的概率值为0，更新语义标签的概率值，直至图片中所有的元都被检索到。5.如权利要求4所述的系统，其特征在于，所述部件四按照如下公式更新语义标签的概率值：p(sun|img)＝1-(1-p(sun|img))·(1-p(sun|img,(1,1)))式中：p(sun|img)——待标注图像img中被标注为sun的概率权值，其中，sun标签为图像n元对应的语义标签；p(sun|img,(1,1))——待标注图片img中，出现(1,1)的条件下，sun标签出现的概率...

【专利技术属性】
技术研发人员：陆平，董振江，罗圣美，刘丽霞，陈清财，刘胜宇，户保田，
申请(专利权)人：中兴通讯股份有限公司，哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44