图像内容语义标注方法技术

本发明专利技术公开了一种图像内容语义标注方法。它将图像处理技术和机器学习技术以及自然语言处理等相关技术结合起来实现对图像内容的语义标注：利用图像处理、机器学习和自然语言语义处理等技术，将图像视觉特征的语义标注术和图像文本特征语义标注结合起来对图像内容进行语义标注；同时还支持根据具体用户的标注特点校正底层的标注映射规则库，使得标注结果更加符合具体用户的标注需求。本发明专利技术的图像内容语义标注方法能够广泛应用于需要进行图像检索的各个应用当中，它提高了现存图像内容标注方法的标注精确度并且拓展了它的适用范围，直接为图像检索方法的改进提供了有力的推动。

【技术实现步骤摘要】

本专利技术涉及一种图像标注的，特别涉及使用图像处理技术、自然语言处理技术和机器学习技术，利用图像内容的视觉特征和相关文本等属性信息对图像内容进行语义标注。
技术介绍
近年来随着日益改进的数字图象技术以及因特网的简易可用性，数字图像的普及性正在迅速增长，每天有越来越多的数字图象变为可用。设计一个能够快速准确地检索用户需要的图像的方法有着巨大的现实意义。目前主要有两种图像检索方式。一种是基于图像关键字的检索，另一种是基于内容的图像检索CBIR，它们之间的差别在于图像内容的标注方式不同。被应用于图像关键字检索的图像关键字标注目前主要有两种方法生成一个或多个人手工选择的关键字标注、图像关键字标注自动生成装置自动生成。1)人工生成图像关键字标注是早期图像检索方法中的主要方法，与图像关键字标注自动生成方法相比有精确度高的特点。但是人工生成图像关键字标注方法主要有两个缺点一是需要手工检查并且仔细标注每一图像，这些步骤需要大量的劳动且成本非常高，尤其是随着因特网的普及和数字图像规模越来越大的情况下；二是不同的用户由于各自的世界观和专业领域知识，对于相同的图像的内容有着各自的理解因而对图像做出不同的语义标注，这导致了图像内容语义标注的不一致性。2)图像关键字标注自动生成装置主要是利用除图像内容之外的其它属性信息来生成图像关键字标注。目前图像关键字自动标注方法主要针对因特网等一些附带丰富文本等相关信息的图像。这个方法和手工方法相比最大的优势是不需要人工干涉，缺点是图像的精确度相对于手工方式来说比较低。近年来一些使用基于图像内容的图像检索的图像管理系统开始形成。通常，基于图像内容的图像检索系统抽取图像的颜色、纹理和形状等视觉特征作为图像内容的标注，图像检索的时候查找出和被检索图像视觉特征近似的一个或多个图像当作检索结果返回。为抽取图像的视觉特征并且通过计算图像之间视觉特征相似度需要进行大规模的计算，而且基于图像内容的图像检索系统抽取出的视觉特征对于人来说是不可辨别的，不具备视觉上和语义上的可辨性，因此很难对图像检索条件进行描述。由此，需要专利技术一种使用范围广泛、易于计算和精确度高的图像内容的语义标注的方法。
技术实现思路
本专利技术的目的在于提供一种使用范围广泛、易于计算和精确度高的图像内容的语义标注方法。本专利技术中的应用自然语言语义处理技术把图像视觉特征语义标注方法和图像文本特征语义标注方法结合在一起对图像内容进行语义标注。不同的用户对于完全相同的图像内容的理解存在差异性，与此对应的图像内容语义标注也随着用户的不同而存在差异性，但是通过图像内容语义标注学习接口，本专利技术中的利用机器学习和自然语言处理相关技术，可以为特定用户建立起图像内容语义标注偏好模型，使图像内容语义标注结果更加接近具体用户的标注偏好。本专利技术解决其技术问题采用的技术方案如下1.本专利技术中的步骤是，1)首先，通过图像语义标注接口将图像原始数据输入图像数据处理层，抽取出图像视觉特征数据和图像文本特征数据；2)其次，将步骤1)抽取出的图像视觉特征数据输入图像视觉特征标注层，这个模块能够完成以下的功能首先访问预先建立的图像视觉特征标注映射规则库，抽取出和图像视觉特征相符的映射规则，然后访问图像内容语义标注映射存储层，从中取出和映射规则对应的标注作为图像视觉特征的语义标注；3)再次，将步骤1)抽取出的图像文本特征数据输入图像文本特征标注层，这个模块利用自然语言语义处理层中的自然语言语义处理技术抽取出图像文本特征数据的语义标注；4)最后，在图像内容语义标注层，使用自然语言语义处理技术，把图像视觉特征的语义标注和图像文本特征的语义标注融合起来作为图像内容语义标注输出，经过一个是否为学习模式的条件判断如果处于学习模式下，将语义标注结果反馈给标注映射规则学习层；如果不是处于学习模式下，将语义标注结果输出给用户。2.本专利技术中的用户图像内容语义标注偏好模型学习步骤是1)首先，由权利要求1的步骤4)计算得到的图像内容的语义标注经过一个是否为学习模式的条件判断，在学习模式下被输入到标注映射规则学习层中；2)其次，用户通过映射规则学习接口输入用户自定义的图像内容语义标注数据；3)再次，在标注映射规则学习层中，计算步骤1)中得到的标注结果和步骤2)中用户输入的自定义标注结果之间的差异性，如果差异性较大，使用相关机器学习技术创建相应的标注映射规则或者是校正标注映射规则库中相应的标注映射规则；4)重复执行步骤1)至步骤3)，直到步骤3)中的差异性很小，或者是达到预定的迭代上限，最后将具有用户偏好的语义标注映射存储在图像内容语义标注映射存储层当中。本专利技术和传统的图像内容标注方法相比，具有的有益效果是本专利技术在保持直接使用图像视觉特征作为标注时具备的准确度高的优点的同时，通过直接将视觉特征映射到关键字有效地解决了其计算复杂度高的缺陷和图像视觉特征作为标注时的视觉上和语义上的不可辨别性。本专利技术对图像数据进行粗加工得到了图像视觉特征数据和图像文本特征数据，然后利用机器学习技术和图像处理技术从图像视觉特征中得到图像视觉特征语义标注，利用自然语言处理技术从图像文本特征数据和图像视觉特征语义标注中得到图像内容语义标注。由于充分利用了图像数据信息，提高了现存的图像内容标注的精确度。本专利技术方法具备有效的学习功能，能够建立起与具体用户对于图像进行语义标注时的偏好相一致的标注映射规则以满足不同用户的标注需求，这使得本专利技术中的具有更好的健壮性和更加广泛的适用性。附图说明附图是的整体框架的图形表示。具体实施例方式本专利技术的提供用户两个功能图像内容语义标注功能和用户图像内容语义标注偏好学习功能。用户图像内容语义标注偏好学习功能是对图像内容语义标注功能的补充和完善。1.图像内容语义的实施步骤如附图所示本专利技术的当执行图像标注时有四个步骤图像原始数据处理、图像视觉特征数据语义标注、图像文本特征数据语义标注和图像内容语义标注。1)首先，利用本专利技术的的图像标注接口将相关图像原始数据输入图像数据处理层以抽取出图像视觉特征数据和图像文本特征数据a)抽取图像原始数据的颜色特征、纹理特征和形状特征作为图像视觉特征数据。图像的颜色特征有多种表示方式，例如采用颜色直方图、颜色矩阵或者颜色相关图表示。类似的图像的纹理可以采用Tamura纹理、自回归纹理或者共生矩阵纹理特征表示，而形状特征可以采用傅立叶描述符方法或者是形状无关矩阵方法描述。但是在本专利技术的方法中不关注于具体采用哪种方式生成这些特征值或者采用哪种形式表现这些特征值，只要这些特征值能够准确的描述图像相应的内容和被有效地应用于本专利技术中的图像标注方法即可；b)使用各种语义词典可以将具备有语义性质的语义文本特征抽取出来形成图像文本特征数据，这个步骤可以将许多干扰文本过滤掉，提高后续标注工作的精确度和效率。针对英语语义词典可以采用WordNet，而针对中文语义词典可以采用HowNet；2)其次，将步骤1)抽取的图像视觉特征数据输入图像视觉特征标注层。这个模块能够访问一个预先建立的图像视觉特征的标注映射规则库，取出和当前图像视觉特征一致的标注映射规则，这时图像视觉特征数据被转化成了若干对应的标注映射规则，之后根据这些标注映射规则，访问图像内容语义标注映射存储层，得到和映射规则对应的标注作为图像视本文档来自技高网...

【技术保护点】
一种图像内容语义标注方法，其特征在于：１）首先，通过图像语义标注接口将图像原始数据输入图像数据处理层，抽取出图像视觉特征数据和图像文本特征数据；２）其次，将步骤１）抽取出的图像视觉特征数据输入图像视觉特征标注层，这个模块能够 完成以下的功能：首先访问预先建立的视觉特征标注映射规则库，抽取出和图像视觉特征相符的映射规则，然后访问图像内容语义标注映射存储层，从中取出和映射规则对应的标注作为图像视觉特征的语义标注；３）再次，将步骤１）抽取出的图像文本特征数据输 入图像文本特征标注层，这个模块利用自然语言语义处理层中的自然语言语义处理技术抽取出图像文本特征数据的语义标注；４）最后，在图像内容语义标注层，使用自然语言语义处理技术，把图像视觉特征的语义标注和图像文本特征的语义标注融合起来作为图像 内容语义标注输出，经过一个是否为学习模式的条件判断：如果处于学习模式下，将语义标注结果反馈给标注映射规则学习层；如果不是处于学习模式下，将语义标注结果输出给用户。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈纯，卜佳俊，黄鹏，刘康苗，康志明，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]