一种结构化的图像描述方法技术

本发明专利技术属于图像检索技术领域，尤其涉及一种结构化的图像描述方法，包括：获取进行训练的图像，并对图像中每个物体构造3层树状结构标签，形成训练集；提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据；构造条件随机场模型，训练得到模型参数；对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再提取待描述图像中每个物体的低层特征；之后利用所构造的条件随机场模型(CRF)及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的树状结构标签进行预测。本发明专利技术可以提高图像与图像之间的区分度，产生更好的检索结果。

【技术实现步骤摘要】
【专利摘要】本专利技术属于图像检索
，尤其涉及，包括：获取进行训练的图像，并对图像中每个物体构造3层树状结构标签，形成训练集；提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据；构造条件随机场模型，训练得到模型参数；对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再提取待描述图像中每个物体的低层特征；之后利用所构造的条件随机场模型(CRF)及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的树状结构标签进行预测。本专利技术可以提高图像与图像之间的区分度，产生更好的检索结果。【专利说明】所属
本专利技术属于图像检索
，尤其涉及。
技术介绍
使用更加丰富的语义信息来描述一幅图像无论对理解该图像还是从Web上面检索该图像都是及其重的。一方面，当面对一幅新的图像时，人们首先想知道的是图像中的物体属于哪个类(比如是一种动物还是一种交通工具)，当获取到它的类信息后，更进一步人们想知道它是属于哪个子类(属于鸟类，还是属于猫科动物)，此外，每种物体都具有自己特有的属性信息，比如是否具有羽毛，是否会飞，是否食肉等等。通过这些信息，人们可以从多个角度更加精确的来理解一幅图像，同时获取到更多关于图像中物体的知识。另一方面，在图像检索领域，由于计算机是使用低层特征来表示一幅图像的，这样由计算机给出的检索结果并不能很好的匹配用户的检索意图，为了克服图像检索领域存在的这种“语义鸿沟”，也需要我们使用更加丰富更加精确的语义信息来描述一幅图像。在过去的几年中已经涌现出了各种各样的图像描述方法，比如使用单个标签来描述图像中的物体属于动物还是植物，这种描述方法虽然指定了图像中物体的类别，但是所蕴含的信息非常有限，为了克服这个缺点，人们就创建一个标签库，然后选取标签库中与之相关的多个标签来描述图像中的某个物体，但是标签库毕竟有限，不可能覆盖自然界中的所有物体，于是就产生了基于属性的图片描述方法，这类方法使用物体的属性信息，比如是否会飞，是否有羽毛等去描述一幅图像，这样做的好处是即使遇到了一幅没有见过的图像，人们依然可以使用一些基本的属性信息去描述它，从而获取对图像的一些感性认识。不管这些图像描述方法是从什么角度，使用什么信息来描述图像的，他们的目标都是为了获取图像中更加丰富的语义信息。
技术实现思路
本专利技术的目的是提供一种的新的结构化图像描述方法，使用一个3层的树状结构语义标签来描述一幅图像，从而使描述图像的内容更加丰富。本专利技术提出的结构化的图像描述方法包括如下步骤:第一步，获取进行训练的图像，并对图像中每个物体构造3层树状结构标签，形成训练集:(I)获取进行训练的图像，构建图像集合IMG ；(2)使用图像分割算法分割出集合IMG中每幅图像中所包含的物体，构成物体集合 OBJ ；(3)对集合OBJ中的每个物体进行标注，标注的内容包括物体所属的类，子类以及具有的属性，形成类集合CLASS，子类集合SUBCLASS以及属性集合ATTRIBUTE ；(4)根据标注信息对集合OBJ中的每个物体构造包括类-子类-属性3层树状结构标签，形成与OBJ相对应的标签集合Y，两个集合的元素一一对应；(5)类集合CLASS中有很多相同的元素，顺序扫描CLASS中的每个元素，相同的元素只保留一个，形成候选的类集合Cla，对其子类集合SUBCLASS和属性集合ATTRIBUTE做相同的扫描，得到候选的子类集合Subcl和候选的属性集合Attri ；(6)构造包括:物体集合0BJ，标签集合Y，候选的类集合Cla，候选的子类集合Subcl以及候选的属性集合Attri的训练集Tr。第二步，提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据的步骤如下:(I)提取物体集合OBJ中每个物体的局部二值模式特征(LBP)特征，构造特征集合X；(2)根据特征集合X和类集合CLASS，训练得到集合Cla中每个元素Wi的SVM分类器SVM_Wi，构成与类相对应的分类器集合Sw，同理，根据特征集合X和子类集合SUBCLASS，训练得到子类集合Subcl中每个元素\的SVM分类器SVM_\，构成与子类相对应的分类器集合Sv,根据特征集合X和属性集合ATTRIBUTE，训练得到集合Attri中每个元素Uk的SVM分类器SVM_uk，构成与属性相对应的分类器集合Su ；(3)在训练集Tr上计算分类器集合Su中每个分类器SVM_uk的查准率和查全率曲线(PR曲线)，根据该PR曲线得到分类器SVM_uk的阈值threk，构成与Su对应的阈值集合Threshold ；(4)在训练集Tr上统计候选的类集合Cla中的每一个元素Wi和候选的子类集合Subcl中每一个元素Vj的共现概率Pij,即标签集合Y中同时具有Wi和Vi的物体数量占OBJ中总物体数N111的比例；在训练集Tr上统计候选的子类集合Subcl中每一个元素Vi和候选的属性集合Attri中每一个元素Uk的共现概率gjk(即集合Y中同时具有Uk和Vi的物体数量占OBJ中总物体数Nm的比例)，此外，在训练集Tr上统计含有候选的子类集合Subcl中元素Vi但不含有候选的属性集合中元素Uk的概率q#(即集合Y中具有Vi但没有Uk的物体数量占OBJ中总物体数Nni的比例)；(5)构造包含:分类器集合Sw, Sv, Su,阈值集合Threshold,概率统计数据Pij, gjk(j=I,..., Nv, k = I,..., Nu), qJk的中间数据，以备下一步建模使用。第三步，构造条件随机场模型(CRF)，训练得到模型参数；第四步，对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再按照前述的第二步的方法，提取待描述图像中每个物体的低层特征；之后，利用第三步构造的条件随机场模型(CRF)及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的3层树状结构标签进行预测。本专利技术使用一个3层的树状结构语义单元来描述图像，从该语义单元中，用户不光可以获取到图像中物体所属的类和具体的子类信息，而且可以获取到图像中物体具有的属性信息，从而产生对图像内容更加丰富和更加精确的描述，这样可以提高图像与图像之间的区分度，方便在图像检索时消除语义鸿沟，产生更好的检索结果，同时本专利技术亦提供给了用户一种更加直观的图像内容的展示方法，即以一个3层树状结构来组织图像的类，子类，属性信息，方便用户更加容易的理解图像。【专利附图】【附图说明】图1:CRF模型结构示意图。图2:本专利技术使用的训练集中的若干例子，其中第一行的图像为从网络上下载的自然图像，其中的物体已经使用矩形框标出。第二行为每个物体相对应的3层树状结构标签。图3左图为自然图像，其中需要描述的物体已经使用矩形框标出，右图为使用本专利技术提出的专利技术预测出的3层树状结构语义标签。图4左图为自然图像，其中需要描述的物体已经使用矩形框标出，右图为使用本专利技术提出的专利技术预测出的3层树状结构语义标签。【具体实施方式】这里选取两幅图像作为待描述图像，分别为图3，图4中左边的图像，使用本专利技术中描述的方法对其进行预测输出3层树本文档来自技高网...

【技术保护点】
一种结构化的图像描述方法,包括下列步骤：第一步，获取进行训练的图像，并对图像中每个物体构造3层树状结构标签，形成训练集：(1)获取进行训练的图像，构建图像集合IMG；(2)使用图像分割算法分割出集合IMG中每幅图像中所包含的物体，构成物体集合OBJ；(3)对集合OBJ中的每个物体进行标注，标注的内容包括物体所属的类，子类以及具有的属性，形成类集合CLASS，子类集合SUBCLASS以及属性集合ATTRIBUTE；(4)根据标注信息对集合OBJ中的每个物体构造包括类?子类?属性3层树状结构标签，形成与OBJ相对应的标签集合Y，两个集合的元素一一对应；(5)类集合CLASS中有很多相同的元素，顺序扫描CLASS中的每个元素，相同的元素只保留一个，形成候选的类集合Cla，对其子类集合SUBCLASS和属性集合ATTRIBUTE做相同的扫描，得到候选的子类集合Subcl和候选的属性集合Attri；(6)构造包括：物体集合OBJ，标签集合Y，候选的类集合Cla，候选的子类集合Subcl以及候选的属性集合Attri的训练集Tr。第二步，提取训练集中图像每个物体的低层特征，训练得到所有候选的类，子类以及属性相对应的分类器，形成下一步建模所需要的中间数据的步骤如下：(1)提取物体集合OBJ中每个物体的局部二值模式特征（LBP）特征，构造特征集合X；(2)根据特征集合X和类集合CLASS，训练得到集合Cla中每个元素wi的SVM分类器SVM_wi，构成与类相对应的分类器集合Sw，同理，根据特征集合X和子类集合SUBCLASS，训练得到子类集合Subcl中每个元素vj的SVM分类器SVM_vj，构成与子类相对应的分类器集合Sv，根据特征集合X和属性集合ATTRIBUTE，训练得到集合Attri中每个元素uk的SVM分类器SVM_uk，构成与属性相对应的分类器集合Su；(3)在训练集Tr上计算分类器集合Su中每个分类器SVM_uk的查准率和查全率曲线(PR曲线)，根据该PR曲线得到分类器SVM_uk的阈值threk，构成与Su对应的阈值集合Threshold；(4)在训练集Tr上统计候选的类集合Cla中的每一个元素wi和候选的子类集合Subcl中每一个元素vj的共现概率pij，即标签集合Y中同时具有wi和vi的物体数量占OBJ中总物体数Nm的比例；在训练 集Tr上统计候选的子类集合Subcl中每一个元素vi和候选的属性集合Attri中每一个元素uk的共现概率gjk，即集合Y中同时具有uk和vi的物体数量占OBJ中总物体数Nm的比例，此外，在训练集Tr上统计含有候选的子类集合Subcl中元素vi但不含有候选的属性集合中元素uk的概率qjk，即集合Y中具有vi但没有uk的物体数量占OBJ中总物体数Nm的比例；(5)构造包含：分类器集合Sw，Sv，Su，阈值集合Threshold，概率统计数据pij，gjk，qjk的中间数据，以备下一步建模使用。第三步，构造条件随机场模型(CRF)，训练得到模型参数；第四步，对于待描述图像，首先进行图像分割，分割出待描述图像中包含的物体，再按照前述的第二步的方法，提取待描述图像中每个物体的低层特征；之后，利用第三步构造的条件随机场模型(CRF)及训练得到模型参数，采用使用最大积信念传播算法，对待描述图像中每个物体的3层树状结构标签进行预测。...

【技术特征摘要】

【专利技术属性】
技术研发人员：韦星星，韩亚洪，操晓春，
申请(专利权)人：天津大学，
类型：发明
国别省市：