基于词汇树层次语义模型的图像检索方法技术

本发明专利技术公开了一种图像检索方法，基于词汇树层次语义模型实现。首先提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树，生成描述图像视觉信息的视觉词汇。并在此基础上利用Bayesian决策理论实现视觉词汇到语义主题信息的映射，进而构造了一个层次语义模型，并在此模型基础上完成了基于内容的语义图像检索算法。通过检索过程中用户的相关反馈，不仅可以加入正反馈图像扩展图像查询库，同时能够修正高层语义映射。实验结果表明，本发明专利技术的检索方法性能稳定，并且随着反馈次数的增加，检索效果明显提升。

【技术实现步骤摘要】

本专利技术涉及一种图像检索的方法，具体涉及一种基于内容的图像检索方法，尤其是一种考虑图像所包含的图像高层语义信息，并加入用户对图像内容理解和检索结果反馈的方法。
技术介绍
随着因特网和多媒体技术的迅速发展，从20世纪90年代初至今，基于内容的图像检索(CBIR)得到了广泛的研究。现有图像检索技术中，由于其使用图像纹理、颜色和形状等低层特征作为索引来对图像进行检索，而图像低层特征表达出的信息与用户对这些特征图像理解的含义存在不一致性，即语义鸿沟，所以检索效果往往不能满足用户的需求。如果检索过程中能够考虑图像所包含的图像高层语义信息，加入用户对图像内容的理解，则会是一种更贴近用户理解的图像检索。然而，目前语义检索中语义映射关系大多是通过人工标注建立，对于待检索图像中的语义信息难以获得较好的映射，并且，建立的映射关系不能随着用户检索的反馈信息自动进行修正，从而影响检索效果的提升。
技术实现思路
本专利技术的专利技术目的是提供一种，利用词汇树将图像特征与人工标注的语义特征进行关联，以实现检索过程中的自动语义映射；并实现高层语义映射的自动修正，以获得更好的检索效果，更贴近检索用户的需求。为达到上述专利技术目的，本专利技术采用的技术方案是一种图像检索方法，提供用于检索的图像库和待检索的图片，包括下列步骤(I)提取图像库中所有图片的SIFT特征，得到特征集合；(2)构建词汇树，方法是设定聚类个数K，树的深度P，对步骤⑴获得的特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树；其中，K取5 10的整数，P取3 6的整数；(3)将图像库中的图片与词汇树进行关联词汇树的叶节点个数为M=KXP,每个叶节点具有中心向量Cm，其中，m为I M的整数，将每个叶节点称为一个视觉词汇单词Wm，图像库中的总图片数为N，其中每个图片称为一个文档Fi, i是I N的整数，则文档Fi和视觉词汇单词Wm的相关度为Weight (i，m) =NUMimXidfm,式中，NUMim表示视觉词汇单词Wm在图片文档Fi中出现的次数，=lg}，Nm表示视觉词汇单词Wm —共包含的图片文档数m目；计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联；(4)设定图像库的语义主题信息集，先采用人工标注的方法将图像库中的图片分类至语义主题信息集中的各语义主题信息；再利用Bayesian统计决策理论实现视觉词汇层到语义信息层的映射，映射方法为，每个视觉词汇单词和语义主题信息间的映射概率为本文档来自技高网...

【技术保护点】
一种基于词汇树层次语义模型的图像检索方法，提供用于检索的图像库和待检索的图片，其特征在于，包括下列步骤：(1)提取图像库中所有图片的SIFT特征，得到特征集合；(2)构建词汇树，方法是：设定聚类个数K，树的深度P，对步骤(1)获得的特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树；其中，K取5～10的整数，P取3～6的整数；(3)将图像库中的图片与词汇树进行关联：词汇树的叶节点个数为M=K×P，每个叶节点具有中心向量Cm，其中，m为1～M的整数，将每个叶节点称为一个视觉词汇单词Wm，图像库中的总图片数为N，其中每个图片称为一个文档Fi，i是1～N的整数，则文档Fi和视觉词汇单词Wm的相关度为Weight(i,m)=NUMim×idfm，式中，NUMim表示视觉词汇单词Wm在图片文档Fi中出现的次数，Nm表示视觉词汇单词Wm一共包含的图片文档数目；计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联；(4)设定图像库的语义主题信息集，先采用人工标注的方法将图像库中的图片分类至语义主题信息集中的各语义主题信息；再利用Bayesian统计决策理论实现视觉词汇层到语义信息层的映射，映射方法为，每个视觉词汇单词和语义主题信息间的映射概率为：式中，qn表示当前语义主题信息，ym表示当前视觉词汇单词的中心向量，yi表示第i个视觉词汇单词的中心向量，f(yi)是第i个视觉词汇单词对应语义主题信息节点qn的图片数目与总的图像库中图片数目N的比值，G(ym,yi,δ)是Gaussian核函数，δ是平滑参数；(5)提取待查询图片的SIFT特征，得到具有n个特征点的特征向量T={t1,t2......tn}；(6)将待查询图片的SIFT特征量化到SIFT词汇树的m个视觉词汇单词上，形成一个m维的特征向量V={v1,v2......vm}，方法为：将待查询图片提取到的SIFT特征点向量对词汇树逐层的节点进行欧氏距离计算，找到每层上最相近的节点作为匹配节点；对提取到的n个特征点进行匹配操作，对于每一个视觉词汇单词节点，累计待查询图片中特征点与该节点的匹配次数NUMm，利用生成词汇树时产生的视觉词汇单词节点的值idfm，计算出待查询图片与视觉词汇单词节点的相关程度wm，最终形成一个m维的特征向量V={v1,v2......vm},其中wi=vi；(7)利用在视觉词汇层上量化后的特征向量V={v1,v2......vm}，与图像库中所有图片在视觉词汇层上量化结果进行欧氏距离计算，和每张图片V“={v1“,v2“......vn“}得到一个匹配值Wt1：Wt1=(v1-v1′)×(v1-v1′)+(v2-v2′)×(v2-v2′)+......+(vn-vn′)×(vn-vn′);(8)根据步骤(6)中计算得到的NUMm，利用所建立的主题信息语义映射的Bayesian模型，计算得到主题语义信息集合对应的概率值集合q={q1,q2......qn}，式中，n是主题语义信息的个数，qn为待查询图片属于该主题语义信息的概率；(9)对于步骤(8)中生成的集合q={q1,q2......qn}，和图像库中每张图片的语义特征q“={q1“,q2“......qn“}进行欧氏距离的计算，得到匹配值记为Wt2：Wt2=(q1-q1′)×(q1-q1′)+(q2-q2′)×(q2-q2′)+......+(qn-qn′)×(qn-qn′);(10)待查询图片与图像库中的每张图片的相似度定义为Weight=g×Wt1+Wt2，式中，g的取值范围是8～12，Weight的值越小，待查询图片与该图片越近似，检索结果排位越前，由此实现图像的检索。FDA00002325755800011.jpg,FDA00002325755800012.jpg...

【技术特征摘要】
1.一种基于词汇树层次语义模型的图像检索方法，提供用于检索的图像库和待检索的图片，其特征在于，包括下列步骤 (1)提取图像库中所有图片的SIFT特征，得到特征集合； (2)构建词汇树，方法是设定聚类个数K，树的深度P，对步骤(I)获得的特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树；其中，K取5 10的整数，P取3 6的整数； (3)将图像库中的图片与词汇树进行关联词汇树的叶节点个数为M=KXP,每个叶节点具有中心向量Cm，其中，m为I M的整数，将每个叶节点称为一个视觉词汇单词Wm，图像库中的总图片数为N，其中每个图片称为一个文档Fi, i是I N的整数，则文档Fi和视觉词汇单词Wm的相关度为Weight (i, m) =NUMimX idfm,式中，NUMim表示视觉词汇单词Wm在图片文档Fi中出现的次数，MC=lgy，Nm表示视觉词汇单词Wm—共包含的图片文档数目； 计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联； (4)设定图像库的语义主题信息集...

【专利技术属性】
技术研发人员：吴健，崔志明，张月辉，李承超，
申请(专利权)人：苏州大学，
类型：发明
国别省市：