一种图像检索方法技术

本发明专利技术公开了一种图像检索方法，属于多媒体信息检索、模式识别等智能信息处理领域。本发明专利技术通过在初次检索后利用几何验证得到正确匹配的相关图像，将相关图像与查询图像的文档向量进行权重调整构成新的查询向量，进而得到扩展的查询，进行新的检索得到检索结果。该方法在查询向量中增加了相关图像中存在的隐性视觉单词的权重，提高了查询图像与相关匹配图像中相同视觉单词的权重从而大大提高了检索效率。

【技术实现步骤摘要】
一种图像检索方法
本专利技术属于多媒体信息检索、模式识别等智能信息处理领域。具体涉及一种用于目标检索的扩展查询检索方法。
技术介绍
基于视觉词袋模型的目标检索技术成为近年来的研究热点。视觉词袋模型预先利用训练图像的局部特征形成“视觉词表”，并利用该“视觉词表”对图像局部特征进行量化，将相似的图像局部特征近似的表示为它们的聚类中心-“视觉单词”。由此，图像被表示为一组“视觉单词”的集合。随后，人们利用倒排索引表存储图像的“视觉单词”，并利用文本检索中的TF-IDF模型对图像进行检索。由于在提取查询图像局部特征过程中的漏检和局部特征到视觉单词量化过程中的误差累积造成的视觉单词的不精准性，造成的了检索效果的不理想。学者们对此进行了诸多改进。Chum等人提出对检索后的结果进行几何验证，通过仿射变换确定前N幅检索结果中正确的M幅检索结果图像，并将此M幅图像与查询图像相结合，调整查询向量进行扩展查询，重新进行检索以提高检索效率。Philbin等人提出软量化概念，通过将每个局部特征映射成为一个加权的视觉单词集合，允许将量化阶段丢失的特征包含进来，根据局部特征空间邻近型选择词汇来获得视觉单词的集合。Yang等人利用查询目标的视觉上下文信息来补偿基于视觉词袋模型查询目标表达的不确定性。由此可见查询目标视觉单词的准确性极大的影响了检索效率。在扩展查询中利用了初次检索结果中正确匹配图像的视觉单词以扩展查询视觉单词的范围，增加了查询目标的隐性视觉单词，但是同时也增加了许多与查询目标不相关的视觉单词。参考文献1.J.Philbin，O.Chum，M.Isard，J.Sivic，andA.Zisserman.Objectretrievalwithlargevocabulariesandfastspatialmatching.InProc.CVPR，2007.2.J.SivicandA.Zisserman，VideoGoogle：ATextRetrievalApproachtoObjectMatchinginVideos，Proc.NinthInt’lConf.ComputerVision，2003，pp.1470-1478.3.DavidG.Lowe.ObjectRecognitionfromLocalScale-InvariantFeatures.TheProceedingsofthe7thIEEEInternationalConferenceonComputerVision.Corfu，Greece：IEEEComputerSocietyPress，1999：1150-1157.
技术实现思路
本专利技术的目的在于提出一种在查询过程中通过对盲反馈获取的初次检索相关图像集合进行分析，在新的查询向量中提高相关视觉单词权重并减小非相关视觉单词权重的图像检索方法来进行新的检索，以提高检索效率。本专利技术的总体思想如下：首先通过视觉词袋模型训练图像的局部特征形成“视觉词表”，并利用该“视觉词表”将图像量化成视觉单词的集合。之后，利用文本检索中的TF-IDF模型将图像库中所有图像转化成为文档向量d。在进行检索时，根据用户划定的感兴趣区域，将查询图像的感兴趣区域组成的局部特征集合转化成查询文档向量dq，与图像库中所有图像对应的文档向量进行比较排序，得到初次检索结果图像集合R。然后利用查询图像和初次检索结果中的前m幅图像进行几何验证，得到正确匹配的相关图像n幅(N＜＝M)。随后，根据查询文档向量dq与n幅相关图像文档向量d1，d2...，dn构建新的查询文档向量dq’，利用dq’与图像库中所有图像对应的文档向量进行比较排序，得到新的检索结果集合R’。具体创新点：本方法通过利用对初次检索结果进行几何验证后得到的正确匹配图像集合，结合查询图像感兴趣区域对查询向量进行调整，扩展了新查询向量中相关视觉单词的信息量，进而在新的检索中提高检索效率。本专利技术的具体方法步骤为：1提取图像库中所有图像的局部特征，每幅图像得到一个局部特征集合，所有图像的局部特征集合形成局部特征训练集合，利用视觉词袋模型从局部特征训练集合中得到视觉词表，利用视觉词表将图像转化成视觉单词集合；2利用TF-IDF模型将图像对应的视觉单词集合量化成文档向量；3结合视觉词表，利用TF-IDF模型将查询图像感兴趣区域的局部特征集合量化成查询文档向量dq；4将查询文档向量dq与图像库中所有图像对应的文档向量进行相似度匹配，得到初次检索结果图像集合R；5将查询图像与检索结果R中相似度最高的前m幅图像进行几何验证，得到正确匹配的相关图像n幅，n＜＝m；6根据查询文档向量dq与n幅相关图像的文档向量d1，d2...，dn构建新的查询文档向量dq’，公式表示如下：式中，α和β表示可调参数；表示查询文档向量dq中权重不为0的视觉单词在查询文档向量dq中的权重，表示查询文档向量dq中权重不为0的视觉单词在文档向量di中的权重，表示查询文档向量dq中权重为0的视觉单词在文档向量di中的权重；x和y分别表示和在文档向量中的数目。7利用dq’与图像库中所有图像对应的文档向量进行相似度匹配，得到新的检索结果集合R’。上述方法中，步骤4所述的相似度指两个向量间的余弦距离。上述方法中，步骤5所述的几何验证是利用随机抽样一致性来计算两幅图像之间的仿射变换矩阵，如果能够得到仿射变换矩阵，说明两幅图像满足仿射变换，即两幅图像能够正确匹配；如果得不到仿射变换矩阵，则说明两幅图像之间不存在正确匹配。附图说明图1为图像到视觉单词的转化过程流程图。图2为查询图像示例图。图3为检索系统框图。具体实施方式本实施例的技术方案如下：首先，利用视觉词袋模型将图像转化成视觉单词的集合，转化过程如图1所示。具体转化过程为：对图像进行特征检测，得到显著特征点或者显著区域，进行特征描述进而得到局部特征描述向量；对整个图像库中的图像进行特征提取并抽样即可得到局部特征集合作为特征训练集合。对特征训练集合进行k均值聚类，将每一个聚类中心作为一个“视觉单词”，所有聚类中心构成“视觉词表”。将单幅图像提取的局部特征集合进行特征量化，量化成为视觉单词的集合。量化时，将每个局部特征描述向量与视觉词表中所有视觉单词代表的特征向量进行比较，选取最相似或者距离最小的向量对应的视觉单词作为该向量的视觉单词。然后，利用TF-IDF模型对图像对应的视觉单词进行统计计算，得到每个图像对应的文档向量。文档向量可以表示为d＝{w1，w2，...，wk}，wt表示视觉单词t在量化的文档向量d中的权重，k为视觉词表的大小。具体的，每个视觉单词在其文档向量中的权重可以表示为tf(t，d)表示视觉单词在图像中出现的频率，tf(t，d)＝nd/sd，nd表示视觉单词在图像中出现的次数，sd表示该图像中总的视觉单词个数；N表本文档来自技高网...

【技术保护点】
一种图像检索方法，其特征在于，包括以下步骤：1.1提取图像库中所有图像的局部特征，每幅图像得到一个局部特征集合，所有图像的局部特征集合形成局部特征训练集合，利用视觉词袋模型从局部特征训练集合中得到视觉词表，利用视觉词表将图像转化成视觉单词集合；1.2利用TF?IDF模型将图像对应的视觉单词集合量化成文档向量；1.3结合视觉词表，利用TF?IDF模型将查询图像感兴趣区域的局部特征集合量化成查询文档向量dq；1.4将查询文档向量dq与图像库中所有图像对应的文档向量进行相似度匹配，得到初次检索结果图像集合R；1.5将查询图像与检索结果R中相似度最高的前m幅图像进行几何验证，得到正确匹配的相关图像n幅，n＜＝m；1.6根据查询文档向量dq与n幅相关图像的文档向量d1，d2，...，dn构建新的查询文档向量dq’，公式表示如下：dq′=1n+1[αΣj=0x(wqsj+Σi=1nwisj)+βΣj=0yΣi=1nwiuj]式中，α和β表示可调参数；表示查询文档向量dq中权重不为0的视觉单词在查询文档向量dq中的权重，表示查询文档向量dq中权重不为0的视觉单词在文档向量di中的权重，表示查询文档向量dq中权重为0的视觉单词在文档向量di中的权重；x和y分别表示和在文档向量中的数目。1.7利用dq与图像库中所有图像对应的文档向量进行相似度匹配，得到新的检索结果集合R’。FSA00000887542400012.tif,FSA00000887542400013.tif,FSA00000887542400014.tif,FSA00000887542400015.tif,FSA00000887542400016.tif...

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括以下步骤：1.1提取图像库中所有图像的局部特征，每幅图像得到一个局部特征集合，所有图像的局部特征集合形成局部特征训练集合，利用视觉词袋模型从局部特征训练集合中得到视觉词表，利用视觉词表将图像转化成视觉单词集合；1.2利用TF-IDF模型将图像对应的视觉单词集合量化成文档向量；1.3结合视觉词表，利用TF-IDF模型将查询图像感兴趣区域的局部特征集合量化成查询文档向量dq；1.4将查询文档向量dq与图像库中所有图像对应的文档向量进行相似度匹配，得到初次检索结果图像集合R，其中相似度指两个向量间的余弦距离；1.5将查询图像与初次检索结果图像集合R中相似度最高的前m幅图像进行几何验证，得到正确匹配的相关图像n幅，n＜＝m，其中，几何验证是利用随机抽样一致性来计算两幅图像之间的仿射变换矩阵，如果能够得到仿射变换矩阵，说明两幅图像满足仿射...

【专利技术属性】
技术研发人员：黄祥林，吕慧，曹学会，杨丽芳，张建生，张枫，韩笑，
申请(专利权)人：中国传媒大学，新华通讯社，
类型：发明
国别省市：