The invention discloses a method for sorting heavy image retrieval based on rank aggregation, which comprises the following steps: S1, the input query text Q, get the initial retrieval results of L, each image is extracted from the L initial search results, and then calculate the similarity of L in each image and other images of the initial search results; S2, according to the initial retrieval results in L similarity of each image and other images of the initial search results L denoise retrieved image list L '; S3, retrieved from the image list L' select one or more seed images, using weight graph based ranking method of image retrieval image list L 'the reordering by reordering results; among them, when selected from the list of L' image retrieval in multiple seed points in the image, the graph based ranking method for image retrieval in L 'list The images are reordered to obtain multiple reordering results, and the multiple reordering results are fused to obtain the final reordering results.
【技术实现步骤摘要】
一种基于排列融合的图像检索重排序方法及系统
本专利技术涉及技术图像检索重排序领域,尤其涉及一种基于排列融合的图像检索重排序方法及系统。
技术介绍
图像检索重排序是图像检索领域研究的前沿问题。该技术试图在基于文本的图像检索结果的基础上,利用返回检索图像的视觉信息进行重排序,提高图像检索性能。图像检索重排序能够同时对检索系统产生积极的影响。该技术可以高效地结合基于文本的图像检索和基于内容的图像检索的优点:先利用基于文本的检索快速从海量数据库中返回初始查询结果,然后对初始查询结果中排序靠前的一部分图像精细分析其内容,对这些图像进行重排序,以改善图像检索的结果。从用户的角度讲,图像检索重排序技术可以提升用户体验;对检索系统来说,图像检索重排序可以有效改善图像检索性能。图像重排序方法一般基于两个假设:(1)返回的初始文本查询结果中排序靠前的图像大部分都是跟查询相关的;(2)与查询相关的图像之间的相似性比较高。大部分图像重排序的方法都是从这两个假设出发,设计重排序模型。此外,由于重排序是通过挖掘图像的视觉模式来对图像初始查询结果进行改善,因此图像重排序中的两个重要环境是图像的视觉特征表达和重排序模型建立。在图像视觉特征表达方面,一般常用的特征有基于纹理的、基于形状的、基于颜色的特征。利用最广泛的是尺度旋转不变特征(ScaleInvariantFeatureTransform,SIFT),这种特征对局部遮挡和旋转等有较高的鲁棒性,因此在图像检索、图像识别等领域取得了不错的效果。然而,近年来提出的深度卷积神经网络,不依赖于人工特征提取,可以自动从大量训练数据中提取层级特征 ...
【技术保护点】
一种基于排列融合的图像检索重排序方法,其特征在于,包括以下步骤:S1、在搜索引擎上输入请求查询文本Q,得到基于请求查询文本Q的初始检索结果L,提取所述初始检索结果L中每幅图像的视觉特征,再计算出所述初始检索结果L中每幅图像与其它图像的相似度;S2、根据所述初始检索结果L中每幅图像与其它图像的相似度对所述初始检索结果L进行降噪处理后得到检索图像列表L′;S3、从所述检索图像列表L′中选取一个或多个种子点图像,并采用基于图的重排序方法对所述检索图像列表L′中的图像进行重排序得到重排序结果;其中,当从所述检索图像列表L′中选取一个种子点图像时,采用基于图的重排序方法对所述检索图像列表L′中的图像进行重排序得到重排序结果;当从所述检索图像列表L′中选取多个种子点图像时,采用基于图的重排序方法对所述检索图像列表L′中的图像进行重排序得到多个重排序结果,并对上述得到的多个重排序结果进行融合,得到最终重排序结果。
【技术特征摘要】
1.一种基于排列融合的图像检索重排序方法,其特征在于,包括以下步骤:S1、在搜索引擎上输入请求查询文本Q,得到基于请求查询文本Q的初始检索结果L,提取所述初始检索结果L中每幅图像的视觉特征,再计算出所述初始检索结果L中每幅图像与其它图像的相似度;S2、根据所述初始检索结果L中每幅图像与其它图像的相似度对所述初始检索结果L进行降噪处理后得到检索图像列表L′;S3、从所述检索图像列表L′中选取一个或多个种子点图像,并采用基于图的重排序方法对所述检索图像列表L′中的图像进行重排序得到重排序结果;其中,当从所述检索图像列表L′中选取一个种子点图像时,采用基于图的重排序方法对所述检索图像列表L′中的图像进行重排序得到重排序结果;当从所述检索图像列表L′中选取多个种子点图像时,采用基于图的重排序方法对所述检索图像列表L′中的图像进行重排序得到多个重排序结果,并对上述得到的多个重排序结果进行融合,得到最终重排序结果。2.根据权利要求1所述的基于排列融合的图像检索重排序方法,其特征在于,步骤S1中提取所述初始检索结果L中每幅图像的视觉特征,再计算出所述初始检索结果L中每幅图像与其它图像的相似度具体包括:对初始检索结果L={I1,I2,...,IN}中的图像Ii提取基于深度卷积神经网络的特征,将其表示成一个特征向量;优选地,采用在ImageNetILSVRC-2012数据集上训练好的卷积神经网络;将图片Ii输入该网络,提取第七层全连接层的4096维特征再将上述特征通过下述公式进行归一化,得到Ii的特征向量xi:其中,K是特征的维数且K=4096;由于特征的维数K较高,因此需对特征进行降维处理,优选地,采用PCA对特征进行降维处理;优选地,计算所述初始检索结果L中两幅图像Ii和Ij的相似度具体包括:计算两幅图像Ii和Ij对应特征向量间的卡方距离dij:两幅图像Ii和Ij的相似度sij按如下公式计算:其中,λ=0.5。3.根据权利要求1所述的基于排列融合的图像检索重排序方法,其特征在于,步骤S2具体包括根据所述初始检索结果L中每幅图像与其它图像的相似度对所述初始检索结果L进行降噪处理,去除所述初始检索结果L中与请求查询文本Q不相关的噪声图像,得到检索图像列表L′;优选地,采用基于相似度加权和的降噪方法对所述初始检索结果L进行降噪处理,上述降噪方法具体包括:通过公式计算所述初始检索结果L中的每幅图像Ii与所述初始检索结果L中其它图像的相似度加权以及图像Ii的置信分数ci,所述公式为:其中,N为所述初始检索结果L中图像的幅数,sij为图像Ii和图像Ij之间的相似度,μj为加权系数,且图像Ij在所述初始检索结果L中的排序越靠前μj越大;优选地,采用基于视觉降序的降噪方法对所述初始检索结果L进行降噪处理,上述降噪方法具体包括:基于视觉排序的降噪方法是利用视觉排序模型来计算每幅图像的置信分数;置信分数向量c=[c1,c2,L,cN]T中的ci对应所述初始检索结果L中第i图像Ij的置信分数,且置信分数通过下式迭代求解;c=d(S*×c)+(1-d)p;其中,c的初值设置为1/N,d为平衡参数且d=0.85,S*为对相似性矩阵S做列归一化得到的矩阵;将上式迭代达到稳定的结果c作为每幅图像的置信分数,且置信分数越高表明图像与请求查询文本Q的相关性越高,则将所述初始检索结果L中的图像按照置信分数从高至低进行排序,得到检索图像列表L′。4.根据权利要求3所述的基于排列融合的图像检索重排序方法,其特征在于,步骤S3具体包括从所述检索图像列表L′中多次选取种子点图像,且每个种子点图像对应一个重排序结果,再对得到的多个重排序结果进行融合以得到最终重排序结果;优选地,采用Borda融合方法对得到的多个重排序结果进行融合,具体包括:Borda融合是将重排序结果转化成分数后再进行融合;重排序结果中排序越靠前的图像,分数越高;具体地,重排序结果中排序为R的图像的分数s为:其中,N为重排序结果中图像的总数量;对每幅图像计算出其在多个重排序结果中的分数总和,分数总和越高表明该图像与请求查询文本Q的相关度越高;将每幅图像按照分数总和从高至低排列即得到最终重排序结果;优选地,采用Condorect融合方法对得到的多个重排序结果进行融合,具体包括:Condorect融合是采用少数服从多数的投票机制;在每次迭代过程中,选择一张图像,上述图像满足如下条件:该图像与其它图像成对比较排名,如果该图像在重排序结果中的排名比其它图像都靠前,则选取该幅图像加入融合后图像序列,同时将此图像从候选图像集中去除;在下一次迭代过程中,按照上述过程和方法再选取一张图像加入融合后图像集;如此得到最终重排序结果;优选地,采用RRF融合方法对得到的多个重排序结果进行融合,具体包括:RRF融合方法将每幅图像按照如下公式从多个重排序结果R中计算出该幅图像的排序分数,所述公式为:其中,r(Ii)为图像Ii在某个重排序结果r中的排序位置;将每幅图像按照RRFscore的大小降序排序即得到最终重排序结果。5.一种基于排列融合的图像检索重排序系统,其特征在于,包括:搜索模块...
【专利技术属性】
技术研发人员:王大勇,田新梅,胡健,夏同飞,邵善阳,汤才宝,马福运,
申请(专利权)人:安徽睿极智能科技有限公司,
类型:发明
国别省市:安徽,34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。