图像检索的视觉重排序方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种图像检索的视觉重排序方法、系统、设备及存储介质，相关方法包括：获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top

【技术实现步骤摘要】
图像检索的视觉重排序方法、系统、设备及存储介质


[0001]本专利技术涉及图像检索
，尤其涉及一种图像检索的视觉重排序方法、系统、设备及存储介质。

技术介绍

[0002]随着互联网的飞速发展和移动智能终端的普及，多媒体数据尤其是视觉数据呈现出爆炸式的增长。数十亿人在网上共享和浏览照片和视频。为了让用户能够快速地从这些多媒体数据中找到自己感兴趣的内容，多媒体检索技术受到了广泛的关注并且得到了快速的发展。在海量的数据面前，如何设计高效的检索算法一直是国内外学术届与工业界的研究热点。
[0003]图像作为多媒体数据的重要组成部分，已经成为了信息检索领域关注的重点。不同于早期的基于文本的图像检索技术，基于内容的图像检索将图像的视觉内容作为搜索的依据，更加直接的表达了用户的搜索意图，同时也可以作为文本搜索的重要补充来进一步提高搜索的性能。
[0004]图像检索任务是根据给定的查询图像在大规模图像数据库中检索得到与查询图像相关的图像。然而原始的检索结果效果可能差强人意，而图像检索重排序是一种能够有效提升检索性能的后处理方法。
[0005]检索重排序主要包括三类方法：扩展查询、基于K近邻的重排方法、基于空间验证的重排方法。
[0006]1)扩展查询方法将检索结果列表中靠前的结果的特征与查询图像特征相加，从而得到一个新的查询特征，并以此进行二次检索。该方法的缺陷在于：需要做二次检索甚至是多次检索，当数据库规模很大时，该方法会严重影响图像检索的效率。
[0007]2)基于K紧邻的重排方法通过挖掘数据库中图像间的K紧邻结构关系得到新的相关度排序。该方法的缺陷在于：依据K近邻重构的重排序方法需要在查询时构建K紧邻关系并进行相似性传播，这同样会对检索效率产生影响。
[0008]3)空间验证方法通常利用图像局部不变特征的空间上下文信息来删除错误匹配，但是该方案会严重影响检索效率。

技术实现思路

[0009]本专利技术的目的是提供一种图像检索的视觉重排序方法、系统、设备及存储介质，能够在保证重排序性能的同时保证检索系统要求的实时性，并且该方法可应用于通用的检索系统。
[0010]本专利技术的目的是通过以下技术方案实现的：
[0011]一种图像检索的视觉重排序方法，包括：
[0012]获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top
‑
k图像，选取排序靠前的L个图像作为锚点图像；
[0013]分别计算每一top
‑
k图像与锚点图像的相似性，获得相应的关联特征；
[0014]使用Transformer的编码器结构聚合所有top
‑
k图像的关联特征，并为每一top
‑
k图像更新得到一个新的关联特征；
[0015]利用每一top
‑
k图像的新的关联特征，计算与查询图像之间的相似性，并根据相似性大小获得重排序列表。
[0016]一种图像检索的视觉重排序系统，用于实现前述的方法，该系统包括：
[0017]列表获取及图像筛选单元，用于获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top
‑
k图像，选取排序靠前的L个图像作为锚点图像；
[0018]关联特征计算单元，用于分别计算每一top
‑
k图像与锚点图像的相似性，获得相应的关联特征；
[0019]关联特征更新单元，用于使用Transformer的编码器结构聚合所有top
‑
k图像的关联特征，并为每一top
‑
k图像更新得到一个新的关联特征；
[0020]重排序单元，用于利用每一top
‑
k图像的新的关联特征，计算与查询图像之间的相似性，并根据相似性大小获得重排序列表。
[0021]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0022]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0023]一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现前述的方法。
[0024]由上述本专利技术提供的技术方案可以看出，使用Transformer的编码器结构聚合top
‑
k图像的关联特征，再进行重排序，它是一种基于上下文相似性聚合的重排序方法，不仅可以具有较高的重排序性能，而且也可以满足检索系统的实时性要求。
附图说明
[0025]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0026]图1为本专利技术实施例提供的一种图像检索的视觉重排序方法的示意图；
[0027]图2为本专利技术实施例提供的一种图像检索的视觉重排序系统的示意图；
[0028]图3为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0029]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0030]首先对本文中可能使用的术语进行如下说明：
[0031]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它
性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0032]下面对本专利技术所提供的一种图像检索的视觉重排序方法进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本专利技术实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
[0033]如图1所示，一种图像检索的视觉重排序方法，主要包括如下步骤：
[0034]步骤1、获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为原检索结果的top
‑
k图像(以下简称top
‑
k图像)，选取排序靠前的L个图像作为锚点图像。
[0035]步骤2、分别计算每一top
‑
k图像与锚点图像的相似性，获得相应的关联特征。
[0036]步骤3、使用Transformer的编码器结构聚合所有重排序图像的关联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索的视觉重排序方法，其特征在于，包括：获取初次检索结果列表，选取排序靠前的k个图像进行重排序，称为top
‑
k图像，选取排序靠前的L个图像作为锚点图像；分别计算每一top
‑
k图像与锚点图像的相似性，获得相应的关联特征；使用Transformer的编码器结构聚合所有top
‑
k图像的关联特征，并为每一top
‑
k图像更新得到一个新的关联特征；利用每一top
‑
k图像的新的关联特征，计算与查询图像之间的相似性，并根据相似性大小获得重排序列表。2.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述分别计算每一top
‑
k图像与锚点图像的相似性，获得相应的关联特征表示为：其中，表示单个top
‑
k图像与单个锚点图像的相似性，l＝1，...，L。3.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述使用Transformer的编码器结构聚合所有top
‑
k图像的关联特征，并为每一top
‑
k图像更新得到一个新的关联特征包括：将所有top
‑
k图像的关联特征构成的关联特征序列A＝{a1，...，a
k
}经过全连接层后，输入至Transformer的编码器结构，所述Transformer编码器能够动态的学习聚合每个top
‑
k图像的权值，输出更新得到的新的关联特征序列Y＝{y1，...，y
k
}，其中，a、y分别为更新前、后的关联特征，角标为图像序号。4.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述查询图像为初次检索结果列表中排序第1的图像，所述top
‑
k图像与锚点图像各自构成的图像集合中均包含所述查询图像；在训练阶段，利用查询图像的新的关联特征与其他top
‑
k图像的新的关联特征的相似性计算对比损失函数以及利用top
‑
k图像更新前后的关联特征计算最小均方误差损失函数利用对比损失函数与最小均方误差损失函数构造最终的损失函数，表示为：其中，λ为损失项的权重系数。5.根据权利要求1所述的一种图像检索的视觉重排序方法，其特征在于，所述计算对比损失函数表示为：表示为：其中，1()代表指示函数，若r1与r
i
相关，则指示函数等于1，否则等于0，τ是温度系数，sim()为相似性函数；y1是查询图像r1的新的关联特征，y
i
表示top
‑
k图像r
i
的新的关联特征，2≤i≤k...

【专利技术属性】
技术研发人员：周文罡，李厚强，欧阳剑波，吴晖，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：