基于图像全局和局部特征重排序的图像检索系统技术方案

本申请公开了基于图像全局和局部特征重排序的图像检索系统，包括数据存储单元、互联网单元、离线训练单元、在线查询单元和显示单元，所述离线训练单元和在线查询单元均与数据存储单元连接，所述离线训练单元和在线查询单元均与显示单元连接，所述离线训练单元和在线查询单元连接，所述数据存储单元、离线训练单元、在线查询单元和显示单元均与互联网单元连接。本申请将深度学习提取全局的特征和传统方法提取局部的特征结合起来应用到图像检索中，再利用Faiss向量进行快速查询，可以既快又好的将数据库中相同、相似的图片检索并加以排序出来。出来。出来。

【技术实现步骤摘要】
基于图像全局和局部特征重排序的图像检索系统


[0001]本申请涉及图像检索领域，尤其是基于图像全局和局部特征重排序的图像检索系统。

技术介绍

[0002]在互联网行业繁荣的当今，每天都会产生海量的图片数据，这些数据很多是原创的，也有很多是重复的图片，这些重复的图片不仅可能涉及侵占原图的版权，也会占用互联网公司的大量资源，需要将这些重复图片检索出来并进行规避和删除。
[0003]现有的图像检索方法中分为两类，一类是先用传统手动局部提取特征的方法提取特征，再做特征相似度匹配，另一类是用深度学习模型提取图像特征的方法提取特征，再做特征相似度匹配，基于传统手动局部提取特征的方法：一方面手动提取的特征难以适应于不同的场景；另一方面手动提取的特征只关注局部，当前景不同，背景相同或相似，不重复的图片往往被误检为重复。基于深度学习模型提取图像特征的方法，常使用深度学习的分类模型提取特征，最初的目的是用来进行类别分类的，可以较好地将不同类别的图片进行分类，但在同类之间的特征的相似性较大，不便于直接用作检索。因此，针对上述问题提出基于图像全局和局部特征重排序的图像检索系统。

技术实现思路

[0004]在本实施例中提供了基于图像全局和局部特征重排序的图像检索系统用于解决现有技术中的现有的图像检索方法在同类之间的特征的相似性较大，不便于直接用作检索问题。
[0005]根据本申请的一个方面，提供了基于图像全局和局部特征重排序的图像检索系统，包括数据存储单元、互联网单元、离线训练单元、在线查询单元和显示单元，所述离线训练单元和在线查询单元均与数据存储单元连接，所述离线训练单元和在线查询单元均与显示单元连接，所述离线训练单元和在线查询单元连接，所述数据存储单元、离线训练单元、在线查询单元和显示单元均与互联网单元连接；
[0006]所述离线训练单元包括获取训练图片集模块、离线特征提取模块、粗筛模型构件模块和构建映射字典表模块，所述离线特征提取模块包括第一orb特征提取模块和第一solar global特征提取模块，所述在线查询单元包括图片获取模块、在线特征提取模块、加载粗筛模型模块、粗排检索模块、加载映射字典表模块、精排模型构建模块和精排检索模块，所述在线特征提取模块包括第二orb特征提取模块和第二solar global特征提取模块。
[0007]进一步地，所述第一orb特征提取模块和第二orb特征提取模块中的orb特征全称为，Oriented Fast and Rotated Brief，且每张图片选取160个orb特征向量，每个orb特征向量的维度是32维。
[0008]进一步地，所述第一solar global特征提取模块和第二solar global特征提取模块中的solar指《SOLAR:Second
‑
Order Loss and Attention for Image Retrieval》一文
中提出的图像检索的网络模型，global特征指全局特征。
[0009]进一步地，所述粗筛模型构件模块中的粗筛模型为faiss向量粗筛模型，所述构建映射字典表模块中的字典表是键值对，其中“键”是faiss向量粗筛模型中faiss的索引项，“值”中存放了orb的特征以及训练集图片的地址。
[0010]进一步地，所述图片获取模块中的图片包括本地图片和网络图片。
[0011]进一步地，所述加载粗筛模型模块加载的粗筛模型为粗筛模型构件模块中构建好的faiss向量粗筛模型。
[0012]进一步地，所述粗排检索模块是将第二solar global特征提取模块中提取的solar global特征送入加载粗筛模型模块中的faiss向量粗筛模型进行检索，输出最匹配的top100序列，所述top100序列是查询图片同车系下和其最相似图片的序号。
[0013]进一步地，所述加载映射字典表模块加载的字典表为构建映射字典表模块中构建的字典表。
[0014]进一步地，所述精排模型构建模块先将粗排检索模块中的top100序列输入到映射字典表中进行查询，获取top100匹配图片的orb特征及top100匹配图片的地址，其中top100匹配图片orb特征用于构建faiss向量精排模型，top100匹配图片的地址用于后面的结果输出，所述faiss向量精排模型是orb160动态生成的。
[0015]进一步地，所述精排检索模块是将第二orb特征提取模块中的orb特征送入精排模型构建模块中的faiss向量精排模型中进行精排检索，得到精排top100序列，此处的查询图片orb特征的尺寸为160乘32，一共160个向量，每个向量32维。
[0016]通过本申请上述实施例，采用了离线训练单元和在线查询单元等，解决了现有的图像检索方法在同类之间的特征的相似性较大，不便于直接用作检索问题，可以既快又好的将数据库相同、相似的图片检索并加以排序出来，便于图像的检索。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0018]图1为本申请一种实施例的整体示意图；
[0019]图2为本申请一种实施例的离线训练单元示意图；
[0020]图3为本申请一种实施例的在线查询单元示意图。
[0021]图中：1、数据存储单元；2、互联网单元；3、离线训练单元；4、在线查询单元；5、显示单元；6、获取训练图片集模块；7、离线特征提取模块；8、粗筛模型构件模块；9、构建映射字典表模块；10、第一orb特征提取模块；11、第一solar global特征提取模块；12、图片获取模块；13、在线特征提取模块；14、加载粗筛模型模块；15、粗排检索模块；16、加载映射字典表模块；17、精排模型构建模块；18、精排检索模块；19、第二orb特征提取模块；20、第二solar global特征提取模块。
具体实施方式
[0022]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0023]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像全局和局部特征重排序的图像检索系统，其特征在于：包括数据存储单元(1)、互联网单元(2)、离线训练单元(3)、在线查询单元(4)和显示单元(5)，所述离线训练单元(3)和在线查询单元(4)均与数据存储单元(1)连接，所述离线训练单元(3)和在线查询单元(4)均与显示单元(5)连接，所述离线训练单元(3)和在线查询单元(4)连接，所述数据存储单元(1)、离线训练单元(3)、在线查询单元(4)和显示单元(5)均与互联网单元(2)连接；所述离线训练单元(3)包括获取训练图片集模块(6)、离线特征提取模块(7)、粗筛模型构件模块(8)和构建映射字典表模块(9)，所述离线特征提取模块(7)包括第一orb特征提取模块(10)和第一solar global特征提取模块(11)，所述在线查询单元(4)包括图片获取模块(12)、在线特征提取模块(13)、加载粗筛模型模块(14)、粗排检索模块(15)、加载映射字典表模块(16)、精排模型构建模块(17)和精排检索模块(18)，所述在线特征提取模块(13)包括第二orb特征提取模块(19)和第二solar global特征提取模块(20)。2.根据权利要求1所述的基于图像全局和局部特征重排序的图像检索系统，其特征在于：所述第一orb特征提取模块(10)和第二orb特征提取模块(19)中的orb特征全称为，Oriented Fast and Rotated Brief，且每张图片选取160个orb特征向量，每个orb特征向量的维度是32维。3.根据权利要求1所述的基于图像全局和局部特征重排序的图像检索系统，其特征在于：所述第一solar global特征提取模块(11)和第二solar global特征提取模块(20)中的solar指《SOLAR:Second
‑
Order Loss and Attention forImage Retrieval》一文中提出的图像检索的网络模型，global特征指全局特征。4.根据权利要求1所述的基于图像全局和局部特征重排序的图像检索系统，其特征在于：所述粗筛模型构...

【专利技术属性】
技术研发人员：高志成，陈坤，王琪琪，程晓杰，张磊，张元鹏，李磊，时孟旭，
申请(专利权)人：北京比特易湃信息技术有限公司，
类型：发明
国别省市：