一种基于GPU并行运算的以图搜图系统及方法技术方案

本发明专利技术涉及一种基于GPU并行运算的以图搜图系统及方法，包括图片上传模块、目标检测模块、特征提取模块、聚类索引模块、三级缓存模块、并行检索模块。本发明专利技术可基于海量图片数据，使用特征提取算法和聚类算法对数据进行聚类梳理建立索引，并通过基于并行运算的高速检索算法为用户提供高速搜图功能，实现对上百亿图片数据的秒内搜索。

A system and method of searching image by graph based on GPU parallel operation

【技术实现步骤摘要】
一种基于GPU并行运算的以图搜图系统及方法
本专利技术涉及大数据检索领域，具体来说，涉及一种基于GPU并行运算的以图搜图系统及方法。
技术介绍
用户在日常工作中经常需要对图片、照片等线索进行排查，但要在海量的数据库中进行图片搜索是一个技术挑战，而且现有搜索技术的时间效率也比较差，单次搜索的时间往往需要十秒以上甚至数十秒。用户在进行图像视频检索时通常需要多次检索，而搜索的响应速度就成了影响效率的重要因素。在这一背景下，需要搭载一个集成目标检测、特征提取等人工智能算法和基于图形计算单元（以下简称GPU）并行运算的高速检索技术的以图搜图系统，为用户提供多种基于不同条件的搜索功能，进而大大提升海量图片数据库的检索效率和用户的日常工作效率。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的上述技术问题，本专利技术提出一种基于GPU并行运算的以图搜图系统及方法，可基于海量图片数据，使用特征提取算法和聚类算法对数据进行聚类梳理建立索引，并通过基于并行运算的高速检索算法为用户提供高速搜图功能，实现对上百亿图片数据的秒内搜索。为实现上述技术目的，本专利技术的技术方案是这样实现的：一种基于GPU并行运算的以图搜图系统，包括：图片上传模块，用于将待搜索图片上传到系统中；目标检测模块，用于对上传的图片进行检测和分割；特征提取模块，用于对待搜索图片进行特征提取，并将图片抽象化成高维向量；聚类索引模块，用于对图片库中未整理过的图片向量按照不同聚类类别分别进行聚类并建立一级索引，然后对结果再次进行聚类并建立二级索引；三级缓存模块，用于将所述的一级索引和二级索引分别预加载在内存和显存中，并将向量放在SSD固态硬盘上等待读取；并行检索模块，用于依照所述的二级索引、一级索引、向量的顺序进行搜索，得到与待搜索图片最相似的搜索结果。优选的，根据权利要求1所述的一种基于GPU并行运算的以图搜图系统，其特征在于，用户上传图片格式为jpg、png。优选的，所述目标检测模块将图片中人、车、物分割作为候选搜索目标，另外，图片整体同样也作为候选搜索目标。优选的，特征提取时将图片送入预训练好的模型来获取向量结果。优选的，所述聚类类别包括图片时间、拍摄地点以及图片类别。一种基于GPU并行运算的以图搜图方法，包括以下步骤：S1、将待搜索图片上传到系统中；S2、对上传的图片进行检测和分割；S3、对待搜索图片进行特征提取，并将图片抽象化成高维向量；S4、对图片库中未整理过的图片向量按照不同聚类类别分别进行聚类并建立一级索引，然后对结果再次进行聚类并建立二级索引；S5、将一级索引和二级索引分别预加载在内存和显存中，并将向量放在SSD固态硬盘上等待读取；S6、依照二级索引、一级索引、向量的顺序进行搜索，得到与待搜索图片最相似的搜索结果。优选的，用户上传图片格式为jpg、png。优选的，S4步骤将图片中人、车、物分割作为候选搜索目标，另外，图片整体同样也作为候选搜索目标。优选的，特征提取时将图片送入预训练好的模型来获取向量结果。优选的，所述聚类类别包括图片时间、拍摄地点以及图片类别。本专利技术的有益效果：1.提升了海量图片数据库的利用率，梳理图片数据并提供高速检索功能；2.提升了搜图等操作的效率，大量减少用户在检索图片时需要耗费的时间；3.设计独特并行检索算法充分使用机器性能，进行同样数据量的搜索时，比传统搜索快数十甚至上百倍，这个搜索算法除了在本系统中使用，也可以用于其他有搜索需求的场景。相比旧有技术，在搜索效率上的提升是突破性的。4.对海量图片数据构建多级索引，优化数据存储结构，能够充分发挥了并行检索算法的优势，实现了高效的数据整理和搜索。5.设计三级缓存的存储方式，配合GPU并行检索技术，最大化利用了机器有限的硬件性能，最小化搜索时的数据传输时间和响应时间，极大增强用户体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例所述的一种基于GPU并行运算的以图搜图系统模块运行流程框图。图2是根据本专利技术实施例所述的一种基于GPU并行运算的以图搜图系统在线服务流程图。图3是根据本专利技术实施例所述的一种基于GPU并行运算的以图搜图系统基于三级缓存的搜索流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，根据本专利技术实施例所述的一种基于GPU并行运算的以图搜图系统，一种基于GPU并行运算的以图搜图系统，包括：图片上传模块，用于将待搜索图片上传到系统中；目标检测模块，用于对上传的图片进行检测和分割；特征提取模块，用于对待搜索图片进行特征提取，并将图片抽象化成高维向量；聚类索引模块，用于对图片库中未整理过的图片向量按照不同聚类类别分别进行聚类并建立一级索引，然后对结果再次进行聚类并建立二级索引；三级缓存模块，用于将所述的一级索引和二级索引分别预加载在内存和显存中，并将向量放在SSD固态硬盘上等待读取；并行检索模块，用于依照所述的二级索引、一级索引、向量的顺序进行搜索，得到与待搜索图片最相似的搜索结果。根据本专利技术实施例所述的一种基于GPU并行运算的以图搜图方法，包括以下步骤：图片上传、目标检测、特征提取、分类多级聚类索引、三级缓存、GPU并行检索。上述步骤具体如下：图片上传/以图搜图用户将标准格式（如jpg、png等）的待搜索图片上传到系统中，以对图片进行整图搜索或选择人、车、物等类型搜索目标。同时对于数据库中有文本/标签信息的数据，用户还可以进行文本或标签的搜索，也可以在搜图的同时附加其他条件，包括时间地点属性等。单机服务器对于可接入的最大数据量，搜索都可以做到秒级返回结果。提供的在线搜索服务流程图见附图2。目标检测主要是对用户上传的大图进行检测和分割，获得图片中的人、车、物等目标及相关信息。目标检测模块接收到图片后，送入预训练好的目标检测模型，获得每张图片中的人、车、物等目标列表和在图片中对应的位置，然后给前端返回图片中的目标和位置，然后对原图片进行切割，切出来的人、车、物等目标作为候选搜索目标由用户选择。用户也可以不选择人、车、物等搜索，而是整图搜索。用户选择的搜索类别不同，决定了系统将在不同的图片库中进行检索。特征提取/图片向量化主要是对待搜索的图片进行特征提取，将每张图片抽象化成本文档来自技高网...

【技术保护点】
1.一种基于GPU并行运算的以图搜图系统，其特征在于，包括：/n图片上传模块，用于将待搜索图片上传到系统中；/n目标检测模块，用于对上传的图片进行检测和分割；/n特征提取模块，用于对待搜索图片进行特征提取，并将图片抽象化成高维向量；/n聚类索引模块，用于对图片库中未整理过的图片向量按照不同聚类类别分别进行聚类并建立一级索引，然后对结果再次进行聚类并建立二级索引；/n三级缓存模块，用于将所述的一级索引和二级索引分别预加载在内存和显存中，并将向量放在SSD固态硬盘上等待读取；/n并行检索模块，用于依照所述的二级索引、一级索引、向量的顺序进行搜索，得到与待搜索图片最相似的搜索结果。/n

【技术特征摘要】
1.一种基于GPU并行运算的以图搜图系统，其特征在于，包括：
图片上传模块，用于将待搜索图片上传到系统中；
目标检测模块，用于对上传的图片进行检测和分割；
特征提取模块，用于对待搜索图片进行特征提取，并将图片抽象化成高维向量；
聚类索引模块，用于对图片库中未整理过的图片向量按照不同聚类类别分别进行聚类并建立一级索引，然后对结果再次进行聚类并建立二级索引；
三级缓存模块，用于将所述的一级索引和二级索引分别预加载在内存和显存中，并将向量放在SSD固态硬盘上等待读取；
并行检索模块，用于依照所述的二级索引、一级索引、向量的顺序进行搜索，得到与待搜索图片最相似的搜索结果。


2.根据权利要求1所述的一种基于GPU并行运算的以图搜图系统，其特征在于，用户上传图片格式为jpg、png。


3.根据权利要求1所述的一种基于GPU并行运算的以图搜图系统，其特征在于，所述目标检测模块将图片中人、车、物分割作为候选搜索目标，另外，图片整体同样也作为候选搜索目标。


4.根据权利要求1所述的一种基于GPU并行运算的以图搜图系统，其特征在于，特征提取时将图片送入预训练好的模型来获取向量结果。


5.根据权利要求1所述的一种基于GPU并行运算的以图搜图系统，其特征在于，所述聚类类别包括图片时...

【专利技术属性】
技术研发人员：徐英浩，于伟，
申请(专利权)人：北京睿企信息科技有限公司，日照睿安信息科技有限公司，
类型：发明
国别省市：北京;11