分布式检索方法、装置、系统、计算机设备及存储介质制造方法及图纸

本申请实施例公开了一种分布式检索方法、装置、系统、计算机设备及存储介质，属于分布式技术领域，本申请实施例能够接收接入节点转发的检索请求，在至少两个显存块中查找与待检测特征相匹配的匹配特征，该显存块是具有固定长度的物理存储单元，向接入节点返回检索结果，该检索结果用于指示与待检测特征匹配的特征。由于本申请实施例中的检索节点中包括至少两个显存块，至少两个显存块之间采用块链式结构分配缓存空间，则特征在显存块中能够连续存储，克服了相关技术中由于删除造成的存储空洞带来的数据离散的问题，在特征进行并行比对时，提高了匹配与待检测特征的效率，提高了分布式检索系统的性能。

Distributed retrieval method, device, system, computer equipment and storage medium

【技术实现步骤摘要】
分布式检索方法、装置、系统、计算机设备及存储介质
本申请实施例涉及分布式
，特别涉及一种分布式检索方法、装置、系统、计算机设备及存储介质。
技术介绍
随着社交应用的用户上传的大量图像，众多的图像数据需要存储在云端。在一种应用场景中，图像数据需要提取特征，并将图像特征予以保存。相关技术中，图像检索技术能够从众多图像特征中获取与待检测特征相匹配的匹配特征。在该技术中，待检测特征将与众多图像特征进行批量的逐一比对，直至获取与该特征匹配的检索结果。由于相关技术中使用数组的结构存储图像特征，因此，当数组中的特征被删除时，数组将出现数据空洞，造成待检测特征与图像特征比对的效率下降。
技术实现思路
本申请实施例提供了一种分布式检索方法、装置、计算机设备及存储介质，可以用于解决当数组中的特征被删除时，数组将出现数据空洞，造成待检测特征与图像特征比对的效率下降的问题。所述技术方案如下：根据本申请的一方面内容，提供了一种分布式检索方法，应用于检索节点中，所述检索节点中包括至少两个显存块，至少两个所述显存块之间采用块链式结构分配缓存空间，所述方法包括：接收接入节点转发的所述检索请求，所述检索请求用于指示待检测特征；在至少两个所述显存块中查找与所述待检测特征相匹配的匹配特征，所述显存块是具有固定长度的物理存储单元，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应；向所述接入节点返回检索结果，所述检索结果用于指示与所述匹配特征。根据本申请的另一方面内容，提供了一种分布式检索方法，应用于接入节点中，所述方法包括：接收分布式检索的系统外部的检索请求，所述检索请求用于指示待检测特征；向检索节点转发所述检索请求；接收所述检索节点返回的检索结果，所述检索结果用于指示与所述待检测特征匹配的特征，所述检索结果是所述检索节点在至少两个显存块中查找到与所述待检测特征相匹配的匹配特征，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应，所述显存块与所述检索节点中的其它所述显存块用块链式结构分配缓存空间；向发起所述检索请求的对象提供所述检索结果。根据本申请的另一方面内容，提供了一种分布式检索的系统，所述系统包括：接入节点，用于接收系统外部的检索请求，所述检索请求用于指示待检测特征；检索节点，用于接收所述接入节点转发的所述检索请求；所述检索节点，用于在至少两个显存块中查找与所述待检测特征相匹配的匹配特征，所述显存块是具有固定长度的物理存储单元，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应，所述显存块与所述检索节点中的其它所述显存块用块链式结构分配缓存空间；所述检索节点，用于向所述接入节点返回检索结果，所述检索结果用于指示与所述待检测特征匹配的特征；所述接入节点，用于提供所述检索结果。根据本申请的另一方面内容，提供了一种分布式检索装置，应用于检索节点中，所述检索节点中包括至少两个显存块，至少两个所述显存块之间采用块链式结构分配缓存空间，所述装置包括：第一接收单元，用于接收接入节点转发的所述检索请求，所述检索请求用于指示待检测特征；特征查找单元，用于在至少两个显存块中查找与待检测特征相匹配的匹配特征，所述显存块是具有固定长度的物理存储单元，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应；结果返回单元，用于向所述接入节点返回检索结果，所述检索结果用于指示所述匹配特征。根据本申请的另一方面内容，提供了一种分布式检索装置，应用于接入节点中，所述装置包括：第三接收单元，用于接收分布式检索的系统外部的检索请求，所述检索请求用于指示待检测特征；特征转发单元，用于向检索节点转发所述检索请求；结果接收单元，用于接收所述检索节点返回的检索结果，所述检索结果用于指示与所述待检测特征相匹配的匹配特征，所述检索结果是所述检索节点在至少两个显存块中查找到所述匹配特征，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应，所述显存块与所述检索节点中的其它所述显存块用块链式结构分配缓存空间；结果转发单元，用于向发起所述检索请求的对象提供所述检索结果。根据本申请的另一方面内容，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请实施提供的分布式检索方法。根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请实施提供的分布式检索方法。本申请实施例提供的技术方案带来的有益效果可以包括：由于本申请实施例能够接收接入节点转发的检索请求，在至少两个显存块中查找与待检测特征相匹配的匹配特征，该显存块是具有固定长度的物理存储单元，向接入节点返回检索结果，该检索结果用于指示与待检测特征匹配的特征。由于本申请实施例中的检索节点中包括至少两个显存块，至少两个显存块之间采用块链式结构分配缓存空间，则特征在显存块中能够连续存储，克服了相关技术中由于删除造成的存储空洞带来的数据离散的问题，在特征进行并行比对时，提高了匹配与待检测特征的效率，提高了分布式检索系统的性能。附图说明为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本申请实施例提供的一种分布式缓存系统的架构示意图；图2是根据本申请实施例示出的一种私有化分布式特征库系统的结构示意图；图3是基于图2所示私有化分布式特征库系统提供的一种节点拓扑图；图4是本申请实施例提供的一种私有化分布式特征库系统的框架图；图5是本申请实施例提供的另一种私有化分布式特征库系统的框架图；图6是本申请实施例提供的一种私有化分布式特征库系统的路由策略的示意图；图7是本申请实施例提供的一种私有化分布式特征库系统的主备同步流程所涉及的实施环境图；图8是本申请实施例提供的一种私有化分布式特征库系统的缓存管理模式的示意图；图9是本申请实施例提供的一种私有化分布式特征库系统的特征检索流程的示意图；图10是基于图9所示实施例提供的一种检索请求合并的示意图；图11是本申请实施例提供的一种私有化分布式特征库系统支撑的场景示意图；图12是本申请一个示例性实施例提供的一种分布式检索方法的流程图；图13是本申请另一个示例性实施例提供的分布式检索方法流程图；图14是是本申请另一个示例性实施例提供的分布式检索方法流程图；图15是本申请一个示意性实施例提供的一种分布式检索方法的流程图；图16是本申请一个示例性实施例提供的分布式检索装本文档来自技高网...

【技术保护点】
1.一种分布式检索方法，其特征在于，应用于检索节点中，所述检索节点中包括至少两个显存块，至少两个所述显存块之间采用块链式结构分配缓存空间，所述方法包括：/n接收接入节点转发的检索请求，所述检索请求用于指示待检测特征；/n在至少两个所述显存块中查找与所述待检测特征相匹配的匹配特征，所述显存块是具有固定长度的物理存储单元，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应；/n向所述接入节点返回检索结果，所述检索结果用于指示所述匹配特征。/n

【技术特征摘要】
1.一种分布式检索方法，其特征在于，应用于检索节点中，所述检索节点中包括至少两个显存块，至少两个所述显存块之间采用块链式结构分配缓存空间，所述方法包括：
接收接入节点转发的检索请求，所述检索请求用于指示待检测特征；
在至少两个所述显存块中查找与所述待检测特征相匹配的匹配特征，所述显存块是具有固定长度的物理存储单元，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应；
向所述接入节点返回检索结果，所述检索结果用于指示所述匹配特征。


2.根据权利要求1所述的方法，其特征在于，所述在至少两个所述显存块中查找与所述待检测特征相匹配的匹配特征，包括：
获取所述待检测特征对应的特征库标识；
获取所述特征库标识对应的所述显存块中的特征；
计算所述特征库标识对应的所述显存块中的特征，与，所述待检测特征之间的相似度；
将计算结果中的所述相似度最大的前m个特征确定为所述匹配特征，m为正整数。


3.根据权利要求2所述的方法，其特征在于，所述计算所述特征库标识对应的所述显存块中的特征，与，所述待检测特征之间的相似度，包括：
计算所述特征库标识对应的所述显存块中的特征，与，所述待检测特征之间的欧式距离；
或，
计算所述特征库标识对应的所述显存块中的特征，与，所述待检测特征之间的余弦距离。


4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
接收所述接入节点发送的特征插入请求，所述特征插入请求用于请求将第一特征插入到所述检索节点中；
响应于所述特征插入请求，获取所述显存块中的已释放存储单元，所述已释放存储单元是所述显存块中数据位置零的存储单元；
在所述已释放存储单元中插入所述第一特征。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收所述接入节点发送的特征删除请求，所述特征删除请求用于请求将第二特征从所述检索节点中删除；
响应于所述特征删除请求，获取存储所述第二特征的存储单元，所述存储单元属于所述显存块；
将存储所述第二特征的存储单元的数据位置零；
将所述存储所述第二特征的存储单元标记为所述已释放存储单元。


6.一种分布式检索方法，其特征在于，应用于接入节点中，所述方法包括：
接收分布式检索的系统外部的检索请求，所述检索请求用于指示待检测特征；
向检索节点转发所述检索请求；
接收所述检索节点返回的检索结果，所述检索结果用于指示匹配特征，所述检索结果是所述检索节点在至少两个显存块中查找到的所述匹配特征，所述显存块包括指定个数的存储单元，所述存储单元与已存特征对应，所述显存块与所述检索节点中的其它所述显存块用块链式结构分配缓存空间；
向发起所述检索请求的对象提供所述检索结果。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
接收样本图片；
提取所述样本图片中的特征；
将所述特征存储在检索节点中，所述检索节点与所述接入节点同属分布式检索的系统。


8.根据权利要求7所述的方法，其特征在于，所述将所述特征存储在检索节点中，包括：
接收特征缓存请求，所述特征缓存请求用于将对应的特征存储在所述分布式检索的系统的所述接入节点中；
响应于特征缓存请求，获取第一检索节点的缓存空间剩余量和特征库剩余量；
响应于所述缓存空间剩余量大于零或所述特征库剩余量大于零，向所述第一检索节点分配所述特征缓存请求...

【专利技术属性】
技术研发人员：徐松林，杨彦斌，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：北京;11