一种特征数据的检索方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种特征数据的检索方法、装置及存储介质。其中，所述方法包括：接收针对目标对象的检索请求，所述检索请求中携带有用于表示所述目标对象的原始的特征数据所对应的降维特征数据；基于所述降维特征数据，查找降维特征数据的数据分片与检索实例的对应关系，确定用于响应所述检索请求的检索实例；向确定的所述检索实例下发所述检索请求，以使所述检索实例响应于所述检索请求，基于所述降维特征数据查找所述目标对象对应的原始的特征数据；基于所述目标对象对应的原始的特征数据响应所述检索请求。通过本发明专利技术，能够在降低海量特征库中数据检索过程所需的硬件成本的同时，提高目标对象对应的原始的特征数据的检索效率。

A retrieval method, device and storage medium of characteristic data

【技术实现步骤摘要】
一种特征数据的检索方法、装置及存储介质
本专利技术涉及人工智能(AI，ArtificialIntelligence)领域中的大数据处理技术，尤其涉及一种特征数据的检索方法、装置及存储介质。
技术介绍
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。人工智能技术现如今已得到快速发展，并广泛应用于各种行业，例如高维度特征数据的检索应用。目前，相关人工智能技术中，在面对海量的特征数据库中的数据检索问题时，一般采用性能要求比较高的硬件来完成数据检索，例如，当特征数据库的量级达到百万级别时，一般会借助图形处理器(GPU，GraphicsProcessingUnit)硬件加速处理，可见，相关技术需要通过使用性能更好的硬件才能实现海量高维数据的检索，随之带来的是硬件成本上升的问题，但是，若降低硬件成本，则将严重影响高维特征数据的检索效率。
技术实现思路
本专利技术实施例提供一种特征数据的检索方法、装置及存储介质，能够在降低海量特征库中数据检索过程所需的硬件成本的同时，提高目标对象对应的原始的特征数据的检索效率。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种特征数据的检索方法，所述方法包括：接收针对目标对象的检索请求，所述检索请求中携带有用于表示所述目标对象的原始的特征数据所对应的降维特征数据；基于所述降维特征数据，查找降维特征数据的数据分片与检索实例的对应关系，确定用于响应所述检索请求的检索实例；向确定的所述检索实例下发所述检索请求，以使所述检索实例响应于所述检索请求，基于所述降维特征数据查找所述目标对象对应的原始的特征数据；基于所述目标对象对应的原始的特征数据响应所述检索请求。本专利技术实施例还提供一种特征数据的检索装置，所述装置包括：接收单元，用于接收针对目标对象的检索请求，所述检索请求中携带有用于表示所述目标对象的原始的特征数据所对应的降维特征数据；确定单元，用于基于所述降维特征数据，查找降维特征数据的数据分片与检索实例的对应关系，确定用于响应所述检索请求的检索实例；检索单元，用于向确定的所述检索实例下发所述检索请求，以使所述检索实例响应于所述检索请求，基于所述降维特征数据查找所述目标对象对应的原始的特征数据；基于所述目标对象对应的原始的特征数据响应所述检索请求。上述方案中，所述接收单元，还用于：调用面向检索客户端的检索接入接口；通过所述检索接入接口接收针对所述目标对象的检索请求。上述方案中，所述确定单元，还用于：确定所述降维特征数据所属的数据分片；基于降维特征数据的数据分片与检索实例的对应关系，查找与所述降维特征数据所属的数据分片相对应的检索实例；将查找到的所述检索实例作为用于响应所述检索请求的检索实例。上述方案中，所述检索单元，还用于：将所述降维特征数据进行哈希处理，得到所述降维特征数据对应的哈希散列值；确定所述哈希散列值相映射的哈希桶的标识；从所述哈希桶的标识对应的哈希桶中查找所述目标对象对应的原始的特征数据。上述方案中，所述检索单元，还用于：基于所述降维特征数据，查找路由表中检索实例的标识与特征数据库的标识的对应关系，确定所述检索实例的标识对应的特征数据库；从确定的所述特征数据库中查找所述目标对象对应的原始的特征数据。上述方案中，所述特征数据的检索装置还包括：所述接收单元，还用于接收第一空间中的原始的特征数据；降维处理单元，用于将所述原始的特征数据进行降维处理，得到所述原始的特征数据在第二空间中对应的降维特征数据，所述第一空间的维度多于所述第二空间的维度，所述第二空间中的降维特征数据分布式存储在多个检索实例中；存储单元，用于将所述原始的特征数据与对应的所述降维特征数据存储在哈希表中。上述方案中，所述降维处理单元，还用于：获取用于对特征数据进行降维的降维向量；确定所述降维向量中各个值，分别与所述原始的特征数据对应的数据点之间的位置关系；基于所述位置关系，确定所述原始的特征数据对应的数据点的二进制编码值；基于所述二进制编码值的组合，得到所述原始的特征数据在第二空间中对应的降维特征数据。上述方案中，所述特征数据的检索装置还包括：发送单元，用于将所述目标对象及对应的所述原始的特征数据发送至区块链网络中，以使所述区块链网络的节点将所述目标对象及对应的所述原始的特征数据填充至新区块，且当对所述新区块取得共识一致时，将所述新区块追加至区块链的尾部。本专利技术实施例还提供一种电子设备，所述电子设备包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的特征数据的检索方法。本专利技术实施例还提供一种存储介质，存储有可执行指令，所述可执行指令被执行时，用于实现本专利技术实施例提供的特征数据的检索方法。应用本专利技术上述实施例具有以下有益效果：应用本专利技术实施例提供的特征数据的检索方法、装置及存储介质，通过目标对象的原始的特征数据所对应的降维特征数据，来确定响应检索请求的检索实例，由分布式存储的检索实例负责响应检索请求，基于降维特征数据查找目标对象对应的原始的特征数据，由于检索实例分布式运行在计算服务器上，可以独立响应检索请求从而分担负载，完成高性能的特征数据检索，如此，本专利技术实施例的技术方案不受限于硬件成本，适用于非高性能的计算服务器，能够在降低海量特征库中数据检索过程所需的硬件成本的同时，提高目标对象对应的原始的特征数据的检索效率。附图说明图1为本专利技术实施例提供的特征数据的检索系统10的一个可选的架构示意图；图2A为本专利技术实施例提供的电子设备40的一个可选的硬件结构示意图；图2B为本专利技术实施例提供的特征数据的检索装置455的一个可选的组成结构示意图；图3A至图3E为本专利技术实施例提供的特征数据的检索方法的一个可选的流程示意图；图4为本专利技术实施例提供的采用通用哈希算法和局部敏感哈希算法进行数据降维的对比效果示意图；图5为本专利技术实施例提供的特征数据的检索装置455的架构示意图；图6为本专利技术实施例提供的区块链网络81中区块链的一个可选的结构示意图；图7为本专利技术实施例提供的区块链网络81的功能架构示意图；图8为本专利技术实施例提供的特征数据的检索方法的一个可选的原理结构示意图；图9为本专利技术实施例提供的数据降维的实现原理示意图；图10为本专利技术实施例提供的采用局部敏感哈希进行数据降维的过程示意图；图11A至图11C为本专利技术实施例提供的任意两个数据点在同一个桶中的概率分布图；图12为本专利技术实施例提供的查找目标对象对应的原始的特征数据的示意图。具体实施方式...

【技术保护点】
1.一种特征数据的检索方法，其特征在于，所述方法包括：/n接收针对目标对象的检索请求，所述检索请求中携带有用于表示所述目标对象的原始的特征数据所对应的降维特征数据；/n基于所述降维特征数据，查找降维特征数据的数据分片与检索实例的对应关系，确定用于响应所述检索请求的检索实例；/n向确定的所述检索实例下发所述检索请求，以使/n所述检索实例响应于所述检索请求，基于所述降维特征数据查找所述目标对象对应的原始的特征数据；/n基于所述目标对象对应的原始的特征数据响应所述检索请求。/n

【技术特征摘要】
1.一种特征数据的检索方法，其特征在于，所述方法包括：
接收针对目标对象的检索请求，所述检索请求中携带有用于表示所述目标对象的原始的特征数据所对应的降维特征数据；
基于所述降维特征数据，查找降维特征数据的数据分片与检索实例的对应关系，确定用于响应所述检索请求的检索实例；
向确定的所述检索实例下发所述检索请求，以使
所述检索实例响应于所述检索请求，基于所述降维特征数据查找所述目标对象对应的原始的特征数据；
基于所述目标对象对应的原始的特征数据响应所述检索请求。


2.如权利要求1所述的方法，其特征在于，所述接收针对目标对象的检索请求，包括：
调用面向检索客户端的检索接入接口；
通过所述检索接入接口接收针对所述目标对象的检索请求。


3.如权利要求1所述的方法，其特征在于，所述基于所述降维特征数据，查找降维特征数据的数据分片与检索实例的对应关系，确定用于响应所述检索请求的检索实例，包括：
确定所述降维特征数据所属的数据分片；
基于降维特征数据的数据分片与检索实例的对应关系，查找与所述降维特征数据所属的数据分片相对应的检索实例；
将查找到的所述检索实例作为用于响应所述检索请求的检索实例。


4.如权利要求1所述的方法，其特征在于，所述基于所述降维特征数据查找所述目标对象对应的原始的特征数据，包括：
将所述降维特征数据进行哈希处理，得到所述降维特征数据对应的哈希散列值；
确定所述哈希散列值相映射的哈希桶的标识；
从所述哈希桶的标识对应的哈希桶中查找所述目标对象对应的原始的特征数据。


5.如权利要求1所述的方法，其特征在于，所述基于所述降维特征数据查找所述目标对象对应的原始的特征数据，包括：
基于所述降维特征数据，查找路由表中检索实例的标识与特征数据库的标识的对应关系，确定所述检索实例的标识对应的特征数据库；
从确定的所述特征数据库中查找所述目标对象对应的原始的特征数据。


6.如权利要求1所...

【专利技术属性】
技术研发人员：邹晓园，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：北京;11