向量数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种向量数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：接收向向量检索系统发起的向量处理请求；对预设的云数据库执行与所述向量处理请求对应的向量处理操作，生成针对向量索引的索引变动消息；所述向量索引为基于存储在所述云数据库中的已写入向量构建得到的；通过目标消息队列发送所述索引变动消息至所述向量检索系统中的各实例；所述实例用于根据所述索引变动消息更新本地的向量索引，通过所述本地的向量索引实现向量检索服务。采用本方法能够提高向量检索系统响应向量检索请求的效率。向量检索系统响应向量检索请求的效率。向量检索系统响应向量检索请求的效率。

【技术实现步骤摘要】
向量数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种向量数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展，机器学习模型被广泛应用于各种场景，如图像识别、语音识别、文本理解等。机器学习模型通常会将原始数据转化为高维度的向量表示，这些由机器学习模型产生的向量数据往往需要采用专门的数据库来存储和查询这些向量数据。
[0003]然而，随着技术的进步和应用需求的增长，向量检索系统往往需要面临大量的向量检索请求，受到向量检索系统的数据库的硬件资源、维护成本等因素的影响，传统技术中的向量检索系统往往不能高效地响应大量的向量检索请求，不便于向量检索系统提供高效的向量检索服务。
[0004]因此，传统技术中的向量检索系统存在检索请求处理效率不高的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高向量检索系统响应向量检索请求的效率的向量数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，提供了一种向量数据处理方法，所述方法包括：
[0007]接收向向量检索系统发起的向量处理请求；
[0008]对预设的云数据库执行与所述向量处理请求对应的向量处理操作，生成针对向量索引的索引变动消息；所述向量索引为基于存储在所述云数据库中的已写入向量构建得到的；
[0009]通过目标消息队列发送所述索引变动消息至所述向量检索系统中的各实例；所述实例用于根据所述索引变动消息更新本地的向量索引，通过所述本地的向量索引实现向量检索服务。
[0010]在其中一个实施例中，所述方法还包括：
[0011]按照预设的时间间隔，拉取所述云数据库中的已写入向量至内存中；
[0012]采用预设索引构建算法，针对所述已写入向量在所述内存中重新构建新的向量索引，得到向量索引数据；
[0013]将所述向量索引数据写入至对象存储中。
[0014]在其中一个实施例中，所述方法还包括：
[0015]响应于所述向量检索系统的任意一个实例启动的触发条件，从所述对象存储拉取向量索引快照；所述向量索引快照记录的向量索引数据为最近一次写入所述对象存储的向量索引数据；
[0016]根据所述向量索引快照记录的向量索引数据，确定所述任意一个实例本地的向量
索引。
[0017]在其中一个实施例中，所述根据所述向量索引快照记录的向量索引数据，确定所述任意一个实例本地的向量索引，包括：
[0018]根据所述向量索引快照记录的向量索引数据中的元数据，确定针对所述目标消息队列的消息消费位置；所述消息消费位置与所述向量索引快照记录的向量索引数据的写入时间相匹配；
[0019]从所述消息消费位置开始对所述目标消息队列中的所述索引变动消息进行消费，获得针对所述向量索引快照记录的向量索引数据的索引变动数据；
[0020]根据所述索引变动数据对所述向量索引快照记录的向量索引数据进行调整，确定所述任意一个实例本地的向量索引。
[0021]在其中一个实施例中，所述接收向向量检索系统发起的向量处理请求，包括：
[0022]订阅分布式发布订阅消息系统提供的预设消息队列中的消息；所述预设消息队列用于接收业务端发送的向量处理消息；
[0023]通过所述预设消息队列消费各所述业务端发送的向量处理消息，以接收向所述向量检索系统发起的向量处理请求。
[0024]在其中一个实施例中，所述方法还包括：
[0025]接收业务端针对待检索向量发起的向量检索请求；
[0026]从内存中选取所述向量检索请求指示的索引对象；
[0027]从所述索引对象中检索与所述待检索向量匹配的预设数量个匹配向量；
[0028]返回各所述匹配向量的向量标识至所述业务端，以响应所述向量检索请求。
[0029]第二方面，一种向量数据处理装置，所述装置包括：
[0030]接收模块，用于接收向向量检索系统发起的向量处理消息；
[0031]写入模块，用于对预设的云数据库执行与所述向量处理请求对应的向量处理操作，生成针对向量索引的索引变动消息；所述向量索引为基于存储在所述云数据库中的已写入向量构建得到的；
[0032]发送模块，用于通过目标消息队列发送所述索引变动消息至所述向量检索系统中的各实例；所述实例用于根据所述索引变动消息更新本地的向量索引，通过所述本地的向量索引实现向量检索服务。
[0033]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0034]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0035]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0036]上述向量数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过接收向向量检索系统发起的向量写入请求，并将向量写入请求对应的目标向量写入至廉价但高性能的云数据库中，生成针对向量索引的索引变动消息；向量索引为预先基于存储在云数据库中的已写入向量构建得到的；通过目标消息队列发送索引变动消息至向量检索系统
中的各实例，以使实例用于根据所述索引变动消息更新本地的向量索引，通过所述本地的向量索引实现向量检索服务，使得向量检索系统中的每个实例都具有全量的向量索引，实现利用各实例并行处理大量的向量检索请求，有效地提高向量检索系统提供向量检索服务的性能，使得向量检索系统可以获得一个以较低成本获得高性能的向量存储和查询的有益效果。
附图说明
[0037]图1为一个实施例中一种向量数据处理方法的应用环境图；
[0038]图2为一个实施例中一种向量数据处理方法的流程示意图；
[0039]图3为一个实施例中一种向量数据处理方法的处理流程图；
[0040]图4为另一个实施例中一种向量数据处理方法的流程示意图；
[0041]图5为一个实施例中一种向量数据处理装置的结构框图；
[0042]图6为一个实施例中计算机设备的内部结构图。
具体实施方式
[0043]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0044]本申请实施例提供的向量数据处理方法，可以应用于如图1所示的应用环境中。其中，业务端102通过网络与向量检索系统104进行通信。向量检索系统104的数据存储系统可以存储向量检索系统104需要处理的数据。数据存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种向量数据处理方法，其特征在于，所述方法包括：接收向向量检索系统发起的向量处理请求；对预设的云数据库执行与所述向量处理请求对应的向量处理操作，生成针对向量索引的索引变动消息；所述向量索引为基于存储在所述云数据库中的已写入向量构建得到的；通过目标消息队列发送所述索引变动消息至所述向量检索系统中的各实例；所述实例用于根据所述索引变动消息更新本地的向量索引，通过所述本地的向量索引实现向量检索服务。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：按照预设的时间间隔，拉取所述云数据库中的已写入向量至内存中；采用预设索引构建算法，针对所述已写入向量在所述内存中重新构建新的向量索引，得到向量索引数据；将所述向量索引数据写入至对象存储中。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：响应于所述向量检索系统的任意一个实例启动的触发条件，从所述对象存储拉取向量索引快照；所述向量索引快照记录的向量索引数据为最近一次写入所述对象存储的向量索引数据；根据所述向量索引快照记录的向量索引数据，确定所述任意一个实例本地的向量索引。4.根据权利要求3所述的方法，其特征在于，所述根据所述向量索引快照记录的向量索引数据，确定所述任意一个实例本地的向量索引，包括：根据所述向量索引快照记录的向量索引数据中的元数据，确定针对所述目标消息队列的消息消费位置；所述消息消费位置与所述向量索引快照记录的向量索引数据的写入时间相匹配；从所述消息消费位置开始对所述目标消息队列中的所述索引变动消息进行消费，获得针对所述向量索引快照记录的向量索引数据的索引变动数据；根据所述索引变动数据对所述向量索引快照记录的向量索引数据进行调整，确定所述任意一个实例本地的向量索引。5...

【专利技术属性】
技术研发人员：叶新华，李业华，陈昭昭，肖旭，徐志坚，谢睿，
申请(专利权)人：广州趣研网络科技有限公司，
类型：发明
国别省市：