一种云原生向量检索引擎及向量检索方法技术

技术编号:40540911 阅读:14 留言:0更新日期:2024-03-05 18:56
本发明专利技术公开了一种云原生向量检索引擎及向量检索方法,云原生向量检索引擎提供向量数据更新服务和向量检索查询服务;在向量数据更新服务中,业务场景对应的Offline组件构建索引,并将新构建的索引文件上传至文件存储服务中,后新构建的Online组件从文件存储服务中加载新构建的索引文件以提供向量检索查询服务;在向量检索查询服务中,业务场景对应的Online组件完成向量检索操作。本发明专利技术解决了现有技术中存在的资源利用率低、资源冲突和业务流量相互竞争的问题。

【技术实现步骤摘要】

本专利技术属于数据检索,具体涉及一种云原生向量检索引擎及向量检索方法


技术介绍

1、向量检索引擎是人工智能领域不可或缺的基础技术设施,广泛应用于人脸识别、推荐系统、图片搜索、视频指纹、语音处理、自然语言处理、文件搜索等场景。在人工智能算法对现实世界的语音、图片、视频、行为等实体进行抽象,并转换多维的向量之后,向量检索引擎可以在其中找到向量之间的关联,从而完成“识别出人脸图片与人的关系”或者“推荐符合兴趣的视频”等功能。

2、目前市面上流行的向量检索引擎只有milvus和vearch两款。milvus和vearch两者的发行版本,都基于传统数据库的设计架构,有如下缺点:

3、1、需要固定的服务器资源用于部署和运行,不便于扩容和升级配置。

4、2、存储和计算两者相互耦合,在计算请求负载较高的情况下会严重影响数据存储效率。

5、3、不同业务之间的数据无法资源隔离,除非投入更多机器、人力资源来创建更多集群,否则不同业务之间可能会因为资源竞争而互相影响。


技术实现思路</b>

本文档来自技高网...

【技术保护点】

1.一种云原生向量检索引擎,其特征在于,所述云原生向量检索引擎提供向量数据更新服务和向量检索查询服务;

2.如权利要求1所述的云原生向量检索引擎,其特征在于,在所述向量检索查询服务中还涉及ShardProxy组件,所述ShardProxy组件接收用户查询请求,并将用户查询请求转发至业务场景对应的Online组件,后将Online组件完成向量检索操作返回的多个节点的计算结果合并后返回给用户。

3.如权利要求1所述的云原生向量检索引擎,其特征在于,在所述向量数据更新服务中还涉及Revision组件,所述Revision组件在收到Offline组件发送的索引构建上传完成...

【技术特征摘要】

1.一种云原生向量检索引擎,其特征在于,所述云原生向量检索引擎提供向量数据更新服务和向量检索查询服务;

2.如权利要求1所述的云原生向量检索引擎,其特征在于,在所述向量检索查询服务中还涉及shardproxy组件,所述shardproxy组件接收用户查询请求,并将用户查询请求转发至业务场景对应的online组件,后将online组件完成向量检索操作返回的多个节点的计算结果合并后返回给用户。

3.如权利要求1所述的云原生向量检索引擎,其特征在于,在所述向量数据更新服务中还涉及revision组件,所述revision组件在收到offline组件发送的索引构建上传完成消息后,构建新的online组件。

4.如权利要求1所述的云原生向量检索引擎,其特征在于,在所述向量数据更新服务中还涉及broker组件,所述broker组件接收数据生产者发送的数据更新请求,并将数据更新请求转发至业务场景对应的offline组件。

5.如权利要求1所述的云原生向量检索引擎,其特征在于,每个业务场景的offline组件相互独立,每个业务场景...

【专利技术属性】
技术研发人员:卢亦周董付春胡梁斌
申请(专利权)人:杭州群核信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1