弹性搜索集群的资源调度方法、装置及系统制造方法及图纸

本申请提供了一种弹性搜索集群的资源调度方法、装置及系统，属于数据存储技术领域。本申请提供的方案能够统计目标索引的数据写入速率，并能够在该数据写入速率处于目标速率范围之外时，动态调整该目标索引的多个分片所占用的节点的资源量。由于目标索引的数据存储容量，以及所支持的最大数据写入速率均与该多个分片所占用的资源量相关，因此本申请提供的方案能够在不改变目标索引所包括的分片数量的前提下，实现对目标索引的数据存储容量和最大数据写入速率的动态调节。由此，不仅有效提高了数据写入的灵活性，且有效提高了集群资源的利用率。

【技术实现步骤摘要】

本申请涉及数据存储，特别涉及一种弹性搜索集群的资源调度方法、装置及系统。

技术介绍

1、弹性搜索(elastic-search，es)是一种分布式、高扩展和高实时的数据搜索引擎，其能够以集群(cluster)为单位提供数据搜索服务。其中，集群通常包括多个节点(node)，每个节点可以是一台物理机或虚拟机(virtual machine，vm)。

2、在es集群中，数据存储和搜索的最小单位为文档，用于存储文档的逻辑空间(即容器)称为索引(index)。为了提高索引的数据存储量以及实现高可用性，可以将索引划分为多个分片(shard)，并为每个分片创建对应的至少一个副本(replica)。其中，每个分片与其所对应的至少一个副本分布在不同的节点中。在索引中存储文档时，需要先基于该文档的标识(identity，id)，以及该索引所包括的分片的数量，计算出用于存储该文档的目标分片。之后，即可将文档存储至该目标分片，并由目标分片将文档同步至其所对应的至少一个副本。当需要从索引中读取文档时，可以基于文档的id以及索引包括的分片的数量，确定出存储有该文档的目标分本文档来自技高网...

【技术保护点】

1.一种资源调度方法，其特征在于，应用于弹性搜索系统，所述弹性搜索系统包括客户端代理、写集群和读集群，所述写集群包括多个第一节点，所述多个第一节点用于向所述弹性搜索系统的索引写入数据，所述多个第一节点分布有所述索引的多个分片，所述读集群包括多个第二节点，所述多个第二节点用于从所述弹性搜索系统的索引读取数据，所述多个第二节点分布有所述索引的多个分片对应的多个副本；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，所述写集群中所述索引的一个或多个分片占用的资源量可调整，包括：调整写集群中所述第一节点的节点规格，所述第...

【技术特征摘要】

1.一种资源调度方法，其特征在于，应用于弹性搜索系统，所述弹性搜索系统包括客户端代理、写集群和读集群，所述写集群包括多个第一节点，所述多个第一节点用于向所述弹性搜索系统的索引写入数据，所述多个第一节点分布有所述索引的多个分片，所述读集群包括多个第二节点，所述多个第二节点用于从所述弹性搜索系统的索引读取数据，所述多个第二节点分布有所述索引的多个分片对应的多个副本；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，所述写集群中所述索引的一个或多个分片占用的资源量可调整，包括：调整写集群中所述第一节点的节点规格，所述第一节点的节点规格包括所述第一节点的处理器核的数量和/或所述第一节点的内存大小；和/或，

4.根据权利要求2或3所述的方法，其特征在于，所述写集群中所述索引的一个或多个分片占用的资源量可调整，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法包括：

6.根据权利要求5所述的方法，其特征在于，在所述写集群中迁移分片的策略为负载均衡策略。

7.根据权利要求5或6所述的方法，其特征在于，所述在所述写集群中将已有的一个或多个所述第一节点上的一个或多个分片迁移至新增的第一节点，包括：

8.根据权利要求2至7任一项所述的方法，其特征在于，所述读集群中所述索引的一个或多个副本占用的资源量可调整，包括：

9.根据权利要求8所述的方法，其特征在于，所述方法包括：

10.根据权利要求2至9任一项所述的方法，其特征在于，

11.一种弹性搜索系统，其特征在于，所述弹性搜索系统包括客户端代理、写集群和读集群；

12.根据权利要求11...

【专利技术属性】
技术研发人员：王楠楠，卞盛伟，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：