弹性搜索集群的资源调度方法技术

本申请提供了一种弹性搜索集群的资源调度方法

【技术实现步骤摘要】
弹性搜索集群的资源调度方法、装置及系统
[0001]本申请要求于
2022
年5月
11
日提交的申请号为
202210510751.2、
专利技术名称为“一种数据处理方法和计算机”的中国专利申请的优先权，其全部内容通过引用结合在本申请中
。


[0002]本申请涉及数据存储
，特别涉及一种弹性搜索集群的资源调度方法
、
装置及系统
。

技术介绍

[0003]弹性搜索
(elastic
‑
search
，
ES)
是一种分布式
、
高扩展和高实时的数据搜索引擎，其能够以集群
(cluster)
为单位提供数据搜索服务
。
其中，集群通常包括多个节点
(node)
，每个节点可以是一台物理机或虚拟机
(virtual machine
，
VM)。
[0004]在
ES
集群中，数据存储和搜索的最小单位为文档，用于存储文档的逻辑空间
(
即容器
)
称为索引
(index)。
为了提高索引的数据存储量以及实现高可用性，可以将索引划分为多个分片
(shard)
，并为每个分片创建对应的至少一个副本
(replica)。
其中，每个分片与其所对应的至少一个副本分布在不同的节点中
。
>在索引中存储文档时，需要先基于该文档的标识
(identity
，
ID)
，以及该索引所包括的分片的数量，计算出用于存储该文档的目标分片
。
之后，即可将文档存储至该目标分片，并由目标分片将文档同步至其所对应的至少一个副本
。
当需要从索引中读取文档时，可以基于文档的
ID
以及索引包括的分片的数量，确定出存储有该文档的目标分片，并从该目标分片中进行读取
。
[0005]由于在索引中存储文档，以及从索引中读取文档时，需要基于该索引所包括的分片的数量计算目标分片，因此索引所包括的分片的数量应是固定的
。
也即是，在索引创建后，该索引所包括的分片的数量将无法再修改
。
由此，导致数据写入的灵活性较低
。

技术实现思路

[0006]本申请提供了一种弹性搜索集群的资源调度方法
、
装置及系统，可以解决
ES
集群中数据写入灵活性较低的技术问题
。
[0007]第一方面，提供了一种
ES
集群的资源调度方法，该
ES
集群包括多个第一节点，该多个第一节点用于承载目标索引的多个分片
。
该方法包括：统计目标索引的数据写入速率，以及基于该目标索引的数据写入速率处于目标速率范围之外，调整该目标索引的多个分片所占用的节点的资源量
。
[0008]由于目标索引的数据存储容量，以及所支持的最大数据写入速率均与该多个分片所占用的资源量相关，因此本申请提供的方案能够在不改变目标索引所包括的分片数量的前提下，实现对目标索引的数据存储容量和最大数据写入速率的动态调节
。
由此，不仅有效提高了数据写入的灵活性，且有效提高了集群资源的利用率
。
[0009]可选地，基于该目标索引的数据写入速率处于目标速率范围之外，调整该多个分片所占用的节点的资源量的过程可以包括：基于该目标索引的数据写入速率大于目标速率
范围的上限，在该
ES
集群新增至少一个第二节点，并将该多个分片中的至少一个分片迁移至该至少一个第二节点
。
[0010]通过在
ES
集群中新增至少一个第二节点，可以实现对
ES
集群的扩容，并使得目标索引所占用的资源量增多
。
由此，能够有效提升目标索引的数据存储容量和最大数据写入速率，以使得该目标索引的数据写入性能能够与当前实际的数据写入速率相匹配
。
[0011]可选地，在
ES
集群新增至少一个第二节点之前，该方法还可以包括：基于该目标索引的数据写入速率与该目标速率范围的上限的差值，确定待新增的至少一个第二节点的数量
。
其中，该数量与差值正相关，且该至少一个第二节点的节点规格均为预设规格
。
[0012]本申请提供的方案可以根据写入速率的差值，在
ES
集群中新增预设规格的至少一个第二节点
。
该新增第二节点的方式较为简单，效率较高
。
[0013]可选地，在
ES
集群新增至少一个第二节点之前，该方法还可以包括：基于该目标索引的数据写入速率与该目标速率范围的上限的差值，以及互不相同的多种备选的节点规格，确定待新增的至少一个第二节点的数量，以及每个第二节点的节点规格
。
其中，每个第二节点的节点规格是从该多种备选节点的规格中选取的
。
[0014]若资源池中的可用节点具有多种不同的节点规格，则本申请提供的方案可以根据写入速率的差值，从该多种不同节点规格的可用节点中确定至少一个第二节点
。
该新增第二节点的方式的灵活性较高
。
例如，本申请提供的方案可以基于每种备选的节点规格的成本，采用成本优先的策略确定至少一个第二节点
。
由此，可以有效降低新增节点的成本
。
[0015]可选地，该至少一个第二节点包括的处理器核的总数
m1
可以满足：
m1≥(s1
‑
s2)/s0。
其中，
s1
为目标索引的数据写入速率，
s2
为目标速率范围的上限，
s0
为每个处理器核的数据写入速率阈值
。
[0016]基于上述公式，可以确保新增至少一个第二节点后，用于承载目标索引的多个第一节点以及至少一个第二节点的数据写入性能可以与该目标索引的数据写入速率相匹配
。
[0017]可选地，该至少一个第二节点所采用的资源可以为竞价资源
。
由于竞价资源的成本较低，因此本申请提供的方案可以优先采用竞价资源作为新增节点的资源
。
[0018]可选地，该至少一个分片可以满足下述条件中的至少一种：分片中已写入的数据量小于第一阈值；分片所在的第一节点中分布的分片的总数大于第二阈值
。
[0019]基于上述条件可知，本申请提供的方案可以选择已写入的数据量较小的分片进行迁移，和
/
或，选择分片数量较多的第一节点中的分片进行迁移
。
由此，可以有效提高分片的迁移效率，降低迁移成本，并确保各个第一节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种弹性搜索集群的资源调度方法，其特征在于，所述弹性搜索集群包括多个第一节点，所述多个第一节点用于承载目标索引的多个分片；所述方法包括：统计所述目标索引的数据写入速率；基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个分片所占用的节点的资源量
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个分片所占用的节点的资源量，包括：基于所述目标索引的数据写入速率大于所述目标速率范围的上限，在所述弹性搜索集群中新增至少一个第二节点；将所述多个分片中的至少一个分片迁移至所述至少一个第二节点
。3.
根据权利要求2所述的方法，其特征在于，在所述弹性搜索集群中新增至少一个第二节点之前，所述方法还包括：基于所述目标索引的数据写入速率与所述目标速率范围的上限的差值，确定待新增的所述至少一个第二节点的数量；其中，所述数量与所述差值正相关，且所述至少一个第二节点的节点规格均为预设规格
。4.
根据权利要求2所述的方法，其特征在于，在所述弹性搜索集群中新增至少一个第二节点之前，所述方法还包括：基于所述目标索引的数据写入速率与所述目标速率范围的上限的差值，以及互不相同的多种备选的节点规格，确定待新增的所述至少一个第二节点的数量，以及每个第二节点的节点规格；其中，每个第二节点的节点规格是从所述多种备选节点的规格中选取的
。5.
根据权利要求2至4任一所述的方法，其特征在于，所述至少一个第二节点包括的处理器核的总数
m1
满足：
m1≥(s1
‑
s2)/s0
；其中，
s1
为所述目标索引的数据写入速率，
s2
为所述目标速率范围的上限，
s0
为每个处理器核的数据写入速率阈值
。6.
根据权利要求2至5任一所述的方法，其特征在于，所述至少一个第二节点所采用的资源为竞价资源
。7.
根据权利要求2至6任一所述的方法，其特征在于，所述至少一个分片满足下述条件中的至少一种：分片中已写入的数据量小于第一阈值；分片所在的第一节点中分布的分片的总数大于第二阈值
。8.
根据权利要求1所述的方法，其特征在于，所述基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个分片所占用的节点的资源量，包括：基于所述目标索引的数据写入速率小于所述目标速率范围的下限，从所述多个第一节点中确定待删除的至少一个第一目标节点；将所述至少一个第一目标节点中分布的分片均迁移至除所述至少一个第一目标节点之外的其他第一节点；
删除所述至少一个第一目标节点
。9.
根据权利要求8所述的方法，其特征在于，每个第一目标节点中分布的分片的总数小于第三阈值
。10.
根据权利要求1至9任一所述的方法，其特征在于，所述基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个分片所占用的节点的资源量，包括：基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个第一节点中至少一个第一节点的节点规格
。11.
根据权利要求
10
所述的方法，其特征在于，所述基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个第一节点中至少一个第一节点的节点规格，包括：基于所述目标索引的数据写入速率大于所述目标速率范围的上限，增大所述多个第一节点中至少一个第二目标节点的节点规格
。12.
根据权利要求
10
所述的方法，其特征在于，所述基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个第一节点中至少一个第二目标节点的节点规格，包括：基于所述目标索引的数据写入速率小于所述目标速率范围的下限，减小所述多个第一节点中至少一个第三目标节点的节点规格
。13.
根据权利要求1至
12
任一所述的方法，其特征在于，所述多个第一节点中第四目标节点所采用的资源为竞价资源；所述方法还包括：基于所述第四目标节点所采用的竞价资源的剩余可用时长小于时长阈值，在所述弹性搜索集群中新增至少一个第三节点；将所述第四目标节点中分布的分片均迁移至所述至少一个第三节点；删除所述第四目标节点
。14.
根据权利要求
13
所述的方法，其特征在于，所述至少一个第三节点所采用的资源包括按需资源和
/
或竞价资源
。15.
根据权利要求1至
14
任一所述的方法，其特征在于，所述弹性搜索集群还包括多个第四节点，所述多个第四节点用于承载所述目标索引的多个副本，所述方法还包括：统计所述目标索引的数据读取频率；基于所述目标索引的数据读取频率位于目标频率范围之外，调整所述目标索引所包括的副本的数量
。16.
根据权利要求
15
所述的方法，其特征在于，所述基于所述目标索引的数据读取频率位于目标频率范围之外，调整所述目标索引所包括的副本的数量，包括：基于所述目标索引的数据读取频率大于所述目标频率范围的上限，在所述弹性搜索集群中新增至少一个第五节点；在每个第五节点中新增所述目标索引的至少一个副本
。17.
根据权利要求
15
所述的方法，其特征在于，所述基于所述目标索引的数据读取频率位于目标频率范围之外，调整所述目标索引所包括的副本的数量，包括：基于所述目标索引的数据读取频率小于所述目标频率范围的下限，删除所述多个第四节点中至少一个第五目标节点中分布的副本；删除所述至少一个第五目标节点
。
18.
一种弹性搜索集群的资源调度装置，其特征在于，所述弹性搜索集群包括用于承载目标索引的多个第一节点，所述目标索引包括多个分片；所述资源调度装置包括：统计模块，用于统计所述目标索引的数据写入速率；调整模块，用于基于所述目标索引的数据写入速率处于目标速率范围之外，调整所述多个分片所占用的节点的资源量
。19.
根据权利要求
18
所述的资源调度装置，其特征在于，所述调整模块，用于：基于所述目标索引的数据写入速率大于所...

【专利技术属性】
技术研发人员：王楠楠，卞盛伟，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：