一种任务调控方法、装置及相关设备制造方法及图纸

技术编号:26375768 阅读:24 留言:0更新日期:2020-11-19 23:44
本申请公开了一种任务调控方法,包括对集群节点进行实时监控,获得各节点的监控信息;根据所述监控信息判断所述节点是否为新增节点;若是,则获取所述新增节点对应的标准阈值信息;根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控;该任务调控方法可以有效实现集群系统中的任务调控,保证负载均衡,进一步提高集群运行效率以及集群性能。本申请还公开了一种任务调控装置、系统以及计算机可读存储介质,均具有上述有益效果。

【技术实现步骤摘要】
一种任务调控方法、装置及相关设备
本申请涉及互联网
,特别涉及一种任务调控方法,还涉及一种任务调控装置、系统以及计算机可读存储介质。
技术介绍
ES(Elasticsearch)是一种分布式全文数据库系统服务,对于其数据平衡和索引读写机制,当有新的ES服务节点加入集群时,由于该节点的服务和数据存储均为空闲状态,会导致触发ES的Rebalance分片再平衡机制,以将集群中已经存在的索引数据根据节点负载情况均衡转移至新增的节点服务。然而,如果此时集群同样存在大量的索引创建写入任务,由于新加入节点的空闲状态会导致新的索引创建和写入任务也会大量出现在该节点,不仅会导致新加入节点短时间内负载过大,也可能会因为吸引了过多的全新索引创建写入任务,导致其它正常节点的任务空闲,从而引起整个集群性能出现短时降低的情况,严重影响集群运行效率以及集群自身性能。因此,如何有效实现集群中的任务调控,提高集群运行效率,保证集群性能是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种任务调控方法,该任务调控方法可以有效实现集本文档来自技高网...

【技术保护点】
1.一种任务调控方法,其特征在于,包括:/n对集群节点进行实时监控,获得各节点的监控信息;/n根据所述监控信息判断所述节点是否为新增节点;/n若是,则获取所述新增节点对应的标准阈值信息;/n根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控。/n

【技术特征摘要】
1.一种任务调控方法,其特征在于,包括:
对集群节点进行实时监控,获得各节点的监控信息;
根据所述监控信息判断所述节点是否为新增节点;
若是,则获取所述新增节点对应的标准阈值信息;
根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控。


2.根据权利要求1所述的任务调控方法,其特征在于,所述对集群节点进行监控,获得各节点的监控信息,包括:
对所述节点对应的机器运行过程进行监控,获得外部资源数据;
对所述节点中的任务执行过程进行监控,获得内部运行数据;
对所述外部资源数据和所述内部运行数据进行封装,获得所述监控信息。


3.根据权利要求1或2所述的任务调控方法,其特征在于,所述根据所述标准阈值信息和所述监控信息对所述新增节点进行任务调控,包括:
关闭主分片写入操作;
根据所述标准阈值信息和所述监控信息对副分片写入操作的操作数量进行控制。


4.根据权利要求3所述的任务调控方法,其特征在于,所述根据所述标准阈值信息和所述监控信息对副分片写入操作的操作数量进行控制,包括:
当所述监控信息未超出所述标准阈值信息时,开启所述副分片写入操作;
当所述监控信息超出所述标准阈值信息时,关闭所述副分片写入操作。


5.根据权利要求3所述的任务调控...

【专利技术属性】
技术研发人员:侯满
申请(专利权)人:北京浪潮数据技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1