资源管理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40030720 阅读:23 留言:0更新日期:2024-01-16 18:11
本申请涉及一种资源管理方法、装置、计算机设备、存储介质和计算机程序产品,涉及大数据技术领域。所述方法包括:获取各预设的时间窗口内客户端的流量值,并针对每一时间窗口内的流量值,判断流量值是否满足预设的扩容条件;在流量值满足扩容条件的情况下,确定流量值对应的消息数据量,流量峰值和分布式消息系统的带宽;基于预设的节点数算法,对流量值对应的消息数据量,流量峰值和分布式消息系统的带宽进行数据处理,得到分布式消息系统所需的最大节点数;基于最大节点数,更新分布式消息系统中的节点,并为新增的节点配置分区和副本。采用本方法能够提高资源管理方法的可靠性。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种资源管理方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、目前,在金融科技领域及大数据领域中,很多业务应用通常使用kafka(一种高吞吐量的分布式发布订阅消息系统)分布式消息系统进行削峰填谷、异步解耦。但是,当生产者、消费者流量突增时,kafka分布式消息系统中的节点资源会出现异常。因此,需要对kafka分布式消息系统中的节点资源进行管理。

2、目前的资源管理方法是当流量突增时,在较短的时间内,管理人员评估当前kafka系统的负载情况和资源使用情况,确定扩容的需求和目标。然后,管理人员根据需求确定硬件资源或云服务,并基于硬件资源或云服务横向扩容新的节点。

3、然而,在大规模和复杂的集群环境中,人工扩容通常在紧急情况下进行,会导致对节点资源评估和规划错误,从而影响分布式消息集群的可靠性。因此,目前的资源管理方法的可靠性较低。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种资源管理方法、装置、计算机设备、计算机可读存储介质和计算机本文档来自技高网...

【技术保护点】

1.一种资源管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各预设的时间窗口内客户端的流量值,包括:

3.根据权利要求1所述的方法,其特征在于,所述针对每一所述时间窗口内的流量值,判断所述流量值是否满足预设的扩容条件,包括:

4.根据权利要求3所述的方法,其特征在于,所述判断所述流量值是否大于预设的第一预警值之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述针对每一所述时间窗口内的流量值,判断所述流量值是否满足预设的扩容条件之后,所述方法还包括:

6.根据权利要求5所述...

【技术特征摘要】

1.一种资源管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各预设的时间窗口内客户端的流量值,包括:

3.根据权利要求1所述的方法,其特征在于,所述针对每一所述时间窗口内的流量值,判断所述流量值是否满足预设的扩容条件,包括:

4.根据权利要求3所述的方法,其特征在于,所述判断所述流量值是否大于预设的第一预警值之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述针对每一所述时间窗口内的流量值,判断所述流量值是否满足预设的扩容条件之后,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述在所述...

【专利技术属性】
技术研发人员:梁海燕孟江杨旭杰冯子杰
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1