作业节点处理方法、装置、电子设备和介质制造方法及图纸

技术编号:40977108 阅读:17 留言:0更新日期:2024-04-18 21:24
提供了一种作业节点处理方法、装置、电子设备和介质,可以应用于大数据技术领域。所述方法包括:获取作业调度信息,所述作业调度信息包括作业节点、作业节点的性能指标和作业节点之间的依赖关系;基于所述作业调度信息构建作业调度网络;基于所述性能指标和所述作业节点之间的依赖关系,获取每个节点的性能影响权重;基于所述作业调度网络和所述性能影响权重,利用改进的PageRank模型对所述作业调度网络进行节点健康评估,输出评估分数;按照所述评估分数对所述作业节点的健康程度进行分析,获取关键节点,对所述关键节点进行处理。

【技术实现步骤摘要】

本专利技术涉及大数据,更具体地涉及一种作业节点处理方法、装置、电子设备和介质


技术介绍

1、随着大数据技术的飞速发展,银行业务处理已经越来越依赖于高效和可靠的数据处理系统。其中,银行大数据服务平台(bdsp)作业调度系统负责确保数据处理作业按照预定的顺序和优先级高效执行,该系统的设计和管理直接影响到银行业务的处理效率和数据服务的质量。

2、然而,由于银行业务的复杂性和多样性,bdsp作业调度系统仍面临着以下问题:系统中某些关键作业节点过于集中地承担依赖关系,导致当这些节点出现阻塞或异常时,会引发广泛的连锁反应,从而影响到整个作业组,甚至多个作业组。这种情况不仅凸显了系统鲁棒性的不足,也暴露了其在应对高并发和复杂依赖情境下的脆弱性。


技术实现思路

1、鉴于上述问题,根据本专利技术的第一方面,提供了一种作业节点处理方法,所述方法包括:获取作业调度信息,所述作业调度信息包括作业节点、作业节点的性能指标和作业节点之间的依赖关系;基于所述作业调度信息构建作业调度网络,其中,所述作业调度网络包括多个节点和多本文档来自技高网...

【技术保护点】

1.一种作业节点处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述作业调度网络和所述性能影响权重,利用改进的PageRank模型对所述作业调度网络进行节点健康评估,输出评估分数,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述利用所述性能影响权重和所述作业节点邻接矩阵计算和更新每个作业节点的重要性分数,具体包括:

4.根据权利要求2或3所述的方法,其特征在于,所述按照所述评估分数对所述作业节点的健康程度进行分析,获取关键节点,对所述关键节点进行处理,具体包括:

5.根据权利要求4所述的方法...

【技术特征摘要】

1.一种作业节点处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述作业调度网络和所述性能影响权重,利用改进的pagerank模型对所述作业调度网络进行节点健康评估,输出评估分数,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述利用所述性能影响权重和所述作业节点邻接矩阵计算和更新每个作业节点的重要性分数,具体包括:

4.根据权利要求2或3所述的方法,其特征在于,所述按照所述评估分数对所述作业节点的健康程度进行分析,获取关键节点,对所述关键节点进行处理,具体包括:

5.根据权利要求4所述的方法,其特征在于,所述基于第一规则引擎,自动化处理所述关键节...

【专利技术属性】
技术研发人员:蒋馨剑
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1