一种启发式Storm节点任务调度优化方法技术

本发明专利技术涉及计算机科学技术领域，尤其涉及一种启发式Storm节点任务调度优化方法。所述方法包括以下步骤：通过自适应监测工具和监测降噪算法对Storm分布式计算系统进行监测降噪处理，得到Storm节点监测信息降噪数据；通过获取Storm节点拓扑结构和Storm节点任务依赖关系并构建任务调度图，得到Storm节点任务调度图；利用资源负载监测技术和启发式算法进行资源分析调度处理，并利用任务调度优化策略进行调度优化处理，得到Storm节点任务调度优化结果；利用实时监控系统和反馈控制机制进行监控反馈重调度处理生成优化的Storm节点任务调度方案。本发明专利技术能够提高Storm节点任务调度的效率和性能。率和性能。率和性能。

【技术实现步骤摘要】
一种启发式Storm节点任务调度优化方法


[0001]本专利技术涉及计算机科学
，尤其涉及一种启发式Storm节点任务调度优化方法。

技术介绍

[0002]Storm分布式计算系统是一种高性能、可靠性强的实时数据处理框架，用于处理海量数据流。在Storm系统中，节点任务调度对系统的性能、效率以及资源利用率起着至关重要的作用。传统的任务调度方法往往只依赖于静态的资源分配策略，无法根据实时的系统状态和资源负载情况进行动态调度，从而导致任务调度不均衡和系统性能下降。

技术实现思路

[0003]基于此，本专利技术有必要提供一种启发式Storm节点任务调度优化方法，以解决至少一个上述技术问题。
[0004]为实现上述目的，一种启发式Storm节点任务调度优化方法，包括以下步骤：
[0005]步骤S1：通过自适应监测工具对Storm分布式计算系统进行监测处理，得到Storm节点监测信息数据；并利用监测降噪算法对Storm节点监测信息数据进行降噪处理，得到Storm节点监测信息降噪数据；
[0006]步骤S2：通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种启发式Storm节点任务调度优化方法，其特征在于，包括以下步骤：步骤S1：通过自适应监测工具对Storm分布式计算系统进行监测处理，得到Storm节点监测信息数据；并利用监测降噪算法对Storm节点监测信息数据进行降噪处理，得到Storm节点监测信息降噪数据；步骤S2：通过对Storm节点监测信息降噪数据进行拓扑关联分析处理，以得到Storm节点拓扑结构和Storm节点任务依赖关系；根据Storm节点拓扑结构和Storm节点任务依赖关系构建任务调度图，得到Storm节点任务调度图；步骤S3：利用资源负载监测技术对Storm节点监测信息降噪数据进行资源负载分析处理，得到Storm节点资源负载状况；根据Storm节点资源负载状况利用启发式算法对Storm节点任务调度图进行任务调度处理，得到启发式Storm节点任务调度结果；步骤S4：通过对启发式Storm节点任务调度结果进行分析处理，以得到初始Storm节点任务调度方案；利用任务调度优化策略对初始Storm节点任务调度方案进行调度优化处理，得到Storm节点任务调度优化结果；步骤S5：利用实时监控系统对Storm节点任务调度优化结果进行实时监控处理，得到Storm节点任务调度监控结果；并通过引入反馈控制机制对Storm节点任务调度监控结果进行反馈控制重调度处理以生成优化的Storm节点任务调度方案。2.根据权利要求1所述的启发式Storm节点任务调度优化方法，其特征在于，步骤S1包括以下步骤：步骤S11：通过自适应监测工具对Storm分布式计算系统进行监测处理，得到Storm节点监测信息；步骤S12：对Storm节点监测信息进行数据预处理，得到Storm节点监测信息数据；步骤S13：利用监测降噪算法对Storm节点监测信息数据进行降噪处理，得到Storm节点监测信息降噪数据。3.根据权利要求2所述的启发式Storm节点任务调度优化方法，其特征在于，步骤S13包括以下步骤：步骤S131：利用监测降噪算法对Storm节点监测信息数据进行噪声值计算，得到Storm节点数据噪声值；其中，监测降噪算法的函数公式如下所示：式中，Noise为Storm节点数据噪声值，x
i
为Storm节点监测信息数据中的噪声源信号，n为噪声源信号的数量，K为高斯滤波模型的数量，N为高斯滤波模型中小波滤波基函数的数量，α
jk
为第k个高斯滤波模型中第j个小波滤波基函数的权重参数，v
jk
为第k个高斯滤波模型中第j个小波滤波基函数的均值，u
ijk
为第k个高斯滤波模型中第j个小波滤波基函数中第i个噪声源信号的噪声系数，σ
jk
为第k个高斯滤波模型中第j个小波滤波基函数的标准差，μ为Storm节点数据噪声值的修正值；步骤S132：根据预设的Storm节点数据噪声阈值对Storm节点数据噪声值进行判断，当
Storm节点数据噪声值大于或等于预设的Storm节点数据噪声阈值时，则剔除该Storm节点数据噪声值对应的Storm节点监测信息数据，得到Storm节点监测信息降噪数据；步骤S133：根据预设的Storm节点数据噪声阈值对Storm节点数据噪声值进行判断，当Storm节点数据噪声值小于预设的Storm节点数据噪声阈值时，则直接将该Storm节点数据噪声值对应的Storm节点监测信息数据定义为Storm节点监测信息降噪数据。4.根据权利要求1所述的启发式Storm节点任务调度优化方法，其特征在于，步骤S2包括以下步骤：步骤S21：通过对Storm节点监测信息降噪数据进行拓扑构建处理，得到Storm节点拓扑结构；步骤S22：利用关联度函数对Storm节点拓扑结构中每个Storm节点任务进行关联计算，得到Storm节点任务关联度；其中，关联度函数的公式如下所示：式中，f
corr
(X1,X2)为关联度函数，E为Storm节点任务关联度，X1为Storm节点拓扑结构中的一个Storm节点任务，X2为Storm节点拓扑结构中的另一个Storm节点任务，‖X1‑
X2‖2为两个Storm节点任务之间的欧几里德距离函数，ρ
X
为关联程度衰减控制参数，ξ
X
为高斯分布的均值，σ
X
为高斯分布的标准差，θ为高斯分布关联偏移变量参数，ε为关联度函数的修正值；步骤S23：通过对Storm节点任务关联度进行依赖关联分析，得到Storm节点任务依赖关系；步骤S24：根据Storm节点拓扑结构和Storm节点任务依赖关系构建任务调度图，得到Storm节点任务调度图。5.根据权利要求4所述的启发式Storm节点任务调度优化方法，其特征在于，步骤S21包括以下步骤：步骤S211：通过编程API接口调用Java编程语言对Storm节点监测...

【专利技术属性】
技术研发人员：任星鹏，黎华，
申请(专利权)人：上海优巷电子商务有限公司，
类型：发明
国别省市：