一种数据流模式感知的流应用节点调度方法及系统技术方案

本发明专利技术提供一种数据流模式感知的流应用节点调度方法，涉及分布式流计算技术领域。所述一种数据流模式感知的流应用节点调度方法由指标监控节点、预测节点、初始调度节点以及自适应度节点实现；指标监控节点收集拓扑的指标数据；根据拓扑的指标数据对LSTM神经网络模型进行训练，获得系统拓扑的总延迟和算子负载；将数据处理任务上传到分布式流计算系统，采用启发式装箱算法，进行初始调度，确定拓扑算子放置方案；采用贪心算法以及马尔可夫迭代过程，对深度强化学习模型进行训练，生成新的调度方案。采用本发明专利技术，提高分布式流计算系统的吞吐量，降低延迟以及提高负载的稳定性。

【技术实现步骤摘要】

本专利技术涉及分布式流计算，特别是指一种数据流模式感知的流应用节点调度方法及系统。

技术介绍

1、分布式流处理系统中，数据流波动会导致现有的算子分配策略失效，从而导致机器过载、系统性能下降或资源浪费，因此需要适当的重分配策略。现有的在线调度方法通过检测系统性能判断调度时机，根据系统状态和负载调整算子分配。然而，上述方案没有识别数据流潜在的模式特征，不能预测未来数据走向，调度决策依赖于过时的信息，对于数据流波动做出的决策具有滞后性，系统性能波动较大。因此需要合适的方法来识别数据流模式，预测系统性能变化，及时调整算子分配，维持系统长周期稳定以及高效运行。

技术实现思路

1、为了解决现有技术存在的没有识别数据流浅在的模式特征，不能预测未来数据走向，调度决策依赖于过时的信息，对于数据流波动做出的决策具有滞后性，系统性能波动较大的技术问题，本专利技术实施例提供了一种数据流模式感知的流应用节点调度方法及系统。所述技术方案如下：

2、一方面，提供了一种数据流模式感知的流应用节点调度方法，该方法由数据流模式感知的本文档来自技高网...

【技术保护点】

1.一种数据流模式感知的流应用节点调度方法，其特征在于，所述数据流模式感知的流应用节点调度方法由分布式流计算系统的结构中的指标监控节点、预测节点、初始调度节点以及自适应度节点实现；所述方法包括：

2.根据权利要求1所述的数据流模式感知的流应用节点调度方法，其特征在于，所述指标监控节点,用于通过调用所述分布式流计算系统的REST API,以60秒为时间窗口，采集拓扑的指标数据。

3.根据权利要求1所述的数据流模式感知的流应用节点调度方法，其特征在于，所述预测节点，用于预测所述分布式流计算系统的拓扑的总延迟和算子负载；

4.根据权利要求1所述的数据流模式感...

【技术特征摘要】

1.一种数据流模式感知的流应用节点调度方法，其特征在于，所述数据流模式感知的流应用节点调度方法由分布式流计算系统的结构中的指标监控节点、预测节点、初始调度节点以及自适应度节点实现；所述方法包括：

2.根据权利要求1所述的数据流模式感知的流应用节点调度方法，其特征在于，所述指标监控节点,用于通过调用所述分布式流计算系统的rest api,以60秒为时间窗口，采集拓扑的指标数据。

3.根据权利要求1所述的数据流模式感知的流应用节点调度方法，其特征在于，所述预测节点，用于预测所述分布式流计算系统的拓扑的总延迟和算子负载；

4.根据权利要求1所述的数据流模式感知的流应用节点调度方法，其特征在于，所述自适应调度节点，用于对外提供http接口，输入当前拓扑算子放置方案和数据流速率，获得优化后的拓扑算子放置方案。

5.根据权利要求1所述的数据流模式感知的流应用节点调度方法，其特征在于，所述s2的lstm神经网络模型，用于拟合数据流、算子分配以及分布式流计算系统性能之间的关系；<...

【专利技术属性】
技术研发人员：孙大为，张宁，
申请(专利权)人：中国地质大学北京，
类型：发明
国别省市：