【技术实现步骤摘要】
本专利技术属于分布式流计算，具体涉及一种基于资源协同感知的storm流计算动态调度方法，用于解决异构集群中节点资源波动、任务实例重调度性能下降及多维度资源约束下的协同优化问题。
技术介绍
1、随着物联网、金融交易、实时监控等场景的快速发展，分布式流计算系统成为处理高速、连续数据流的核心基础设施。apache storm作为开源流处理框架的代表，凭借其低延迟、高可靠性的特点，被广泛应用于实时数据分析、复杂事件处理等场景。storm通过将计算任务实例抽象为拓扑(topology)，将数据流拆分为多个任务实例实例(任务实例)并行处理，但其默认调度策略基于静态资源分配逻辑，仅根据预设的任务实例槽(slot)数量进行任务实例分发，缺乏对动态资源需求的实时感知能力。在实际生产环境中，数据流的吞吐量往往呈现显著波动，例如电商大促期间的流量激增或物联网设备的突发数据上报，而节点资源状态(如cpu过载、内存耗尽、网络拥塞)也可能因硬件故障或负载不均发生突变。此类动态变化导致静态调度策略难以维持系统稳定性——当节点因资源过载宕机时，系统需重新划分任务实例拓...
【技术保护点】
1.一种基于资源协同感知的Storm流计算动态调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，资源协同优化模型的目标函数为最小化节点间通信成本，表示为：
3.根据权利要求1所述的方法，步骤S2中所述节点性能指标的计算公式为：
4.根据权利要求1所述的方法，步骤S3中任务实例关联性通过历史数据中的通信开销Eij评估，优先将Eij高的任务实例分配至同一节点，以减少节点间通信延迟。
5.根据权利要求1所述的方法，步骤S4中所述动态阈值调整具体包括：
6.根据权利要求1所述的方法，步骤S5中所述性...
【技术特征摘要】
1.一种基于资源协同感知的storm流计算动态调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，资源协同优化模型的目标函数为最小化节点间通信成本，表示为：
3.根据权利要求1所述的方法，步骤s2中所述节点性能指标的计算公式为：
4.根据权利要求1所述的方法，步骤s3中任务实例关联性通过历史数据中的通信开销eij...
【专利技术属性】
技术研发人员：李鸿健，王舒恒，谭港凡，李佳芯，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。