面向分布式编程框架的资源管理系统技术方案

本发明专利技术涉及一种面向分布式编程框架的资源管理系统。该面向分布式编程框架的资源管理系统包括主部分和从部分，从部分用于启动编程框架执行器，监控编程框架执行器的运行状态，向主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息；主部分包括：收集器，用于接收并保存从部分的资源使用信息和从部分上编程框架执行器的资源使用信息，保存集群资源信息，收集器中包括监控器，用于监控从部分上编程框架执行器的资源使用信息，根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务；调度器，用于调度、下发和控制监控器发送的任务。本发明专利技术具有良好的兼容性与灵活性。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种面向分布式编程框架的资源管理系统。
技术介绍
并行计算依赖于大规模的集群，并行计算的火热推动了集群管理系统的发展，面向并行计算的集群管理系统开始出现，比如LSF (Load Sharing Facility,负载共享设施)系统、PBS (Protable Batch System,可移植批处理作业系统)系统等。这些系统都是面向并行计算，处理传统的批处理作业，管理集群资源，广泛应用于工业生产和科研环境中。随着分布式计算的兴起，各种新型并行编程框架的不断涌现，传统的集群管理系统因其本身系统设计与结构等方面的原因，无法良好的支持新型编程框架，更无法支持多编程框架共存于集群中的资源管理问题。面向多编程框架的集群资源管理是最近才出现的研究课题。下面列举3个有代表性的可支持多编程框架的集群资源管理系统 I)计算密集型批处理作业管理系统CondorCondor是威斯康辛大学开发的处理计算密集型作业的批处理系统。它的架构为典型的主-从(master-slave)结构，Condor的master主要由收集器(collector)和导航器(negotiator)组本文档来自技高网...

【技术保护点】
一种面向分布式编程框架的资源管理系统，其特征在于，包括主部分和从部分，其中：所述从部分，用于启动编程框架执行器，监控编程框架执行器的运行状态，向所述主部分的调度器上报编程框架执行器的运行状态，向所述主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息；所述主部分包括：收集器，用于接收并保存所述从部分的资源使用信息和所述从部分上编程框架执行器的资源使用信息，保存集群资源信息；所述收集器中包括监控器，用于监控所述从部分上编程框架执行器的资源使用信息，并根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务；调度器，用于调度、下发和控制所述监控器发送的为编...

【技术特征摘要】

【专利技术属性】
技术研发人员：张章，陈竞，韩冀中，戴娇，孟丹，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：