在集群中调度运行分布式计算框架的方法和系统技术方案

一种在集群中调度运行分布式计算框架的方法，包括以下步骤：集群调度器获取提交的封装了框架控制器的第一作业；集群调度器根据第一作业生成包含框架控制器的第一任务，将第一任务下发到集群执行器；接收到第一任务的集群执行器启动框架控制器运行；集群调度器获取提交的封装了与框架控制器对应的框架工作器的第二作业；集群调度器根据第二作业生成包含框架控制器标识以及框架工作器的第二任务，并将第二任务下发到集群执行器；接收到第二任务的集群执行器根据框架控制器标识启动框架工作器运行。上述方法可将多个分布式计算框架可部署到同一集群中，从而可提高集群的资源利用率。此外，还提供一种在集群中调度运行分布式计算框架的系统。

【技术实现步骤摘要】
【专利摘要】一种在集群中调度运行分布式计算框架的方法，包括以下步骤：集群调度器获取提交的封装了框架控制器的第一作业；集群调度器根据第一作业生成包含框架控制器的第一任务，将第一任务下发到集群执行器；接收到第一任务的集群执行器启动框架控制器运行；集群调度器获取提交的封装了与框架控制器对应的框架工作器的第二作业；集群调度器根据第二作业生成包含框架控制器标识以及框架工作器的第二任务，并将第二任务下发到集群执行器；接收到第二任务的集群执行器根据框架控制器标识启动框架工作器运行。上述方法可将多个分布式计算框架可部署到同一集群中，从而可提高集群的资源利用率。此外，还提供一种在集群中调度运行分布式计算框架的系统。【专利说明】在集群中调度运行分布式计算框架的方法和系统【
】本专利技术涉及数据处理
，特别涉及一种在集群中调度运行分布式计算框架的方法和系统。【
技术介绍
】集群是由两台或多台服务器构成的计算节点集合。集群中的服务器(也称为节点或节点服务器)相互连接，彼此之间可相互通信。集群中的服务器协同工作，向用户提供网络应用服务，对于用户来说集群就像是一个单一系统。集群中的服务器资源类本文档来自技高网...

【技术保护点】
一种在集群中调度运行分布式计算框架的方法，包括以下步骤：集群调度器获取提交的封装了框架控制器的第一作业；所述集群调度器根据所述第一作业生成包含所述框架控制器的第一任务，将所述第一任务下发到集群执行器；接收到所述第一任务的集群执行器启动所述框架控制器运行；所述集群调度器获取提交的封装了与所述框架控制器对应的框架工作器的第二作业；所述集群调度器根据所述第二作业生成包含所述框架控制器标识以及所述框架工作器的第二任务，并将所述第二任务下发到集群执行器；接收到所述第二任务的集群执行器根据所述框架控制器标识启动所述框架工作器运行。

【技术特征摘要】

【专利技术属性】
技术研发人员：董元元，罗韩梅，林恬，彭亮，陈卓，金涬，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44