一种基于大数据计算的分布式调度方法及系统技术方案

本发明专利技术涉及一种基于大数据计算的分布式调度方法及系统，包括：根据用户的申请为其创建一个独享的资源空间Zone；用户在资源空间Zone中创建多个任务通道Channel，创建提交自己的任务Job到CR并分配到对应的Channel；Channel调用RM向Channel中的各个节点分配容器，并向NM发布通知以及运行AM，同时NM实时监控Job的运行状态，并将Job分拆为task；AM向另一节点分发task到另一节点并实时监控task的运行状态。本发明专利技术通过在zone空间中划分channel，是对用户的job任务隔离，不仅避免任务级的相互资源竞争，还使得不同级别的任务可以采用不同级别的服务器硬件配置。以采用不同级别的服务器硬件配置。以采用不同级别的服务器硬件配置。

【技术实现步骤摘要】
一种基于大数据计算的分布式调度方法及系统


[0001]本专利技术涉及大数据分布式资源调度
，尤其涉及一种基于大数据计算的分布式调度方法及系统。

技术介绍

[0002]在Hadoop2.0分布式集群中，Hadoop由MapReduce和HDFS、Yarn构成，其中MapReduce是分布式计算框架，HDFS是分布式文件系统负责存储，Yarn是独立出来的资源管理框架负责资源管理和调度；所有提交到大数据集群上的计算任务都是由Yarn负责分配资源和调度管理的，因此集群上的资源分配、资源竞争、任务优先级都是由其管理。
[0003]而目前Yarn的Scheduler仅支持FIFO(先进先出)、Capacity(队列共享)、Fair(公平分配)。而这三种模式均存在资源竞争互斥，无法实现资源的多用户隔离，造成当存在大量并发任务同时调度执行时，会因为资源问题导致任务调度卡顿甚至死锁，无法实现用户任务隔离运行，可能引发大面积任务无法按照正常的调度计划执行。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点，提供了一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据计算的分布式调度方法，其特征在于：所述分布式调度方法包括：根据用户的申请为其创建一个独享的资源空间Zone；用户在资源空间Zone中创建多个任务通道Channel，并创建提交自己的任务Job到ChannelRoute，ChannelRoute将接收到的Job分配到对应的Channel；Channel调用ResourceManager向Channel中的各个节点分配容器，并向NodeManger发布通知以及运行AppMaster，同时NodeManger实时监控Job的运行状态，并将Job分拆为task；AppMaster向另一节点分发task到另一节点并实时监控task的运行状态，以及向ResourceManager发送心跳数据并注销释放资源。2.根据权利要求1所述的一种基于大数据计算的分布式调度方法，其特征在于：所述ChannelRoute将接收到的Job分配到对应的Channel包括：判断待下发Job的性能要求和所需资源空间大小，根据所需资源空间大小与资源空间Zone的剩余空间进行匹配；当匹配不满足时，则拒绝执行Job的分配下发，并向用户发布扩容提示；当匹配满足时，则根据性能要求划分到具体的Channel中，根据Job所需的资源空间量，下发到ResourceManager并确认当前集群是否满足Job所需资源空间量，满足则下发，不满足，则等待。3.根据权利要求1所述的一种基于大数据计算的分布式调度方法，其特征在于：每当用户发布一个任务Job时，则从资源空间Zone中扣减该任务Job大小的资源空间量，当该任务Job删除时则恢复任务Job大小的资源空间量。4.根据权利要求1所述的一种基于大数据计算的分布式调度方法，其特征在于：所述资源空间Zone中创建的多个任务通道Channel中不同的Channel资源是物理隔离的，每个Channel只对应一个任务Job，以避免不同等级的Job之间的相互资源竞争，不同等级的Job采用不同级别的服务器硬件配置。5.一种基于大数据计算的分布式调度系统，其...

【专利技术属性】
技术研发人员：周道华，李武鸿，杨陈，曾俊，黄泓蓓，黄维，刘杰，王小腊，洪江，彭容，罗玉，周林，张明娟，许江泽，吴婷婷，詹飞，吴勇科，卓莉评，
申请(专利权)人：成都中科大旗软件股份有限公司，
类型：发明
国别省市：