一种资源管理方法、装置以及计算机存储介质制造方法及图纸

本发明专利技术公开了一种资源管理方法、装置以及计算机存储介质，该方法包括：接收向目标队列提交的任务；检测所述目标队列的队列类型；其中，所述队列类型包括独占队列类型和共享队列类型；根据检测的队列类型，将所述任务分配给所述队列类型对应的集群资源；基于分配的集群资源，执行所述任务；这样，通过合理使用独占队列类型和共享队列类型，不仅可以利用指定队列方式满足租户对集群的特殊需求，同时还可以兼顾各子集群之间的负载均衡和数据本地性等需求，从而能够整体提升集群资源的使用率和吞吐率。率。率。

【技术实现步骤摘要】
一种资源管理方法、装置以及计算机存储介质


[0001]本专利技术涉及大数据应用
，尤其涉及一种资源管理方法、装置以及计算机存储介质。

技术介绍

[0002]随着计算机和信息化技术的迅猛发展，数据已经渗透到当今每一行业和业务职能领域，成为重要的生成因素。针对海量数据进行有效管理并进一步加以挖掘和应用，已经成为企业提高核心竞争力、抢占市场先机的关键，这时候大数据技术应运而生。
[0003]在现有的大数据平台上，随着Hadoop的不断发展与逐步成熟，各大公司都选择hadoop作为大数据平台的底层。其中，对于中小型公司，往往单一的hadoop集群即可满足需求；但是对于大型业务场景，由于业务需求的多样性与复杂性，大数据平台的底层往往不再仅限于单一的hadoop集群，由于不同的域依赖不同的子集群，这时候可以通过对Hadoop集群进行扩容，以得到多个集群；但是上层租户并不关心底层资源是如何分配的，这里就需要实现对多集群资源的统一调度管理。
[0004]另外，随着数据量与业务需求的不断增长，Hadoop集群的资源需求也变得越来越大，分布式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源管理方法，所述方法包括：接收向目标队列提交的任务；检测所述目标队列的队列类型；其中，所述队列类型包括独占队列类型和共享队列类型；根据检测的队列类型，将所述任务分配给所述队列类型对应的集群资源；基于分配的集群资源，执行所述任务。2.根据权利要求1所述的方法，其特征在于，所述检测所述目标队列的队列类型，包括：对所述目标队列进行解析，获取所述目标队列配置的集群资源；若所述集群资源包括一个子集群，则确定所述检测的队列类型为独占队列类型；或者，如果所述集群资源包括多个子集群，则确定所述检测的队列类型为共享队列类型。3.根据权利要求2所述的方法，其特征在于，当所述检测的队列类型为独占队列类型时，所述根据检测的队列类型，将所述任务分配给所述队列类型对应的集群资源，包括：基于独占队列类型，将所述任务分配给第一子集群；其中，所述目标队列仅配置在所述第一子集群中；相应地，所述基于分配的集群资源，执行所述任务，包括：基于所述第一子集群执行所述任务。4.根据权利要求2所述的方法，其特征在于，当所述检测的队列类型为共享队列类型时，所述根据检测的队列类型，将所述任务分配给所述队列类型对应的集群资源，包括：基于共享队列类型，将所述任务分配给第二子集群；其中，所述目标队列同时配置在多个子集群中，所述多个子集群至少包括第二子集群；相应地，所述基于分配的集群资源，执行所述任务，包括：基于所述第二子集群执行所述任务。5.根据权利要求4所述的方法，其特征在于，在所述基于共享队列类型，将所述任务分配给第二子集群之前，所述方法还包括：根据预设队列策略，确定执行所述任务的第二子集群。6.根据权利要求5所述的方法，其特征在于，所述根据预设队列策略，确定执行所述任务的第二子集群，包括：确定所述目标队列配置的多个子集群；计算所述多个子集群中每一子集群对应的负载值，得到多个负载值；从所述多个负载值中选取最小负载值，将所述最小负载值对应的子集群确定为所述第二子集群。7.根据权利要求3所述的方法，其特征在于，在所述将所述任务分配给第一子集群之后，所述方法还包括：验证所述目标队列与所述第一子集群配置的权限；当所述权限验证通过时，则执行基于所述第一子集群执行所述任务的步骤。8.根据权利要求4所述的方法，其特征在于，在所述将所述任务分配给第二子集群之后，所述方法还包括：验证所述目标队列与所述第二子集群配置的权限；当所述权限验证通过时，则...

【专利技术属性】
技术研发人员：孙大鹏，申银杰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：