资源分配方法、系统及装置制造方法及图纸

本申请涉及资源分配技术领域，提供一种资源分配方法、系统及装置。所述方法包括：获取任务集群对应的总计算资源，并将所述总计算资源存储于服务设备中；根据所述服务设备中的所述总计算资源和各任务所需资源，确定资源分配结果，所述资源分配结果包括至少一个计算节点及各计算节点对应的可分配资源，所述各计算节点与所述各任务对应。本申请实施例提供的资源分配方法、系统及装置，无需按比例对总计算资源进行分配，而是针对任务所需资源，对服务设备中的总计算资源进行准确分配，可提高资源利用率，以有效避免资源浪费，同时可保证服务设备内计算资源的一致性。

【技术实现步骤摘要】

本申请涉及资源分配，具体涉及一种资源分配方法、系统及装置。

技术介绍

1、随着运营商业务的迅速发展，大数据平台(如hadoop平台)的计算需求日益增多，且计算复杂度越来越高。为满足个性化租户入驻大数据平台的需求，针对内存密集型计算、中央处理器(central processing unit，cpu)密集型计算以及混合密集型计算的方式，需要对yarn队列资源进行精准值分配，即对多个租户队列资源(即任务)进行计算资源的准确分配。比如对于数据清洗过滤的计算任务分配的内存资源比cpu资源多，对于机器学习类的计算任务分配的cpu资源比内存资源多，再比如对于混合密集型计算的任务，既要分配内存资源又要分配cpu资源。

2、在hadoop平台对应的当前hadoop社区中，yarn服务组件在某些版本后，默认利用容量调度器(capacity scheduler)进行资源分配，整个资源分配过程允许将任务集群的总可用资源在多个任务之间按比例进行分配，且所有比例分配总和等于100％。这样的资源分配过程虽然可以解决资源隔离问题，但无法实现对内存资源和cpu资源的准确分配，本文档来自技高网...

【技术保护点】

1.一种资源分配方法，其特征在于，包括：

2.根据权利要求1所述的资源分配方法，其特征在于，所述可分配资源包括可分配中央处理器CPU资源和可分配内存资源。

3.根据权利要求1或2所述的资源分配方法，其特征在于，所述将所述总计算资源存储于服务设备中，包括：

4.根据权利要求3所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：

5.根据权利要求4所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：

6.一种资源分配系统，其特征在于，包括：容量调度器和服务设备；

>7.一种资源分配装...

【技术特征摘要】

1.一种资源分配方法，其特征在于，包括：

2.根据权利要求1所述的资源分配方法，其特征在于，所述可分配资源包括可分配中央处理器cpu资源和可分配内存资源。

3.根据权利要求1或2所述的资源分配方法，其特征在于，所述将所述总计算资源存储于服务设备中，包括：

4.根据权利要求3所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：

5.根据权利要求4所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：

<...

【专利技术属性】
技术研发人员：刘凯铭，杨鹏伟，郭小亮，
申请(专利权)人：中国移动通信集团山西有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人