【技术实现步骤摘要】
本申请涉及资源分配，具体涉及一种资源分配方法、系统及装置。
技术介绍
1、随着运营商业务的迅速发展，大数据平台(如hadoop平台)的计算需求日益增多，且计算复杂度越来越高。为满足个性化租户入驻大数据平台的需求，针对内存密集型计算、中央处理器(central processing unit，cpu)密集型计算以及混合密集型计算的方式，需要对yarn队列资源进行精准值分配，即对多个租户队列资源(即任务)进行计算资源的准确分配。比如对于数据清洗过滤的计算任务分配的内存资源比cpu资源多，对于机器学习类的计算任务分配的cpu资源比内存资源多，再比如对于混合密集型计算的任务，既要分配内存资源又要分配cpu资源。
2、在hadoop平台对应的当前hadoop社区中，yarn服务组件在某些版本后，默认利用容量调度器(capacity scheduler)进行资源分配，整个资源分配过程允许将任务集群的总可用资源在多个任务之间按比例进行分配，且所有比例分配总和等于100％。这样的资源分配过程虽然可以解决资源隔离问题，但无法实现对内存资源和cpu资源的准确分配，造成资源浪费。
技术实现思路
1、本申请实施例提供一种资源分配方法、系统及装置，用以解决现有技术中采用百分比分配机制进行资源分配，导致无法对内存资源和cpu资源进行准确分配，造成资源浪费的技术问题。
2、第一方面，本申请实施例提供一种资源分配方法，包括：
3、获取任务集群对应的总计算资源，并将所述总计算资源
4、根据所述服务设备中的所述总计算资源和各任务所需资源，确定资源分配结果，所述资源分配结果包括至少一个计算节点及各计算节点对应的可分配资源，所述各计算节点与所述各任务对应。
5、在一个实施例中，所述可分配资源包括可分配中央处理器cpu资源和可分配内存资源。
6、在一个实施例中，所述将所述总计算资源存储于服务设备中，包括：将所述总计算资源写入第一临时配置文件，得到第二临时配置文件；将所述第二临时配置文件存储于所述服务设备中。
7、在一个实施例中，所述获取任务集群对应的总计算资源，包括：响应用户的第一输入操作，确定所述用户的用户信息；在确定所述用户信息处于安全状态的情况下，响应所述用户的第二输入操作，获取所述任务集群对应的总计算资源。
8、在一个实施例中，所述获取任务集群对应的总计算资源，包括：在监听到新的计算资源的情况下，基于所述新的计算资源，更新所述服务设备中所述任务集群对应的当前计算资源，得到所述总计算资源。
9、第二方面，本申请实施例提供一种资源分配系统，包括：容量调度器和服务设备；
10、所述容量调度器，用于获取任务集群对应的总计算资源，并将所述总计算资源存储于所述服务设备中；根据所述服务设备中的所述总计算资源和各任务所需资源，确定资源分配结果，所述资源分配结果包括至少一个计算节点及各计算节点对应的可分配资源，所述各计算节点与所述各任务对应。
11、第三方面，本申请实施例提供一种资源分配装置，包括：
12、资源获取模块，用于获取任务集群对应的总计算资源，并将所述总计算资源存储于服务设备中；
13、资源分配模块，用于根据所述服务设备中的所述总计算资源和各任务所需资源，确定资源分配结果，所述资源分配结果包括至少一个计算节点及各计算节点对应的可分配资源，所述各计算节点与所述各任务对应。
14、第四方面，本申请实施例提供一种终端，包括存储器，收发机，处理器；
15、存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
16、获取任务集群对应的总计算资源，并将所述总计算资源存储于服务设备中；
17、根据所述服务设备中的所述总计算资源和各任务所需资源，确定资源分配结果，所述资源分配结果包括至少一个计算节点及各计算节点对应的可分配资源，所述各计算节点与所述各任务对应。
18、第五方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的资源分配方法的步骤。
19、第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的资源分配方法的步骤。
20、本申请实施例提供的资源分配方法、系统及装置，通过获取任务集群对应的总计算资源，并将所述总计算资源存储于服务设备中；根据所述服务设备中的所述总计算资源和各任务所需资源，确定资源分配结果，所述资源分配结果包括至少一个计算节点及各计算节点对应的可分配资源，所述各计算节点与所述各任务对应。该方法无需按比例对总计算资源进行分配，而是针对任务所需资源，对服务设备中的总计算资源进行准确分配，可提高资源利用率，以有效避免资源浪费，同时可保证服务设备内计算资源的一致性。
本文档来自技高网...【技术保护点】
1.一种资源分配方法，其特征在于，包括：
2.根据权利要求1所述的资源分配方法，其特征在于，所述可分配资源包括可分配中央处理器CPU资源和可分配内存资源。
3.根据权利要求1或2所述的资源分配方法，其特征在于，所述将所述总计算资源存储于服务设备中，包括：
4.根据权利要求3所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：
5.根据权利要求4所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：
6.一种资源分配系统，其特征在于，包括：容量调度器和服务设备；
7.一种资源分配装置，其特征在于，包括：
8.一种终端，其特征在于，包括存储器，收发机，处理器；
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的资源分配方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的资源分配方法的步骤。<...
【技术特征摘要】
1.一种资源分配方法，其特征在于，包括：
2.根据权利要求1所述的资源分配方法，其特征在于，所述可分配资源包括可分配中央处理器cpu资源和可分配内存资源。
3.根据权利要求1或2所述的资源分配方法，其特征在于，所述将所述总计算资源存储于服务设备中，包括：
4.根据权利要求3所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：
5.根据权利要求4所述的资源分配方法，其特征在于，所述获取任务集群对应的总计算资源，包括：
<...【专利技术属性】
技术研发人员：刘凯铭，杨鹏伟，郭小亮，
申请(专利权)人：中国移动通信集团山西有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。