大数据框架处理任务的资源管理方法技术

本发明专利技术提供了一种大数据框架处理任务的资源管理方法，包括如下步骤：步骤S1、将服务器资源信息存储至存储系统；步骤S2、应用端向资源管理系统申请服务器资源；步骤S3、资源管理系统判断资源是否能满足申请所需，若满足，则分配资源；若不满足，则将任务加入等待队列，并按设定的规则进行资源分配。本发明专利技术的优点在于：对企业的服务器资源进行有效的管理以及调度，减少了资源的浪费；资源管理系统自动分配资源，降低了人工干预的工作量，提高了运行维护的效率。

【技术实现步骤摘要】
大数据框架处理任务的资源管理方法
本专利技术涉及一种资源管理方法，特别指一种大数据框架处理任务的资源管理方法。
技术介绍
随着科技的进步，业务的发展，很多企业需要成百上千台的服务器来满足业务的需要。但是，在这些服务器执行大数据任务时，如何对服务器的资源进行管理以及有效的利用成为一个亟待解决的问题。资源管理系统如果没有掌握服务器资源的利用情况，就无法得知系统资源的利用率，无法得知有哪些资源处于空闲状态，哪些资源已经脱离了系统的管理，成为僵尸资源，由此造成了大量的可用资源的闲置，且需要人工进行干预，大大提高了服务器的运行维护成本。因此，对企业的服务器资源进行有效的管理以及调度，显得非常的重要且急迫。
技术实现思路
本专利技术要解决的技术问题，在于提供一种大数据框架处理任务的资源管理方法，用来提高资源的利用率，提高资源运行维护的自动化程度。本专利技术是这样实现的：一种大数据框架处理任务的资源管理方法，所述方法包括如下步骤：步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；步骤S20、应用端向资源管理系统申请服务器资源，若指定申本文档来自技高网...

【技术保护点】
1.一种大数据框架处理任务的资源管理方法，其特征在于：所述方法包括如下步骤：步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；步骤S40、判断所申请的资源是否被占用，...

【技术特征摘要】
1.一种大数据框架处理任务的资源管理方法，其特征在于：所述方法包括如下步骤：步骤S10、资源管理系统创建资源预估表、从各服务器采集服务器资源信息，并将资源预估表以及服务器资源信息存储至存储系统；步骤S20、应用端向资源管理系统申请服务器资源，若指定申请数量，则进入步骤S30；若未指定申请数量，则进入步骤S60；步骤S30、资源管理系统登记应用端资源申请的流水信息，并依据流水信息以及存储系统中的服务器资源信息判断所申请的服务器资源数量是否超过资源管理系统中服务器资源总数，若未超过，则进入步骤S40；若超过，则返回错误信息至应用端，更新流水信息，并结束流程；步骤S40、判断所申请的资源是否被占用，若是，则进入定时任务；若否，则申请服务器资源，并更新流水信息，进入步骤S50；步骤S50、如果申请服务器资源成功，更新流水信息，并通过申请的服务器资源执行任务，服务器资源利用完成后请求资源管理系统收回资源，收回资源完成后更新流水信息以及资源预估表；如果申请服务器资源失败，则返回错误信息至应用端，更新流水信息，并结束流程；步骤S60、资源管理系统判断该任务是否为新任务，若否，则根据存储系统中存储的资源预估表判断该任务需要的资源数量，并进入步骤S30；若是，则根据资源管理系统设定的参数计算所需资源，并进入步骤S40。2.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S10中，所述资源预估表具体包括：历史任务的类型、执行历史任务所需的资源种类以及数量。3.如权利要求1所述的大数据框架处理任务的资源管理方法，其特征在于：所述步骤S10中，所述服务器资源信息具体包括：大数据服务器数量、大数据服务器的CPU数量、大数据服务器的内存容量、应用服务器数量、应用服务器的CPU数...

【专利技术属性】
技术研发人员：林传文，
申请(专利权)人：福建星瑞格软件有限公司，
类型：发明
国别省市：福建,35