一种资源管理方法及系统技术方案

本发明专利技术实施例提供了一种资源管理方法及系统，其中，所述资源管理方法包括：接收第一作业任务提交消息，第一作业任务提交消息中包括：待处理的作业、处理作业的第一资源需求信息和处理作业的第一资源管理框架；将第一资源需求信息转换为第一资源管理框架对应的第二资源需求信息；将第二资源需求信息和作业发送至第一资源管理框架，以使第一资源管理框架根据第二资源需求信息分配运行作业所需的第一资源，并根据分配的第一资源运行作业。通过本发明专利技术实施例提供的资源管理方法，实现降低资源管理成本，以及降低资源管理和调度的复杂度。

Resource management method and system

The embodiment of the invention provides a resource management method and system, which includes the methods of resource management: to receive the first task submission message, the first task submitted message includes a first resource management framework for processing operations, processing the first resource demand information and processing operations; the first resource demand information into the second resource requirements corresponding to the first information resource management framework; the second resource requirements and operation information sent to the first resource management framework, in order to make the first resource management framework based on the first second resource requirements of information distribution operation required, according to the first operation resource allocation. Through the resource management method provided by the embodiment of the invention, the resource management cost is reduced, and the complexity of resource management and scheduling is reduced.

【技术实现步骤摘要】
一种资源管理方法及系统
本专利技术涉及计算机
，特别是涉及一种资源管理方法及系统。
技术介绍
随着时代的进步，大数据逐渐成为企业及行业的最重要资产之一，企业中的发展决策与市场定位行为将基于该些大数据分析做出，而不是像过去更多凭借经验和直觉。与此同时，用于分析该些大数据以得到用于企业发展决策与市场定位结果的大数据计算框架应运而生，由于不同的大数据计算框架所需的资源类型不同，因此，支持不同的大数据计算框架运行的资源管理框架也随之产生。随着云计算、大数据以及多媒体技术的不断发展，要处理的业务类型也日益增多，如此就使得有很多的应用场景，而众多的应用场景就需要多种不同类型的资源管理框架，同时，在技术的不断发展过程中，需要调研业界现有的技术，比如不同的资源管理框架，调研的过程中往往要部署多种资源框架并进行性能测试，所以现存的资源管理系统内部部署有多种不同类型的资源管理框架。图1所示为大数据分析的系统架构图，如图1所示，该系统包括：资源管理框架和大数据计算框架，目前，当用户需要使用上述系统分析大数据时，用户首先将大数据作业任务请求消息以资源管理框架所规定的方式提交至资源管理框架，其中，大数据作业任务中会包括执行大数据作业任务所需的大数据计算框架类型，以及执行大数据作业任务的资源需求量，然后资源管理框架根据执行大数据作业任务的资源需求量为大数据作业任务分配资源，进而大数据计算框架使用资源管理框架分配的资源运行大数据作业任务。由于资源管理框架的种类繁多，且每种资源管理框架所规定的大数据作业任务请求消息的提交方式不同，当将相同的大数据作业任务提交至不同类型的资源管理框架以运行大数据作业任务时，如果提交的大数据作业任务请求消息与资源管理框架不对应，就会造成资源管理框架无法有效为大数据作业任务分配执行大数据作业任务的资源需求量，使得大数据计算框架无法正常的运行大数据作业任务而导致运行结果出错，从而影响企业发展决策与市场定位的准确性。现有的部署有多种类型的资源管理框架时，大数据计算框架需要和资源管理框架进行手工适配，大数据计算框架和不同的资源资源管理框架之间需要使用不同的管理、调度接口，使得资源管理成本高、资源管理及调度复杂度高。
技术实现思路
本专利技术实施例的目的在于提供一种资源管理方法及系统，以实现降低资源管理成本，以及降低资源管理和调度的复杂度。具体技术方案如下：本专利技术实施例提供了一种资源管理方法，包括：接收第一作业任务提交消息，所述第一作业任务提交消息中包括：待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架；将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息；将所述第二资源需求信息和所述作业发送至所述第一资源管理框架，以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源，并根据分配的所述第一资源运行所述作业。优选的，所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量；所述将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息包括：将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识，和/或，将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。优选的，将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后，还包括：接收第二作业任务提交消息，所述第二作业任务提交消息中包括：所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架；将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息；将所述第三资源需求信息和所述作业发送至所述第二资源管理框架，以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源，并根据分配的所述第二资源运行所述作业。优选的，接收所述用户发送的第二作业任务提交请求消息之前，还包括：接收作业任务停止请求消息；将所述作业任务停止请求消息发送至所述第一资源管理框架，以使所述第一资源管理框架停止运行所述作业。优选的，接收第一作业任务提交消息，包括：接收用户终端发送的第一作业任务提交消息；所述将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后，还包括：获取所述作业的运行状态并反馈给所述用户终端。优选的，所述获取所述作业的运行状态并输出给用户，包括：获取所述作业的运行状态，将所述作业的运行状态转换为统一规范化的运行状态，并反馈给用户终端。另外，本专利技术还公开了一种资源管理系统，包括：第一接收模块，用于接收第一作业任务提交消息，所述第一作业任务提交消息中包括：待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架；第一转换模块，用于将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息；第一分配模块，用于将所述第二资源需求信息和所述作业发送至所述第一资源管理框架，以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源，并根据分配的所述第一资源运行所述作业。优选的，所述资源管理系统具体用于所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量；所述第一转换模块，包括：用于将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识，和/或，将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。优选的，所述资源管理系统，还包括：第二接收模块，用于接收第二作业任务提交消息，所述第二作业任务提交消息中包括：所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架；第二转换模块，用于将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息；第二分配模块，用于将所述第三资源需求信息和所述作业发送至所述第二资源管理框架，以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源，并根据分配的所述第二资源运行所述作业。优选的，所述资源管理系统还包括：接收停止消息模块，用于接收作业任务停止请求消息；发送模块，用于将所述作业任务停止请求消息发送至所述第一资源管理框架，以使所述第一资源管理框架停止运行所述作业。优选的，所述第一接收模块，包括：用于接收用户终端发送的第一作业任务提交消息；所述资源管理系统，还包括：获取状态模块，用于获取所述作业的运行状态并反馈给所述用户终端。优选的，所述获取状态模块，用于获取所述作业的运行状态，将所述作业的运行状态转换为统一规范化的运行状态，并反馈给用户终端。本专利技术实施例提供的资源管理方法及系统，可以在部署有多种类型的资源管理框架的环境下，统一规范多种类型的资源管理框架的资源管理及调度策略，为各种资源管理框架提供统一的管理、调度规范，使得对于不同的资源管理框架，为任务提供统一的资源抽象与调度策略，在应用过程中，不需要人工适配大数据计算管理框架和大数据资源管理框架，降低资源管理成本，以及降低资源管理和调度的复杂度。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，本文档来自技高网...

【技术保护点】
一种资源管理方法，其特征在于，包括：接收第一作业任务提交消息，所述第一作业任务提交消息中包括：待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架；将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息；将所述第二资源需求信息和所述作业发送至所述第一资源管理框架，以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源，并根据分配的所述第一资源运行所述作业。

【技术特征摘要】
1.一种资源管理方法，其特征在于，包括：接收第一作业任务提交消息，所述第一作业任务提交消息中包括：待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架；将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息；将所述第二资源需求信息和所述作业发送至所述第一资源管理框架，以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源，并根据分配的所述第一资源运行所述作业。2.根据权利要求1所述的方法，其特征在于，所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量；所述将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息包括：将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识，和/或，将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。3.根据权利要求1或2所述的方法，其特征在于，将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后，还包括：接收第二作业任务提交消息，所述第二作业任务提交消息中包括：所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架；将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息；将所述第三资源需求信息和所述作业发送至所述第二资源管理框架，以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源，并根据分配的所述第二资源运行所述作业。4.根据权利要求3所述的方法，其特征在于，接收所述用户发送的第二作业任务提交请求消息之前，还包括：接收作业任务停止请求消息；将所述作业任务停止请求消息发送至所述第一资源管理框架，以使所述第一资源管理框架停止运行所述作业。5.根据权利要求1或2所述的方法，其特征在于，接收第一作业任务提交消息，包括：接收用户终端发送的第一作业任务提交消息；所述将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后，还包括：获取所述作业的运行状态并反馈给所述用户终端。6.根据权利要求5所述的方法，其特征在于，所述获取所述作业的运行状态并输出给用户，包括：获取所述作业的运行状态，将所述作业的运行状态转换为统一规范化的运行状态，并反馈给用户终端。7....

【专利技术属性】
技术研发人员：陈越晨，蒋戈，孙琦，顾亮亮，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11