一种资源调度管理系统技术方案

本发明专利技术提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。

Resource scheduling management system

The invention provides a resource scheduling management system, which comprises a Flume management module, a resource allocation module, a life cycle management module and a resource scheduling module. The Flume management module for the deployment of Flume services in business and in turn, the allocation of resources will in turn resource module is divided into a plurality of integral calculation unit, life cycle management module according to the business machine's application, and to receive applications for approval, resource scheduling module is based on the life cycle the module for the management of the approval of the application for the business machine distribution unit. Due to the introduction of life cycle management module, in turn can make resource allocation according to the results of the examination and approval, and business machine without the business needs of Flume services will not occupy in transit resources, so that resources in the transfer will not be wasted, thereby saving valuable server resources.

【技术实现步骤摘要】

本专利技术涉及互联网
，特别是涉及一种资源调度管理系统。
技术介绍
在一些互联网企业，为了应对快速增长的业务需求，常常布设有大量的服务器，这些服务器在每天的业务活动中产生海量的数据。这些数据本身就是一个宝库，其中蕴藏有大量的信息，为了挖掘这些数据的价值，需要将数据从这些服务器上收集起来进行分析。目前一般采用双层采集架构、利用Flume作为采集工具。Flume是一种分布式、可靠、和高可用的海量日志采集、聚合和传输系统，支持在系统中定制各类数据发送方，同时，Flume还提供对数据进行简单处理。在使用Flume进行数据收集时，运维人员需要将Flumeagent部署在业务机上，Flumeagent将从业务机上收集的数据发送到部署在中转机上的中转层，并由中转层对数据进行汇总、解析，最后发送到进行数据分析的平台。由于缺少资源管理，计算资源无法进行高效分配和回收，从而导致资源利用率较低，对于宝贵的服务器资源是一种极大的浪费。
技术实现思路
有鉴于此，本专利技术提供一种资源调度管理系统，以解决中转机的资源利用率较低的问题。为了实现上述目的，本专利技术公开了一种资源调度管理系统，其特征在于，包括：Flume管理模块，用于在业务机和中转机上部署Flume服务；资源配置模块，用于将所述中转机的资源分割成多个不可分割的计算单元，并利用配置表描述所述计算单元；生命周期管理模块，用于接收所述业务机发出的申请，并对所述申请进行审批；资源调度模块，用于根据所述生命周期管理模块对所述申请的审批结果，为所述业务机分配所述计算单元。从上述技术方案可以看出，本专利技术提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。另外，通过生命周期的管理和资源分割，使得服务的部署可以通过页面进行，极大的降低了业务人员和运维人员的沟通成本；资源调度的自动化也使运维成本得到降低。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的一种资源调度管理系统实施例的结构框图；图2是本专利技术提供的另一种资源调度管理系统实施例的结构框图；图3为本专利技术提供的又一种资源调度管理系统实施例的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1是本专利技术提供的一种资源调度管理系统实施例的结构框图。参照图1所示，本专利技术提供的资源调度管理系统用于配置于资源管理主机上，具体可以包括如下模块：Flume管理模块10、资源配置模块20、生命周期管理模块30和资源调度模块40。Flume管理模块10用于在业务机和中转机上部署Flume服务，Flume服务包括FlumeAgent和FlumeCollector。部署在业务机上的Flume服务即FlumeAgent，用于从业务机采集所需要的业务数据、交易数据、日志数据等数据。部署在中转机上的Flume服务即FlumeCollector，其用于接收FlumeAgent收集的各种数据，并转发到相应的平台上。Flume管理模块10具体包括业务机Flume管理单元11和中转机Flume管理单元12，前者用于在业务机上部署FlumeAgent并修改FlumeAgent的配置；后者则用于在中转机上部署FlumeCollector，还用于修改FlumeCollector的配置。资源配置模块20用于将中转机的资源进行划分，划分为多个不可以进一步分割的计算单元，并利用一个配置表描述所有的计算单元。计算单元是一种逻辑上的资源描述，具体为包含一定计算能力、一定存储容量的单元，并且具有相应的地址和端口的功能组合，还包括为其分配的业务种类、运行状态信息和服务启动时间。为了对每个计算单元进行描述，配置表包含了每个计算单元的地址信息、端口信息、业务状态信息、核数量信息、内存容量信息、分配状态信息和服务启动时间信息中的部分或全部信息。生命周期管理模块30用于接收业务机发出的申请，并根据管理员输入的操作请求对申请进行审批。即做出是否向该业务机的Flume服务提供资源或提供多少资源。资源调度模块40用于根据生命周期管理模块30做出的审批结果为该业务机分配计算单元。一般可根据业务的需求向该业务机分配一个或多个计算单元。从上述技术方案可以看出，本实施例提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。另外，由于将中转机上的资源进行了单元分割，中转机在处理从业务机接收到的数据时，是在各个单独的计算单元内进行的，从而不会在业务流程之间造成相互干扰。还有，通过细粒度的资源管理，使得资源管理主机可以通过调度算法自动完成服务器部署，过程中无需管理员进行干涉，从而能够降低运维成本。资源调度模块还用于在中转机上的Flume服务需要重新本文档来自技高网...

【技术保护点】
一种资源调度管理系统，其特征在于，包括：Flume管理模块，用于在业务机和中转机上部署Flume服务；资源配置模块，用于将所述中转机的资源分割成多个不可分割的计算单元，并利用配置表描述所述计算单元；生命周期管理模块，用于接收所述业务机发出的申请，并对所述申请进行审批；资源调度模块，用于根据所述生命周期管理模块对所述申请的审批结果，为所述业务机分配所述计算单元。

【技术特征摘要】
1.一种资源调度管理系统，其特征在于，包括：
Flume管理模块，用于在业务机和中转机上部署Flume服务；
资源配置模块，用于将所述中转机的资源分割成多个不可分割的计算单
元，并利用配置表描述所述计算单元；
生命周期管理模块，用于接收所述业务机发出的申请，并对所述申请进
行审批；
资源调度模块，用于根据所述生命周期管理模块对所述申请的审批结
果，为所述业务机分配所述计算单元。
2.如权利要求1所述的资源调度管理系统，其特征在于，所述Flume
管理模块包括：
业务机Flume管理单元，用于在所述业务机上部署FlumeAgent服务；
中转机Flume管理单元，用于在所述中转机上部署FlumeCollector服务。
3.如权利要求2所述的资源调度管理系统，其特征在于，所述业务机
Flume管理单元还用于修改所述FlumeAgent服务的配置。
4.如权利要求2所述的资源调度管理系统，其特征在于，所述中转机
Flume管理单元还用于修改所述FlumeCollector服务的配置。
5.如权利要求1所述的资源调度管理系统，其特征在于，所述计算单
元包括地址信息、...

【专利技术属性】
技术研发人员：马元文，孙琦，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11