一种可批量调度数据的系统及方法技术方案

本发明专利技术属于大数据处理技术领域，具体涉及一种可批量调度数据的系统及方法，包括：架构搭建单元，其用于搭建所述系统的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。本发明专利技术不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。

A System and Method for Batch Scheduling Data

【技术实现步骤摘要】
一种可批量调度数据的系统及方法
本专利技术属于大数据处理
，具体涉及一种可批量调度数据的系统及方法。
技术介绍
在大数据时代，数据是黄金，数据是整个社会乃各企业团体的重要资产，管好数据、用好数据是整个社会的重要命题。想要用好数据，首先就应该管好数据。而批量调度自动化技术，正是管好数据的重要保证。在众多大大小小数据仓库、数据集市以及各种各样的数据池子中，是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有序、高效的展开。目前，现行azkaban调度工具能解决基于定时任务，基于时间间隔，基于关系依赖的相对复杂的调度任务。但Azkaban调度规模局限，具有人工参与不灵活、调度负载不均衡、不够完善的调度控制策略等缺点。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了及一种可批量调度数据的系统及方法，不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。第一方面，本专利技术提供了一种可批量调度数据的系统，其特征在于，包括：架构搭建单元，其用于搭建所述系统的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。其中，所述三层架构包括应用层、控制层和目标层。其中，采用典型的C/S模式搭建所述系统的三层架构。其中，通过所述应用层获取用户二次开发的项目创建信息，根据所述项目创建信息部署所述控制层的多级调度节点。其中，在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据控制层的批量任务调度执行对应的任务程序。其中，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的任务程序。其中，所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。其中，所述项目创建信息包括项目名称、项目作业流程中的各节点和各节点之间的连接关系。其中，所述应用层包括Admin模块、Designer模块和Monitor模块；所述Admin模块用于，用于管理和设置项目名称；所述Designer模块用于，用于设置项目作业流程中的各节点，以及各节点之间的连接关系；所述Monitor模块用于，用于运行项目并监控项目的运行流程。其中，每个节点由功能不同的多个组件进程组成，节点之间通过Socket完成通信，组件进程之间通过消息队列方式完成通信。其中，所述组件进程包括FDC进程、DRR进程、DAR进程、STR进程、KIM进程、NLS进程、SPS进程、CPG进程、UCD进程、EMR进程、JMM进程、DSY进程和FIM进程。第二方面，本专利技术还提出了一种可批量调度数据的自动化实现方法，适用于权利要求1-7任一项所述的可批量调度数据的系统，其特征在于，包括以下步骤：采用典型的C/S模式搭建所述系统的三层架构，所述三层架构包括应用层、控制层和目标层；通过所述应用层获取用户二次开发的项目创建信息，根据项目创建信息部署所述控制层的多级调度节点；在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据所述控制层的批量任务调度执行对应的任务程序。其中，所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。其中，每个节点由功能不同的多个组件进程组成，节点之间通过Socket完成通信，组件进程之间通过消息队列方式完成通信；所述组件进程包括FDC进程、DRR进程、DAR进程、STR进程、KIM进程、NLS进程、SPS进程、CPG进程、UCD进程、EMR进程、JMM进程、DSY进程和FIM进程。本专利技术实施例，不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为本专利技术实施例中可批量调度数据的系统的结构图；图2为本专利技术实施例中所述系统的三层架构示意图；图3为本专利技术实施例中可批量调度数据的自动化实现方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。实施例一：本实施例提供了一种可批量调度数据的系统，如图1所示，包括：架构搭建单元，其用于搭建所述系统的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。本实施例搭建的所述系统的三层架构如图2所示，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的各种各样的任务程序。专利文献201520554128.2公开了一种大数据处理平台网络架构，包括核心层交换机，应用虚拟化服务器，数据库集群，存储阵列，备份服务器以及至少一交换机；所述应用虚拟化服务器，数据库集群，存储阵列以及备份本文档来自技高网...

【技术保护点】
1.一种可批量调度数据的系统，其特征在于，包括：架构搭建单元，其用于搭建所述系统的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。

【技术特征摘要】
1.一种可批量调度数据的系统，其特征在于，包括：架构搭建单元，其用于搭建所述系统的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。2.根据权利要求1所述的一种可批量调度数据的系统，其特征在于，所述三层架构包括应用层、控制层和目标层。3.根据权利要求1所述的一种可批量调度数据的系统，其特征在于，采用典型的C/S模式搭建所述系统的三层架构。4.根据权利要求2所述的一种可批量调度数据的系统，其特征在于通过所述应用层获取用户二次开发的项目创建信息，根据所述项目创建信息部署所述控制层的多级调度节点。5.根据权利要求2所述的一种可批量调度数据的系统，其特征在于，在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据控制层的批量任务调度执行对应的任务程序。6.根据权利要求2所述的一种可批量调度数据的系统，其特征在于，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的任务程序。7.根据权利要求2所述的一种可批量调度数据的系统，其特征在于，所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器...

【专利技术属性】
技术研发人员：黄清明，
申请(专利权)人：重庆天蓬网络有限公司，
类型：发明
国别省市：重庆,50