大数据环境下大规模事务型作业调度与处理通用系统技术方案

大数据环境下大规模事务型作业调度与处理通用平台，包括作业适配器、作业调度中心和多个作业处理引擎。作业适配器通过统一的事务型作业接口接收来自上层业务应用系统的作业，转发给作业调度中心，将来自作业调度中心的作业执行结果反馈给上层业务应用系统。作业调度中心计算每个作业处理引擎响应评分，按调度顺序将作业推送给评分最高的作业处理引擎，根据作业执行情况对作业进行移除或上报，将作业处理结果反馈给作业适配器。每个作业处理引擎对作业进行处理，将作业执行情况和作业执行结果反馈给作业调度中心。本发明专利技术通过事务型作业接口减轻了上层应用系统开发工作，满足业务逻辑动态变更需求，实现了大规模事务型作业高效可靠地并行处理。

The large-scale transaction scheduling of large data environment and processing platform

A general platform for job scheduling and processing in large data environments, including job adapters, job scheduling centers, and multiple job processing engines. Work from the top adapter receiving business application system operation through the transaction type unified operation interface, forwarded to the scheduling center, from scheduling center job execution result to the business application system. Scheduling center is calculated for each job processing engine response score, according to the scheduling order will work pushed to the highest score of job processing engine, according to the implementation of operation to remove or to work, will the job processing result feedback to the operation adapter. Each job processing engine processes the job, and feedback the job execution and job execution results to the job scheduling center. The method reduces the application work of the upper application system, meets the dynamic change demand of the business logic, and realizes the efficient and reliable parallel processing of the large-scale transaction operation through the transaction type interface.

【技术实现步骤摘要】
大数据环境下大规模事务型作业调度与处理通用平台
本专利技术涉及大数据环境下大规模事务型作业调度与处理通用平台，属于大数据

技术介绍
在大数据时代，信息技术飞速发展，应用系统规模迅速扩大，产生的数据呈爆炸式增长。从多源、异构、海量的数据中提取出有价值信息已远远超出了传统信息系统的处理能力，由此大数据技术应运而生。在大数据领域，通常将数据处理过程划分为若干个作业进行处理。如何对大规模作业进行高效、合理调度和处理，同时保证作业执行的原子性和一致性，以及作业间的共享资源并发访问控制成为当前亟需解决的难题。为了解决这一问题，国内外开展了大量研究，涌现出一些大数据处理框架。例如：Apache发布了Storm实时数据流处理框架，其预先将业务逻辑封装在拓扑中，集群基于拓扑进行调度和处理。在最新版本Storm中还引入了事务性拓扑，对作业执行异常采取容错处理。该框架所使用的拓扑为静态图结构，拓扑在提交后无法在线调整，不能满足业务逻辑动态变更的需求，而且新提出的事务处理机制粒度不够精细。微软发布了Dryad分布式运算框架，基于动态的DAG图来调度计算节点Vertex执行。该框架适用场景固然灵活，本文档来自技高网...

【技术保护点】
大数据环境下大规模事务型作业调度与处理通用平台，其特征在于：包括一个作业适配器、一个作业调度中心和多个作业处理引擎；作业适配器通过统一的事务型作业接口，接收来自上层业务应用系统的作业，并将接收的作业转发给作业调度中心，将来自作业调度中心的作业执行结果反馈给上层业务应用系统；所述事务型作业接口定义了所接收作业的模板，该模板包括作业类型、作业对应的执行控制点以及请求使用资源的许可级别，所述每个执行控制点对应一类资源；所述作业类型按照作业的即时性要求程度、执行时间长短、是否易耗内存、I/O访问是否频繁进行划分；所述请求使用资源的许可级别为共享或独占；作业调度中心接收并存储来自作业适配器的作业，根据该...

【技术特征摘要】
1.大数据环境下大规模事务型作业调度与处理通用平台，其特征在于：包括一个作业适配器、一个作业调度中心和多个作业处理引擎；作业适配器通过统一的事务型作业接口，接收来自上层业务应用系统的作业，并将接收的作业转发给作业调度中心，将来自作业调度中心的作业执行结果反馈给上层业务应用系统；所述事务型作业接口定义了所接收作业的模板，该模板包括作业类型、作业对应的执行控制点以及请求使用资源的许可级别，所述每个执行控制点对应一类资源；所述作业类型按照作业的即时性要求程度、执行时间长短、是否易耗内存、I/O访问是否频繁进行划分；所述请求使用资源的许可级别为共享或独占；作业调度中心接收并存储来自作业适配器的作业，根据该作业对应的执行控制点以及请求使用资源的许可级别，确定作业的调度顺序；查询作业处理引擎的运行状态，计算每个正常运行的作业处理引擎响应评分，按调度顺序将作业推送给评分最高的作业处理引擎；接收作业处理引擎反馈的作业执行情况和作业执行结果，当作业执行完成时，将作业移除，并将作业执行结果反馈给作业适配器；当作业执行异常时，上报人工处理；每个作业处理引擎拥有多个作业执行器，作业处理引擎接收作业调度中心发送的作业，将其分配给空闲的作业执行器进行处理；同时作业处理引擎监控各作业执行器的执行状态，当发现处理异常时，终止该作业执行器的执行，将作业重新分配给其他的空闲作业执行器进行处理；作业执行结束后，作业处理引擎从作业执行器采集作业的执行情况和作业执行结果，并反馈给作业调度中心。2.根据权利要求1所述大数据环境下大规模事务型作业调度与处理通用平台，其特征在于：所述作业调度中心包括作业计划图和作业调度器；作业计划图是由各个执行控制点组成的一个动态有向无环图，每个执行控制点由许可区和排队区两部分组成，进入作业调度中心的作业首先进入所声明执行控制点的排队区等待，执行控制点按照作业请求使用资源的许可级别决定排队区的作业能否进入许可区，作业计划图将进入许可区的作业发送给作业调度器进行调度；接收作业处理引擎反馈的作业执行情况和作业执行结果，当作业执行完成时，将作业移除，并将作业执行结果反馈给作业适配器；当作业执行异常时，上报人工处理；作业调度器每接收到一个作业，首先查询作业处理引擎的运行状态，计算每个正常运行的作业处理引擎响应...

【专利技术属性】
技术研发人员：王若冰，孙毅方，刘瑞，胡泉，占敏，佟轶，杨越，李雪巍，张博，孙运乾，
申请(专利权)人：中国航天系统科学与工程研究院，
类型：发明
国别省市：北京,11