一种大数据计算任务多依赖调度系统技术方案

本发明专利技术公开了一种大数据计算任务多依赖调度系统，所述调度系统包括用户端、Web可视化模块、任务模版生成模块、实际任务生成模块、任务依赖解决模块、调度优化计算模块、实际任务调度模块、大数据计算平台。本发明专利技术可通过简单的配置任务参数，自动实现对复杂的任务依赖关系处理，对集群计算资源的合理分配，对计算过程和结果的有效跟踪。这一发明专利技术将极大简化带有复杂依赖关系的大数据计算任务的调度管理过程，提高集群计算资源利用率，加强执行任务的状态管理，同时降低使用难度和任务出错可能。

A multi dependency scheduling system for big data computing tasks

【技术实现步骤摘要】
一种大数据计算任务多依赖调度系统
本专利技术属于计算机
，涉及一种大数据计算任务多依赖调度系统。
技术介绍
随着大数据技术飞速发展，超大量离线数据的存储和计算已经不是难题，最主流的解决方案就是Hadoop分布式系统，其核心是分布式文件系统HDFS与统一的资源管理和调度系统YARN，加上Spark内存计算引擎。但是随着计算过程和不同计算过程之间的依赖关系越发复杂，如何简化日益复杂的计算依赖关系的管理，如何精确把握任务调度过程的状态，如何准确高效的完成大数据计算任务调度，是目前大数据调度系统面临的几大难题。现阶段大数据计算任务调度方式十分多样，有偏向单机执行的程序Crontab和类库Quartz，开源分布式调度系统Oozie和Azkaban，以及其他一些公司自研或基于开源封装的调度软件等等。但是，均存在如下问题：1、无法处理或者仅能处理简单先后顺序依赖关系，要想实现复杂依赖需要封装和改造，必须投入较大开发成本，且功能也受限于软件本身；2、任务密集型调度任务无法合理分配集群资源，导致集群计算资源倾斜，调度产生拥堵；3、操作方式不友好，学习成本高，开发调度效率低；4、无任务资源管理功能，完全靠用户自身进行管理。因此，需要提供一种大数据计算任务多依赖调度系统。
技术实现思路
为了克服现有技术中的缺陷，提供一种大数据计算任务多依赖调度系统。本专利技术通过下述方案实现：一种大数据计算任务多依赖调度系统，所述调度系统包括用户端、Web可视化模块、任务模版生成模块、实际任务生成模块、任务依赖解决模块、调度优化计算模块、实际任务调度模块、大数据计算平台；Web可视化模块用于提供简单易懂用的任务管理Web界面，支持任务状态管理，支持集群资源管理，并新建任务、填写或修改任务参数；任务模版生成模块用于校验并保存所述Web可视化模块中填写或修改的任务参数，并生成任务模版；实际任务生成模块用于根据设定的执行时间对所述任务模版进行检查，使用所述任务模版生成实际任务，并将其任务参数组织成能够直接提交到计算集群的执行命令并保存；任务依赖解决模块用于双向依赖解决所述实际任务；调度优化计算模块用于调整解决了依赖关系的待调度任务的执行顺序；实际任务调度模块用于接收所述调度优化模块提交的执行顺序，并将执行顺序提交到大数据计算平台运行，根据大数据计算平台运行结果，判定所述实际任务前往任务依赖解决模块或调度优化计算模块，将执行结果返回给Web可视化模块。所述任务模版生成模块支持设置任务优先级和调整任务执行顺序，支持设置忍受延迟时间。所述忍受延迟时间用于评价运行超时警告和运行后结果评估。所述双向依赖解决包括生成的新任务进行依赖解决和每个完成的任务进行批量依赖解决。本专利技术方法的有益效果为：1.本专利技术一种大数据计算任务多依赖调度系统提供了快捷的大数据计算任务提交方法，学习成本低，同时采用半自动化解决任务依赖关系，使得用户仅需考虑当前任务依赖，从而简化了依赖关系建立的流程，降低了复杂依赖关系导致出错的可能；2.本专利技术一种大数据计算任务多依赖调度系统中任务依赖关系的解决方式能够处理复杂的多依赖关系，同时将任务抽象成模版，从而实现了任务资源的模版管理。3.本专利技术一种大数据计算任务多依赖调度系统通过调度优化计算模块，能够能处理用户设置的不同优先级、不同紧迫程度的任务，增强了用户对任务执行顺序的控制，同时自动化的资源权衡，也能够使计算资源得到充分利用而不至于倾斜。4.本专利技术一种大数据计算任务多依赖调度系统通过对执行前任务超出预设时间的判断，能够及时对依赖解决存在问题的过程进行提醒，通过对任务执行后的历史数据分析从而预估任务下次执行时间来优化调度顺序，实现了对任务执行顺序的进一步优化。附图说明图1为本专利技术一种大数据计算任务多依赖调度系统的流程框图；具体实施方式下面结合具体实施例对本专利技术进一步说明：一种大数据计算任务多依赖调度系统，所述调度系统包括用户端、Web可视化模块、任务模版生成模块、实际任务生成模块、任务依赖解决模块、调度优化计算模块、实际任务调度模块、大数据计算平台；Web可视化模块用于提供简单易懂用的任务管理Web界面，支持任务状态管理，支持集群资源管理，并新建任务、填写或修改任务参数；Web可视化模块提供简单易懂用的任务管理Web界面，支持任务状态管理，支持集群资源管理。Web可视化模块是本调度系统提供的友好的操作接口，能够对任务进行全方面的管理，提供的功能包括但不限于任务的新建、修改、删除和启停，实时任务状态的查看和修改，历史任务的查询和统计，以及集群负载状态的查看等。任务模版生成模块用于校验并保存所述Web可视化模块中填写或修改的任务参数，并生成任务模版；所述任务模版生成模块支持设置任务优先级和调整任务执行顺序，支持设置忍受延迟时间。所述忍受延迟时间用于评价运行超时警告和运行后结果评估。任务模版生成模块和Web可视化模块配合，校验并保存其中填写或修改的任务参数，生成相应任务模版，供后续实际任务生成模块使用。任务模板生成模块主要内容包含有任务基本信息、任务执行文件、任务执行周期、任务执行参数和任务依赖模版。其中任务基本信息包含任务名、创建人、创建时间等基本信息；任务执行文件检测可执行文件完整性并保存到HDFS；任务执行周期包含任务执行时间、执行周期、任务优先级和忍受延迟时间；任务执行周期支持按照多种时间间隔设置任务周期，支持设置任务优先级调整任务执行顺序，设置忍受延迟时间来提供运行超时警告和运行后结果评估。任务执行参数包含任务所需额外参数，支持传递变量。任务额外参数支持传递由调度系统填入的变量参数，如任务执行时间、时间间隔、提交用户等，同时也支持自定义变量传入。任务依赖模版为依赖的任务名+时间依赖表达方式。支持从已配置任务中选择依赖的任务名，支持时间依赖表达式来设置周期任务之间的依赖关系，支持周期任务自身不同执行时间的自依赖设置。实际任务生成模块用于根据设定的执行时间对所述任务模版进行检查，使用所述任务模版生成实际任务，并将其任务参数组织成能够直接提交到计算集群的执行命令并保存；实际任务生成模块主要的作用是根据设定的执行时间，使用任务模版生成模块生成相应的实际任务。实际任务生成模块具体流程如下：（1）根据实际时间对任务模版进行检查，获得符合执行时间的任务模版；（2）如任务执行参数存在变量，则对任务执行参数进行变量替换，如存在依赖关系，则根据实际时间对任务所有依赖关系进行解读；（3）拼接任务执行实际命令，然后将任务其他信息、执行命令、依赖关系等存储为实际任务；（4）实际任务生成模块按周期执行，因此上述完成后等待到下一次检查时间重新检查模版，形成循环。任务依赖解决模块用于双向依赖解决所述实际任务；所述双向依赖解决包括生成的新任务进行依赖解决和每个完成的任务进行批量依赖解决。任务依赖解决模块主要负本文档来自技高网...

【技术保护点】
1.一种大数据计算任务多依赖调度系统，其特征在于：所述调度系统包括用户端、Web可视化模块、任务模版生成模块、实际任务生成模块、任务依赖解决模块、调度优化计算模块、实际任务调度模块、大数据计算平台；/nWeb可视化模块用于提供简单易懂用的任务管理Web界面，支持任务状态管理，支持集群资源管理，并新建任务、填写或修改任务参数；/n任务模版生成模块用于校验并保存所述Web可视化模块中填写或修改的任务参数，并生成任务模版；/n实际任务生成模块用于根据设定的执行时间对所述任务模版进行检查，使用所述任务模版生成实际任务，并将其任务参数组织成能够直接提交到计算集群的执行命令并保存；/n任务依赖解决模块用于双向依赖解决所述实际任务；/n调度优化计算模块用于调整解决了依赖关系的待调度任务的执行顺序；/n实际任务调度模块用于接收所述调度优化模块提交的执行顺序，并将执行顺序提交到大数据计算平台运行，根据大数据计算平台运行结果，判定所述实际任务前往任务依赖解决模块或调度优化计算模块，将执行结果返回给Web可视化模块。/n

【技术特征摘要】
1.一种大数据计算任务多依赖调度系统，其特征在于：所述调度系统包括用户端、Web可视化模块、任务模版生成模块、实际任务生成模块、任务依赖解决模块、调度优化计算模块、实际任务调度模块、大数据计算平台；
Web可视化模块用于提供简单易懂用的任务管理Web界面，支持任务状态管理，支持集群资源管理，并新建任务、填写或修改任务参数；
任务模版生成模块用于校验并保存所述Web可视化模块中填写或修改的任务参数，并生成任务模版；
实际任务生成模块用于根据设定的执行时间对所述任务模版进行检查，使用所述任务模版生成实际任务，并将其任务参数组织成能够直接提交到计算集群的执行命令并保存；
任务依赖解决模块用于双向依赖解决所述实际任务；
调度优化计算模块用于调整解决了依赖关系的待调度任务的执行顺序；...

【专利技术属性】
技术研发人员：黄胜，
申请(专利权)人：深圳市同洲电子股份有限公司，
类型：发明
国别省市：广东;44