大数据的任务调度方法和系统技术方案

本发明专利技术公开了一种大数据的任务调度方法，其包括以下步骤：根据任务类型创建任务模板；选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；读取所述任务，生成任务示例，获取任务执行过程信息。本发明专利技术还公开了大数据的任务调度系统。本发明专利技术结合大数据场景调度、分配、执行及不同数据类型的独特特征，突出分类型、多触发、策略调起、血缘依赖等特点，进行大数据内部生态的构建，通过大数据任务调度，根据不同任务类型按照不同策略进行大数据任务调度管理。

Task Scheduling Method and System for Large Data

The invention discloses a task scheduling method with large data, which includes the following steps: creating task template according to task type; selecting task template and task scheduling service number to create task and forming configuration file. The created task includes task name, task content and task execution cycle. The task content is configured by Kv value and built by kV file format. Establish the dependencies between tasks; read the tasks, generate task examples, and obtain the information of task execution process. The invention also discloses a task scheduling system with large data. The invention combines the unique characteristics of large data scenario scheduling, distribution, execution and different data types, highlights the characteristics of classification, multi-trigger, strategy invocation, blood dependence, and so on, carries out the construction of internal ecology of large data, and carries out large data task scheduling management according to different task types according to different strategies through large data task scheduling.

【技术实现步骤摘要】
大数据的任务调度方法和系统
本专利技术涉及大数据任务调度管理
，更具体的说，涉及一种大数据任务调度方法及系统。
技术介绍
在大数据的业务应用中，随着业务指标的迭代，而使其日趋复杂化的时候，管理大数据的相关应用会变成一件头疼的事情，如：作业的依赖调度、任务的运行情况监控、异常问题的排查等，这些问题会使得我们日常的工作变得复杂。在大数据分析系统中，有一些脚本或执行单元需要在特定的时间启动，有的甚至需要在某些条件符合后才进行，这种情况下只靠人工很难实现，一些系统也提供了一些定时任务的配置，但是这种配置管理起来比较麻烦，有些还必须要侵入到执行机的系统当中，带来很大的隐患。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种大数据的任务调度方法，其结合大数据场景调度、分配、执行及不同数据类型的独特特征，突出分类型、多触发、策略调起、血缘依赖等特点，进行大数据内部生态的构建，通过大数据任务调度，根据不同任务类型按照不同策略进行大数据任务调度管理。本专利技术的目的之二在于提供一种大数据的任务调度系统，为了很好解决人工配置管理的问题，更多结合大数据场景调度、分配、执行及不同数据类型的独特特征，突出分类型、多触发、策略调起、血缘依赖等特点，进行大数据内部生态的构建，通过大数据任务调度，根据不同任务类型按照不同策略进行大数据任务调度管理。本专利技术的目的之一采用如下技术方案实现：一种大数据的任务调度方法，其包括以下步骤：根据任务类型创建任务模板；选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；读取所述任务，生成任务示例，获取任务执行过程信息。进一步地，所述根据任务类型创建任务模板，包括：设置模板名称，或/和自动生成模板ID；生成模板数据项，根据任务类型对每个模板数据项输入对应的数据项值及属性。进一步地，所述选择任务模板以及任务调度服务编号创建任务，包括：创建任务名称，选择调度类型和任务执行周期；创建任务，根据任务类型选择任务模板，通过kv值的方式配置任务内容；通过kv文件格式建立任务之间的依赖关系。进一步地，所述读取所述任务，生成任务示例，获取任务执行过程信息，包括：根据所述任务实例生成任务执行列表；对所述任务执行列表进行监控，当任务满足触发条件时，执行所述任务。进一步地，所述根据所述任务实例生成任务执行列表，包括：读取所述配置文件，获取任务检查的间隔时间和任务生成时间范围；找出下一次执行时间和当前时间之间间隔在任务生成时间范围内的所有任务状态为待检查任务和作业执行时间，所述待检查任务为未生成任务执行列表的任务；根据所述待检查任务的任务名称、任务内容以及任务执行周期生成任务执行列表，所述任务执行列表包括任务名称、任务执行时间和任务优先级；更新所述待检查任务的状态，将所述待检查任务的状态更新为任务作业已生成；所述对所述任务执行列表进行监控，当任务满足触发条件时，执行所述任务，包括：根据任务检查的间隔时间检测出待检查任务，以生成任务执行列表；以预设间隔循环检查所述任务执行列表中的任务执行时间，如果当前时间满足任务执行时间，则：创建任务执行子线程，根据任务内容的任务类型调用不同的任务类型模块，读取任务内容；对任务内容的参数进行分解，生成任务实例，根据所述任务实例执行目标任务；所述目标任务为当前时间满足任务执行时间的任务。本专利技术的目的之二采用如下技术方案实现：一种大数据的任务调度系统，包括：任务模板创建模块，用于根据任务类型创建任务模板；任务调度管理模块，用于选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；任务执行模块，用于读取所述任务，生成任务示例，获取任务执行过程信息。进一步地，所述任务模板创建模块包括：设置单元，用于设置模板名称，或/和自动生成模板ID；第一生成单元，用于生成模板数据项，根据任务类型对每个模板数据项输入对应的数据项值及属性。进一步地，所述任务调度管理模块包括：第一创建单元，用于创建任务名称，选择调度类型和任务执行周期；第二创建单元，用于创建任务，根据任务类型选择任务模板，通过kv值的方式配置任务内容；通过kv文件格式建立任务之间的依赖关系。进一步地，所述任务执行模块包括：第二生成单元，用于根据所述任务实例生成任务执行列表；触发单元，用于对所述任务执行列表进行监控，当任务满足触发条件时，执行所述任务。进一步地，所述第二生成单元包括：读取子单元，用于读取所述配置文件，获取任务检查的间隔时间和任务生成时间范围；检测子单元，用于找出下一次执行时间和当前时间之间间隔在任务生成时间范围内的所有任务状态为待检查任务和作业执行时间，所述待检查任务为未生成任务执行列表的任务；第一生成子单元，用于根据所述待检查任务的任务名称、任务内容以及任务执行周期生成任务执行列表，所述任务执行列表包括任务名称、任务执行时间和任务优先级；更新子单元，用于更新所述待检查任务的状态，将所述待检查任务的状态更新为任务作业已生成；所述触发单元包括：第二生成子单元，用于根据任务检查的间隔时间检测出待检查任务，以生成任务执行列表；判断子单元，用于以预设间隔循环检查所述任务执行列表中的任务执行时间，如果当前时间满足任务执行时间，则：执行子单元，用于创建任务执行子线程，根据任务内容的任务类型调用不同的任务类型模块，读取任务内容；对任务内容的参数进行分解，生成任务实例，根据所述任务实例执行目标任务；所述目标任务为当前时间满足任务执行时间的任务。相比现有技术，本专利技术的有益效果在于：1.定时的任务计划触发：根据不同的任务类型设置灵活的触发时间点(Hourly/Daily/Weekly/Monthly/Yearly等)，根据时间周期分解计算任务，尽可能的并行执行任务，缩短执行时间，增加任务执行的整体时间窗口。2.任务之间的灵活依赖：可将任意一个任务作为自己的父任务进行依赖触发；任务执行之间能够互相依赖，前置任务失败，后续依赖任务不执行。3.灵活多样的告警规则：任务失败能够及时有效的告警，方便运维人员维护。除了失败告警，也支持任务超时未完成、任务超时未开始等告警规则。4.提供完善易用的Web用户界面：用于用户配置、提交、查询、监控任务及任务的依赖关系。5.系统具有完整的日志记录：收集并记录任务运行过程中产生的标准输出和标准错误，提供Http访问，用户可通过访问任务对应的日志Url来方便的访问任务运行日志。附图说明图1为本专利技术大数据的任务调度方法的流程图；图2为本专利技术创建任务模板的流程图；图3为本专利技术调度任务管理的流程图；图4为本专利技术任务执行的流程图；图5为本专利技术大数据的任务调度系统的结构框图。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。大数据的任务调度方法，通过构建大数据的任务调度平台(通过软件或/和硬件实现)，在数据采集、数据清洗以及的数据分析的不同阶段，根据不同任务本文档来自技高网...

【技术保护点】
1.一种大数据的任务调度方法，其特征在于，其包括以下步骤：根据任务类型创建任务模板；选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；读取所述任务，生成任务示例，获取任务执行过程信息。

【技术特征摘要】
1.一种大数据的任务调度方法，其特征在于，其包括以下步骤：根据任务类型创建任务模板；选择任务模板以及任务调度服务编号创建任务，形成配置文件，创建的任务包括任务名称、任务内容以及任务执行周期，所述任务内容通过kv值的方式配置，通过kv文件格式建立任务之间的依赖关系；读取所述任务，生成任务示例，获取任务执行过程信息。2.如权利要求1所述的大数据的任务调度方法，其特征在于，所述根据任务类型创建任务模板，包括：设置模板名称，或/和自动生成模板ID；生成模板数据项，根据任务类型对每个模板数据项输入对应的数据项值及属性。3.如权利要求1所述的大数据的任务调度方法，其特征在于，所述选择任务模板以及任务调度服务编号创建任务，包括：创建任务名称，选择调度类型和任务执行周期；创建任务，根据任务类型选择任务模板，通过kv值的方式配置任务内容；通过kv文件格式建立任务之间的依赖关系。4.如权利要求1所述的大数据的任务调度方法，其特征在于，所述读取所述任务，生成任务示例，获取任务执行过程信息，包括：根据所述任务实例生成任务执行列表；对所述任务执行列表进行监控，当任务满足触发条件时，执行所述任务。5.如权利要求4所述的大数据的任务调度方法，其特征在于，所述根据所述任务实例生成任务执行列表，包括：读取所述配置文件，获取任务检查的间隔时间和任务生成时间范围；找出下一次执行时间和当前时间之间间隔在任务生成时间范围内的所有任务状态为待检查任务和作业执行时间，所述待检查任务为未生成任务执行列表的任务；根据所述待检查任务的任务名称、任务内容以及任务执行周期生成任务执行列表，所述任务执行列表包括任务名称、任务执行时间和任务优先级；更新所述待检查任务的状态，将所述待检查任务的状态更新为任务作业已生成；所述对所述任务执行列表进行监控，当任务满足触发条件时，执行所述任务，包括：根据任务检查的间隔时间检测出待检查任务，以生成任务执行列表；以预设间隔循环检查所述任务执行列表中的任务执行时间，如果当前时间满足任务执行时间，则：创建任务执行子线程，根据任务内容的任务类型调用不同的任务类型模块，读取任务内容；对任务内容的参数进行分解，生成任务实例，根据所述任务实例执行目标任务；所述目标任务为当前时间满足任务执行时间的任务。6.一种大数据的任务调度系统，其特征在于包括：任务模板创建模...

【专利技术属性】
技术研发人员：方秋水，刘强，何建兵，陈卫国，吴金成，罗鸣鸣，冷梦甜，
申请(专利权)人：广东岭南通股份有限公司，
类型：发明
国别省市：广东,44