任务流程的执行方法和装置制造方法及图纸

本发明专利技术提供了一种任务流程的执行方法和装置，涉及云计算的技术领域，该方法包括：获取用户发送的第一配置文件和第一任务请求类型，其中，第一配置文件为Xml格式的配置文件，且第一配置文件中包括用户请求操作的目标任务的任务信息；对第一配置文件和第一任务请求类型进行格式转换处理，处理得到第二配置文件和第二任务请求类型，其中，第二配置文件为Json格式的文件，且第二配置文件和第二任务请求类型均能够被作业调度器Chronos识别；向作业调度器Chronos提交第二配置文件和第二任务请求类型，以使作业调度器Chronos在Mesos集群场景中运行目标任务，缓解了现有的任务编排和调度工具通用性较差的技术问题。

The execution method and device of the task flow

The present invention provides a method and apparatus for performing a task flow, relates to the technical field of cloud computing, the method includes: obtaining the first configuration file sent by the user and the first task request type, wherein the first configuration file for the Xml file, including the target task task information user request operation and the first configuration file in the first configuration file; and the first task request type format conversion processing, processing second profiles and second types of task requests, among them, second configuration file for the Json file format, and the second configuration files and second types of task requests can be Chronos to identify job scheduler; job scheduler Chronos second configuration file and submit the second task types of requests, in order to make the job scheduler Chronos running tasks in the Mesos cluster in the scene It relieves the technical problems of poor generality of the existing task scheduling and scheduling tools.

【技术实现步骤摘要】
任务流程的执行方法和装置
本专利技术涉及云计算的
，尤其是涉及一种任务流程的执行方法和装置。
技术介绍
进入二十世纪以来，随着互联网的普及和移动互联的发展，网络中的数据体量成几何式增长。为了对如此庞大的数据集进行分析及存储，大数据技术应运而生。而由Apache基金会主导的项目Mesos分布式资源管理框架，又被称为分布式系统的内核，就是为管理计算资源的使用而生的。在Mesos的集群场景下，支持多个分布式框架同时运行。当在Mesos环境上面运行多个任务的时候，任务之前不单单有简单的依赖关系(例如，成功继续执行，失败不继续执行)，同时任务的执行过程中需要很多的先决条件(例如，文件是否存在，数据库字段是否正确)，且任务的某个参数可能需要临时变更，因此，需要一个可以对任务集进行编排及调度的工具。目前，这种工具为属的编排及调度工具，如Oozie和Nifi等，此类工具专为大数据任务所订制，内部包含了很多大数据任务相关的参数，方便对大数据任务的编排及调度，但是该类工具的通用性不强，在非大数据任务上面的功能不全面，并且对分布式系统内核的要求比较高，兼容性不强。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种任务流程的执行方法和装置，以缓解了现有的任务编排和调度工具通用性较差的技术问题。第一方面，本专利技术实施例提供了一种任务流程的执行方法，包括：获取用户发送的第一配置文件和第一任务请求类型，其中，所述第一配置文件为Xml格式的配置文件，且所述第一配置文件中包括用户请求操作的目标任务的任务信息；对所述第一配置文件和所述第一任务请求类型进行格式转换处理，处理得到第二配置文件和第二任务请求类型，其中，所述第二配置文件为Json格式的文件，且所述第二配置文件和所述第二任务请求类型均能够被作业调度器Chronos识别；向所述作业调度器Chronos提交所述第二配置文件和所述第二任务请求类型，以使所述作业调度器Chronos在Mesos集群场景中运行所述目标任务。进一步地，对所述第一配置文件进行格式转换处理，处理得到第二配置文件包括：在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件；在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件；基于所述第一配置文件中的剩余配置信息生成第三Json文件，其中，所述剩余配置信息为所述第一配置文件中除所述查找先决任务的配置信息和所述分支任务的配置信息之外的配置信息；对所述第一Json文件，所述第二Json文件和所述第三Json文件进行合成，得到所述第二配置文件。进一步地，在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件包括：在所述第一配置文件中查找第一字段；如果在所述第一配置文件中查找到所述第一字段，则生成所述先决任务，其中，所述先决任务的任务内容与所述第一字段的内容相关联；在生成所述先决任务之后，生成所述先决任务的第一Json文件。进一步地，在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件包括：在所述第一配置文件中查找第二字段；如果在所述第一配置文件中查找到所述第二字段，则生成分支判断任务，其中，所述分支判断任务用于在对应的分支任务执行之前，判断所述对应的分支任务是否执行，所述分支判断任务与所述分支任务一一对应；在生成所述分支判断任务之后，生成所述第二Json文件。进一步地，如果所述第一任务请求类型为创建请求，则在获取用户发送的第一配置文件和第一任务请求类型之后，所述方法还包括：在数据库中为任务参数分配目标字段，以在所述目标字段创建字段变量，所述字段变量用于指示所述任务参数；其中，当执行所述目标任务时，则从所述数据库中读取所述字段变量，以获取所述任务参数；当更新所述字段变量时，则向所述数据库发送更新指令，以使所述数据库按照更新指令中更新之后的任务参数对所述字段变量进行更新。进一步地，在向所述作业调度器Chronos提交所述第二配置文件和所述第二任务请求类型，以使所述作业调度器Chronos在Mesos集群场景中运行所述目标任务之后，所述方法还包括：获取所述目标任务的运行结果；判断所述运行结果是否为运行失败的结果；如果判断出所述运行结果是运行失败的结果，则将运行失败信息写入非关系型数据库的报警频道中；其中，当监控脚本监控到所述运行失败信息时，通过监控服务器将所述运行失败信息发送至监控人员。进一步地，在获取所述目标任务的运行结果之后，所述方法还包括：将所述运行结果保存至Mysql数据库中。进一步地，在得到第二配置文件和第二任务请求类型之后，所述方法还包括：将所述第二配置文件和所述第二任务请求类型保存至Mysql数据库中。第二方面，本专利技术实施例还提供一种任务流程的执行装置，包括：获取单元，用于获取用户发送的第一配置文件和第一任务请求类型，其中，所述第一配置文件为Xml格式的配置文件，且所述第一配置文件中包括用户请求操作的目标任务的任务信息；转换单元，用于对所述第一配置文件和所述第一任务请求类型进行格式转换处理，处理得到第二配置文件和第二任务请求类型，其中，所述第二配置文件为Json格式的文件，且所述第二配置文件和所述第二任务请求类型均能够被作业调度器Chronos识别；发送单元，用于向所述作业调度器Chronos提交所述第二配置文件和所述第二任务请求类型，以使所述作业调度器Chronos在Mesos集群场景中运行所述目标任务。进一步地，所述转换单元包括：第一查找模块，用于在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件；第二查找模块，用于在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件；生成模块，用于基于所述第一配置文件中的剩余配置信息生成第三Json文件，其中，所述剩余配置信息为所述第一配置文件中除所述查找先决任务的配置信息和所述分支任务的配置信息之外的配置信息；合成模块，用于对所述第一Json文件，所述第二Json文件和所述第三Json文件进行合成，得到所述第二配置文件。在本专利技术实施例中，首先获取用户发送的第一配置文件和第一任务请求类型，其中，第一配置文件为Xml格式的配置文件；然后，对第一配置文件和第一任务请求类型进行格式转换处理，得到第二配置文件和第二任务请求类型；最后，向作业调度器提交第二配置文件和第二任务请求类型，以使作业调度器Chronos在Mesos集群场景中运行所述目标任务。在本专利技术实施例中，用户只需要提交一个Xml格式的配置文件，就能够完成创建一个完整任务的工作，相对于现有的任务编排和调度工具，本专利技术实施例提供的方法，达到了提高任务编排和调度工具的通用型的目的，进而缓解了现有的任务编排和调度工具通用性较差的技术问题。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的本文档来自技高网...

【技术保护点】
一种任务流程的执行方法，其特征在于，包括：获取用户发送的第一配置文件和第一任务请求类型，其中，所述第一配置文件为Xml格式的配置文件，且所述第一配置文件中包括用户请求操作的目标任务的任务信息；对所述第一配置文件和所述第一任务请求类型进行格式转换处理，处理得到第二配置文件和第二任务请求类型，其中，所述第二配置文件为Json格式的文件，且所述第二配置文件和所述第二任务请求类型均能够被作业调度器Chronos识别；向所述作业调度器Chronos提交所述第二配置文件和所述第二任务请求类型，以使所述作业调度器Chronos在Mesos集群场景中运行所述目标任务。

【技术特征摘要】
1.一种任务流程的执行方法，其特征在于，包括：获取用户发送的第一配置文件和第一任务请求类型，其中，所述第一配置文件为Xml格式的配置文件，且所述第一配置文件中包括用户请求操作的目标任务的任务信息；对所述第一配置文件和所述第一任务请求类型进行格式转换处理，处理得到第二配置文件和第二任务请求类型，其中，所述第二配置文件为Json格式的文件，且所述第二配置文件和所述第二任务请求类型均能够被作业调度器Chronos识别；向所述作业调度器Chronos提交所述第二配置文件和所述第二任务请求类型，以使所述作业调度器Chronos在Mesos集群场景中运行所述目标任务。2.根据权利要求1所述的方法，其特征在于，对所述第一配置文件进行格式转换处理，处理得到第二配置文件包括：在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件；在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件；基于所述第一配置文件中的剩余配置信息生成第三Json文件，其中，所述剩余配置信息为所述第一配置文件中除所述查找先决任务的配置信息和所述分支任务的配置信息之外的配置信息；对所述第一Json文件，所述第二Json文件和所述第三Json文件进行合成，得到所述第二配置文件。3.根据权利要求2所述的方法，其特征在于，在所述第一配置文件中查找先决任务的配置信息，并基于查找到的所述先决任务的配置信息生成所述先决任务的第一Json文件包括：在所述第一配置文件中查找第一字段；如果在所述第一配置文件中查找到所述第一字段，则生成所述先决任务，其中，所述先决任务的任务内容与所述第一字段的内容相关联；在生成所述先决任务之后，生成所述先决任务的第一Json文件。4.根据权利要求2所述的方法，其特征在于，在所述第一配置文件中查找分支任务的配置信息，并基于查找到的所述分支任务的配置信息生成所述分支任务的第二Json文件包括：在所述第一配置文件中查找第二字段；如果在所述第一配置文件中查找到所述第二字段，则生成分支判断任务，其中，所述分支判断任务用于在对应的分支任务执行之前，判断所述对应的分支任务是否执行，所述分支判断任务与所述分支任务一一对应；在生成所述分支判断任务之后，生成所述第二Json文件。5.根据权利要求1所述的方法，其特征在于，如果所述第一任务请求类型为创建请求，则在获取用户发送的第一配置文件和第一任务请求类型之后，所述方法还包括：在数据库中为任务参数分配目标字段，以在所述目标字段创建字段变量，所述字段变量...

【专利技术属性】
技术研发人员：刘朗，郑昀，
申请(专利权)人：北京云纵信息技术有限公司，
类型：发明
国别省市：北京,11