任务流执行方法、装置、设备和介质制造方法及图纸

提供了一种任务流执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品。任务流执行方法包括：执行对可编程式客户端进行初始化的代码，其中，可编程式客户端被初始化以提供用于创建任务流的工具类；获取利用可编程式客户端的工具类进行编程而创建的任务流，其中，任务流包括与当前任务相关联的多个子任务流；以及向任务调度系统提交所创建的任务流，以使得任务调度系统执行与当前任务相关联的多个子任务流。的多个子任务流。的多个子任务流。

【技术实现步骤摘要】
任务流执行方法、装置、设备和介质


[0001]本公开涉及计算机
，具体涉及一种用任务流执行方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着大数据业务的复杂度日益增高，需要通过大量的离线数据处理任务完成对业务数据的加工，而任务的普遍形式为定时执行或触发执行，因此基于对这些任务的调度执行产生了任务调度系统。诸如Dolphin Scheduler之类的任务调度系统负责管理一个任务何时运行、何时结束以及正确的处理任务之间的依赖关系。Dolphin Scheduler系统是一个分布式去中心化，易扩展的可视化有向无环图(Direct Acyclic Graph，DAG)任务流调度平台。
[0003]在使用Dolphin Scheduler时，用户在浏览器页面中通过拖拽方式将任务关联形成工作流。对于一个复杂的数据处理流程，这需要创建完整的处理流程图，创建过程较为复杂。并且，当流程运行出现问题时，需要人工确定执行的是哪条子流程。

技术实现思路

[0004]提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。
[0005]根据本公开的一方面，提供了一种任务流执行方法，包括：执行对可编程式客户端进行初始化的代码，其中，所述可编程式客户端被初始化以提供用于创建任务流的工具类；获取利用所述可编程式客户端的所述工具类进行编程而创建的任务流，其中，所述任务流包括与当前任务相关联的多个子任务流；以及向所述任务调度系统提交所创建的任务流，以使得所述任务调度系统执行与所述当前任务相关联的所述多个子任务流。
[0006]根据本公开的另一方面，提供了一种任务流执行装置，包括：第一模块，用于执行对可编程式客户端进行初始化的代码，其中，所述可编程式客户端被初始化以提供用于创建任务流的工具类；第二模块，用于获取利用所述可编程式客户端的所述工具类进行编程而创建的任务流，其中，所述任务流包括与当前任务相关联的多个子任务流；以及第三模块，用于向所述任务调度系统提交所创建的任务流，以使得所述任务调度系统执行与所述当前任务相关联的所述多个子任务流。
[0007]根据本公开的另一方面，提供了一种计算机设备，包括：处理器；以及存储器，存储器存储有可被处理器执行的指令，指令在由处理器执行时，使处理器执行上述其中，所述计算机程序在被所述至少一个处理器执行时，使所述至少一个处理器执行上述任务流执行方法。
[0008]根据本公开的另一方面，提供了一种存储有指令的非瞬时计算机可读存储介质，指令在由处理器执行时，使处理器执行上述任务流执行方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括：指令，其中，指令在被处理器执行时，使处理器执行上述任务流执行方法。
[0010]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0011]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0012]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
[0013]图2是图示出根据示例性实施例的任务流执行方法的流程图；
[0014]图3是根据本公开实施例的工具类的示例图；
[0015]图4是根据本公开实施例的有向无环图样的示例图；
[0016]图5是根据本公开实施例的在DS系统中DAG编辑界面中展示有向无环图的示例图；
[0017]图6是图示出根据示例性实施例的任务流执行装置的示意性框图；
[0018]图7是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
[0019]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0020]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及
“……
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0021]在介绍本公开的示例性实施例之前，首先对本文中使用的若干术语进行解释。
[0022]下面结合附图详细描述本公开的示例性实施例。
[0023]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
[0024]参考图1，该系统100包括客户端设备110、服务器120、以及将客户端设备110与服务器120通信地耦合的网络130。
[0025]客户端设备110包括显示器114和可经由显示器114显示的应用程序(APP)112。应用程序112可以为运行前需要下载和安装的应用程序或者作为轻量化应用程序的小程序(lite app)。在应用程序112为运行前需要下载和安装的应用程序的情况下，应用程序112可以被预先安装在客户端设备110上并被激活。在应用程序112为小程序的情况下，用户102可以通过在宿主应用中搜索应用程序112(例如，通过应用程序112的名称等)或扫描应用程序112的图形码(例如，条形码、二维码等)等方式，在客户端设备110上直接运行应用程序112，而无需安装应用程序112。在一些实施例中，客户端设备110可以是任何类型的移动电子设备，包括移动计算机、移动电话、可穿戴式电子设备(例如智能手表、头戴式设备，包括
智能眼镜，等)或其他类型的移动设备。在一些实施例中，客户端设备110可以替换地是固定式电子设备，例如台式机、服务器计算机或其他类型的固定式电子设备。
[0026]服务器120典型地为由互联网服务提供商(ISP)或互联网内容提供商(ICP)部署的服务器。服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是，虽然图1中示出服务器120与仅一个客户端设备110通信，但是服务器120可以同时为多个客户端设备提供后台服务。
[0027]网络130的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一些实施例中，使用包括超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来处理通过网络130交换的数据。此外，还可以使用诸如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、网际协议安全(I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务流执行方法，包括：执行对可编程式客户端进行初始化的代码，其中，所述可编程式客户端被初始化以提供用于创建任务流的工具类；获取利用所述可编程式客户端的所述工具类进行编程而创建的任务流，其中，所述任务流包括与当前任务相关联的多个子任务流；以及向任务调度系统提交所创建的任务流，以使得所述任务调度系统执行与所述当前任务相关联的所述多个子任务流。2.根据权利要求1所述的方法，其中，所述多个子任务流中的每个子任务流包括至少一个任务节点，每个任务节点用于实现所述当前任务的相应环节。3.根据权利要求2所述的方法，其中，所述工具类定义所述多个子任务流的多个任务节点分别对应的任务类型以及所述多个任务节点之间的关联关系。4.根据权利要求3所述的方法，其中，所述工具类包括：客户端接口类、模块管理类、任务流模块类、网络请求工具类、有向无环图抽象类、有向无环图边类、有向无环图顶点类、任务定义类。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述可编程式客户端被初始化有所述任务调度系统的网络地址，并且其中，所述向任务调度系统提交所创建的任务流包括：经由所述网络地址向所述任务调度系统提交所...

【专利技术属性】
技术研发人员：马思佳，
申请(专利权)人：腾云天宇科技北京有限公司，
类型：发明
国别省市：