一种任务调度方法、装置及系统制造方法及图纸

本申请提供了一种任务调度方法、装置及系统，其中方法包括：确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定与详情信息中群组标识对应的执行器群组；发送所述当前任务至所述执行器群组中的执行器。本实施例中适用于大规模数据分析，在大规模数据分析中，基于任务详情信息中的群组标识，来发送任务至相应的执行器群组中的执行器，从而可以解决现有技术中无法适用于大规模数据分析的缺陷。

【技术实现步骤摘要】
一种任务调度方法、装置及系统
本申请涉及计算机
，尤其涉及一种任务调度方法、装置及系统。
技术介绍
参见图1，为现有技术进行大数据分析的任务调度系统，具体包括服务器和多个执行器。大数据分析通常包括具有相互依赖关系的多个任务，服务器将具有相互依赖关系的多个任务，组成具有一定执行顺序工作流，并按工作流进行任务调度，以控制执行器来执行任务。但是，目前任务调度系统中多个执行器的执行环境均是一致的，所以目前的任务调度系统没有群组概念(或者说目前任务调度系统仅适用于一个群组)，无法适用于大规模数据分析中在多个群组中实现任务调度。
技术实现思路
鉴于此，本申请提供一种任务调度方法、装置及系统，可以适应于大规模数据分析中在多个群组中实现任务调度。为了实现上述目的，本申请提供以下技术特征：一种任务调度方法，包括：确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定与详情信息中群组标识对应的执行器群组；发送所述当前任务至所述执行器群组中的执行器。可选的，所述详情信息还包括执行器标识或软件版本；则所述发送所述当前任务至所述执行器群组中的执行器，包括：发送所述当前任务至发送所述当前任务至执行器标识对应的执行器；或，发送所述当前任务至所述软件版本对应的执行器。可选的，所述发送所述当前任务至所述软件版本对应的执行器，包括：在所述执行器群组中具有至少两个与所述软件版本对应的执行器的情况下，确定出负载最小的执行器，并发送当前任务至该执行器。可选的，在确定大数据分析工作流中的当前任务以及当前任务的详情信息之前，还包括：提供第一显示界面以及第二显示界面；其中，所述第二显示界面用于显示大数据分析的任务图标；在所述第一显示界面建立包含多个任务图标及其连接关系的连线图；基于所述连线图生成工作流。可选的，所述在所述第一显示界面建立包含多个任务图标及其连接关系的连线图，包括：响应于任务图标由所述第二显示界面至所述第一显示界面的拖动操作，并在所述第一显示界面显示任务图标；响应于所述第一显示界面中任务图标之间的连线操作，并在图标之间显示带方向的连接线；重复执行上述拖动操作和连线操作，直到多个任务使用完毕。可选的，所述基于所述连线图生成工作流，包括：确定连接线输入端的任务图标对应代码，以及连接线输出端的任务图标对应代码；在输出端的任务图标对应代码的输入集合中，添加所述输入端的任务图标的代码；输入集合内任务之间为并联连接符，连接线两端任务之间为串联连接符。一种任务调度装置，包括：确定任务单元，用于确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定群组单元，用于确定与详情信息中群组标识对应的执行器群组；发送单元，用于发送所述当前任务至所述执行器群组中的执行器。可选的，还包括：界面提供单元，用于提供第一显示界面以及第二显示界面；其中，所述第二显示界面用于显示大数据分析的任务图标；建立连线图单元，用于在所述第一显示界面建立包含多个任务图标及其连接关系的连线图；生成工作流单元，用于基于所述连线图生成工作流。一种任务调度系统，包括服务器与所述服务器相连的多个执行器群组；服务器，用于确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定与详情信息中群组标识对应的执行器群组；发送所述当前任务至所述执行器群组中的执行器。可选的，所述服务器，还用于提供第一显示界面以及第二显示界面；其中，所述第二显示界面用于显示大数据分析的任务图标；在所述第一显示界面建立包含多个任务图标及其连接关系的连线图；基于所述连线图生成工作流。通过以上技术手段，可以实现以下有益效果：本实施例中适用于大规模数据分析，在大规模数据分析中，基于任务详情信息中的群组标识，来发送任务至相应的执行器群组中的执行器，从而可以解决现有技术中无法适用于大规模数据分析的缺陷。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的一种任务调度系统的结构示意图；图2为本申请实施例公开的一种任务调度方法的流程图；图3为本申请实施例公开的一种任务调度方法的流程图；图4a为本申请实施例公开的一种任务调度方法的流程图；图4b为本申请实施例公开的一种任务调度显示界面示意图；图5为本申请实施例公开的一种任务调度方法的流程图；图6为本申请实施例公开的一种任务调度显示界面示意图；图7为本申请实施例公开的一种任务调度方法的流程图；图8为本申请实施例公开的一种任务调度方法的流程图；图9为本申请实施例公开的一种任务调度装置的结构图。图10为本申请实施例公开的一种任务调度装置的结构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。术语解释：大规模数据分析：在大数据分析中，对于源数据规模较大的情况称为大规模数据分析。在大规模数据分析中源数据存储在多个群组中。不同群组中执行器软硬件环境和源数据的种类不尽相同。DAG图：无回路有向图，英文解释为DirectedAcyclicGraph。由于受制于某些任务必须比另一些任务较早执行的限制，必须排序为一个队列的任务集合可以由一个DAG图来呈现，其中每个顶点表示一个任务，每条边表示一种限制约束，拓扑排序算法可以用来生成一个有效的序列。参见图1，本申请提供了一种任务调度系统，包括服务器100和多个执行器群组200。每个执行器群组包括多个执行器，执行器用于执行任务。不同执行器群组的执行环境不同，一个执行器群组中多个执行器执行环境相同。执行环境即执行器的软硬件环境和源数据，在大规模数据分析中需要多种数据格式的数据，不同数据格式数据需要不同的执行环境。参见图2，本申请提供了一种任务调度方法，包括以下步骤：步骤S201：确定并展示多个执行器群组的执行环境。在执行器群组确定后，其上源数据及其执行环境也是确定的，服务器可以向执行器群组发送获取执行环境的指令，从而获知执行器群组的执行环境。或者，在服务器上预先保存多个执行器群组的执行环境和源数据。步骤S202：构建大数据分析的多个任务及其详情信息。在构建大数据分析的任务的情况下，服务器展示多个执行器群组的执行环境，及，各执行器上的源数据。在大数据分析过程中具有很多任务，首先构建本次大数据分析的多个任务。具体而言，参见图3，可以包括以下步骤：步骤S301：接收构建任务的指令。用户可以操作服务器并触发构建任务的指令，服务器接收构建任务指令。步骤S302：提供一个任务详情填写界面。服务器提供一个任务详情填写界面，其界面可以包括：任务名称、执行文件、任务类型、执行器标识、软件版本和调度规则等信息。由于各个执行器群组的执行环境不一，为此，需要在详情信息中添加该任本文档来自技高网...

【技术保护点】
一种任务调度方法，其特征在于，包括：确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定与详情信息中群组标识对应的执行器群组；发送所述当前任务至所述执行器群组中的执行器。

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：确定大数据分析工作流中的当前任务以及当前任务的详情信息；其中，所述详情信息包括当前任务适用的群组标识；确定与详情信息中群组标识对应的执行器群组；发送所述当前任务至所述执行器群组中的执行器。2.如权利要求1所述的方法，其特征在于，所述详情信息还包括执行器标识或软件版本；则所述发送所述当前任务至所述执行器群组中的执行器，包括：发送所述当前任务至发送所述当前任务至执行器标识对应的执行器；或，发送所述当前任务至所述软件版本对应的执行器。3.如权利要求2所述的方法，其特征在于，所述发送所述当前任务至所述软件版本对应的执行器，包括：在所述执行器群组中具有至少两个与所述软件版本对应的执行器的情况下，确定出负载最小的执行器，并发送当前任务至该执行器。4.如权利要求1所述的方法，其特征在于，在确定大数据分析工作流中的当前任务以及当前任务的详情信息之前，还包括：提供第一显示界面以及第二显示界面；其中，所述第二显示界面用于显示大数据分析的任务图标；在所述第一显示界面建立包含多个任务图标及其连接关系的连线图；基于所述连线图生成工作流。5.如权利要求4所述的方法，其特征在于，所述在所述第一显示界面建立包含多个任务图标及其连接关系的连线图，包括：响应于任务图标由所述第二显示界面至所述第一显示界面的拖动操作，并在所述第一显示界面显示任务图标；响应于所述第一显示界面中任务图标之间的连线操作，并在图标之间显示带方向的连接线；重复执行上述拖动操作和连线操作，直到多个任务使用完毕。6.如权利要求1所述的...

【专利技术属性】
技术研发人员：张威风，王帅，
申请(专利权)人：北京搜狐新媒体信息技术有限公司，
类型：发明
国别省市：北京,11