数据任务的处理方法、装置及电子设备制造方法及图纸

本申请提供了一种数据任务的处理方法、装置及电子设备，通过任务处理平台提供任务操作界面，任务处理平台中配置有多个任务类型分别对应的任务执行引擎；响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；确定任务标签对应的目标任务执行引擎；将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。本申请能够根据任务运行请求中携带的任务标签，自动选择对应的任务执行引擎实现任务运行，不需要用户自己动手选择任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。

【技术实现步骤摘要】
数据任务的处理方法、装置及电子设备
本申请涉及软件
，尤其是涉及一种数据任务的处理方法、装置及电子设备。
技术介绍
数据开发工作者在部署上线一个数据任务之前，需要对数据任务做逻辑测试，即将数据任务提交到指定的任务执行引擎上，通过该任务执行引擎完成任务运行和逻辑测试。数据开发工作者在对数据任务进行逻辑测试的时候，首先需要将自己的数据任务进行分类，然后根据数据任务的类型选择对应的任务执行引擎，再将任务在对应任务执行引擎上进行提交。该方式中，需要开发者不但知道任务的类型，还需要知道任务类型对应的任务执行引擎，对开发者的要求较高，容易因为开发者自身原因导致任务类型或者任务执行引擎选择错误，影响测试进度，进而影响数据开发工作者的工作效率。
技术实现思路
本申请的目的在于提供一种数据任务的处理方法、装置及电子设备，能够根据任务运行请求中携带的任务标签自动选择对应的任务执行引擎实现任务运行，不需要用户自己动手选择数据任务要提交的任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。第一方面，本申请实施例提供一种数据任务的处理方法，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；方法包括：响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；其中，任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；确定任务标签对应的目标任务执行引擎；将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。进一步的，上述提取任务运行请求中携带的任务数据包和任务标签的步骤之后，方法还包括：按照预设的树状存储格式，将任务数据包和任务标签存储至数据缓存区。进一步的，上述任务运行请求中还携带有任务数据包对应的用户标识，树状存储格式为任务标签、用户标识及任务数据包的三级树状存储格式。进一步的，上述确定任务标签对应的目标任务执行引擎的步骤，包括：按照树状存储格式，从数据缓存区中提取任务数据包对应的任务标签；根据提取出的任务标签，从多个任务执行引擎中确定任务标签对应的目标任务执行引擎。进一步的，上述任务处理平台包括每个任务执行引擎对应的缓存队列；将任务数据包提交至目标任务执行引擎的步骤，包括：根据任务标签确定目标缓存队列；其中，目标缓存队列对应于目标任务执行引擎；将任务数据包添加至目标缓存队列中；按照目标缓存队列中的任务数据包添加顺序，逐一提交目标缓存队列中的任务数据包至目标任务执行引擎。进一步的，上述方法还包括：响应于目标任务执行引擎返回的任务数据包的提交成功信息，向任务运行请求的发起用户反馈任务数据包已提交成功的信息。进一步的，上述确定任务标签对应的目标任务执行引擎的步骤之后，方法还包括：查找任务运行请求的发起用户对应的连接复用信息中是否存在发起用户与目标任务执行引擎的复用连接；其中，连接复用信息用于表征为发起用户分配的历史连接资源；如果存在，基于查找到的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤；如果不存在，重新建立发起用户与目标任务执行引擎间的复用连接，基于重新建立的复用连接，继续执行将任务数据包提交至目标任务执行引擎的步骤。进一步的，上述方法还包括：响应于针对发起用户对应的连接复用信息的结束事件，释放发起用户分配的历史连接资源。进一步的，上述任务处理平台还包括每个任务执行引擎对应的运行结果缓存区；将任务数据包提交至目标任务执行引擎的步骤之后，方法还包括：如果检测到任务运行请求对应有指定标识，则判断任务数据包运行完成；从目标任务执行引擎对应的运行结果缓存区中，提取任务数据包对应的任务运行结果；向发起用户显示任务数据包对应的任务运行结果。进一步的，上述方法还包括：响应于目标任务执行引擎返回的上下文执行结构体；上下文执行结构体中存储有任务运行相关信息；根据上下文执行结构体，实时获取任务数据包对应的任务运行日志和任务运行状态；向发起用户显示任务运行日志和任务运行状态。进一步的，上述在实时获取任务数据包对应的任务运行日志和任务运行状态的步骤之后，方法还包括：检测任务运行日志是否存在指定异常类型的异常；如果是，根据预设重试机制及指定重试次数，重新对任务数据包进行任务提交运行操作。进一步的，上述检测任务运行日志是否存在指定类型的异常的步骤之前，方法还包括：响应于发起用户的异常类型和重试次数的设置操作，确定指定异常类型和指定异常类型对应的指定重试次数。第二方面，本申请实施例还提供一种数据任务的处理装置，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；装置包括：数据提取模块，用于响应于针对任务操作界面提交的任务运行请求，提取任务运行请求中携带的任务数据包和任务标签；其中，任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；引擎确定模块，用于确定任务标签对应的目标任务执行引擎；任务提交模块，用于将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务。第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。本申请实施例提供的一种数据任务的处理方法、装置及电子设备中，通过任务处理平台提供任务操作界面，且任务处理平台中配置有多个任务类型分别对应的任务执行引擎；在响应于针对任务操作界面提交的任务运行请求后，首先提取任务运行请求中携带的任务数据包和任务标签；该任务标签是基于任务操作界面接收到的任务数据包需要运行的任务执行引擎确定的；因而基于该任务标签可以确定其对应的目标任务执行引擎；然后将任务数据包提交至目标任务执行引擎，以使目标任务执行引擎运行任务数据包对应的数据任务，本申请实施例能够根据任务运行请求中携带的任务标签自动选择对应的任务执行引擎完成任务运行，不需要用户自己动手选择数据任务要提交的任务执行引擎，降低了用户的操作成本，提高用户的数据开发效率。附图说明为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种数据任务的处理方法的流程图；图2为本申请实施例提供的一种任务数据包提交方法的流程图；图3为本申请实施例提供的一种连接确定方法的流程图；图4为本申请实施例提供的一种获取任务运行情况的流程图；图5为本申请实施例提供的本文档来自技高网...

【技术保护点】
1.一种数据任务的处理方法，其特征在于，通过任务处理平台提供任务操作界面，且所述任务处理平台中配置有多个任务类型分别对应的任务执行引擎；所述方法包括：/n响应于针对所述任务操作界面提交的任务运行请求，提取所述任务运行请求中携带的任务数据包和任务标签；其中，所述任务标签是基于所述任务操作界面接收到的所述任务数据包需要运行的任务执行引擎确定的；/n确定所述任务标签对应的目标任务执行引擎；/n将所述任务数据包提交至所述目标任务执行引擎，以使所述目标任务执行引擎运行所述任务数据包对应的数据任务。/n

【技术特征摘要】
1.一种数据任务的处理方法，其特征在于，通过任务处理平台提供任务操作界面，且所述任务处理平台中配置有多个任务类型分别对应的任务执行引擎；所述方法包括：
响应于针对所述任务操作界面提交的任务运行请求，提取所述任务运行请求中携带的任务数据包和任务标签；其中，所述任务标签是基于所述任务操作界面接收到的所述任务数据包需要运行的任务执行引擎确定的；
确定所述任务标签对应的目标任务执行引擎；
将所述任务数据包提交至所述目标任务执行引擎，以使所述目标任务执行引擎运行所述任务数据包对应的数据任务。


2.根据权利要求1所述的方法，其特征在于，提取所述任务运行请求中携带的任务数据包和任务标签的步骤之后，所述方法还包括：
按照预设的树状存储格式，将所述任务数据包和所述任务标签存储至数据缓存区。


3.根据权利要求2所述的方法，其特征在于，所述任务运行请求中还携带有所述任务数据包对应的用户标识，所述树状存储格式为所述任务标签、用户标识及任务数据包的三级树状存储格式。


4.根据权利要求2或3所述的方法，其特征在于，确定所述任务标签对应的目标任务执行引擎的步骤，包括：
按照所述树状存储格式，从所述数据缓存区中提取所述任务数据包对应的任务标签；
根据提取出的所述任务标签，从多个所述任务执行引擎中确定所述任务标签对应的目标任务执行引擎。


5.根据权利要求1所述的方法，其特征在于，所述任务处理平台包括每个任务执行引擎对应的缓存队列；
将所述任务数据包提交至所述目标任务执行引擎的步骤，包括：
根据所述任务标签确定目标缓存队列；其中，所述目标缓存队列对应于目标任务执行引擎；
将所述任务数据包添加至所述目标缓存队列中；
按照所述目标缓存队列中的任务数据包添加顺序，逐一提交所述目标缓存队列中的任务数据包至所述目标任务执行引擎。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述目标任务执行引擎返回的所述任务数据包的提交成功信息，向所述任务运行请求的发起用户反馈所述任务数据包已提交成功的信息。


7.根据权利要求1所述的方法，其特征在于，确定所述任务标签对应的目标任务执行引擎的步骤之后，所述方法还包括：
查找所述任务运行请求的发起用户对应的连接复用信息中是否存在所述发起用户与所述目标任务执行引擎的复用连接；其中，所述连接复用信息用于表征为所述发起用户分配的历史连接资源；
如果存在，基于查找到的所述复用连接，继续执行将所述任务数据包提交至所述目标任务执行引擎的步骤；
如果不存在，重新建立所述发起用户与所述目标任务执行引擎间的复用连接，基于重新建立的复用连接，继续执行将所述任务数据包提交至所述目标任务执行引擎的步骤。


8.根据权利要...

【专利技术属性】
技术研发人员：李仁杰，冯阳，吴剑飞，刘柏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33