一种任务作业、查询方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种任务作业、查询方法、装置、电子设备及存储介质，涉及云计算领域，具体可以涉及但不限于应用于大数据领域，具体实现方案为：在根据当前作业目标任务所生成的各中间数据中，加入数据类型标签，并对各中间数据进行本地存储；响应于在目标任务作业过程中，接收到针对目标任务的中间数据采集指令，获取中间数据采集指令中的目标数据类型；获取目标采集数据，并将目标采集数据反馈给中间数据采集指令的发送方。本申请解决了只能在作业节点结束任务作业之后，服务器才能获取到中间数据的问题；实现了在作业节点的作业过程中向服务器发送中间数据，为后续同时作业多项任务，提升资源利用率提供依据。

【技术实现步骤摘要】
一种任务作业、查询方法、装置、电子设备及存储介质
本申请涉及云计算
，尤其涉及但不限于应用在大数据
，具体涉及一种任务作业、查询方法、装置、电子设备及存储介质。
技术介绍
作业流计算控制是对在分布式集群下的大数据作业进行有效的管理和数据传输异步处理的技术。典型的大数据作业任务的数据处理过程主要包括三个关键步骤：数据抽取、转换和载入。现阶段，对于一个大数据任务，作业节点通常把作业任务产生的全部数据在最后阶段(载入阶段)写入到特定的数据库中。然而，随着大数据平台的不断发展和完善，任务作业过程中产生的中间数据(例如，状态数据、日志数据以及作业元信息等)也需要进行处理和转换，并提供给用户或者其他作业节点。但是，现阶段只能在作业节点结束任务作业后，用户端或者其他作业节点才能获取到中间数据，导致一段时间内仅能处理一项任务，无法同时作业多项任务，降低了资源利用率。
技术实现思路
本公开提供了一种任务作业、查询方法、装置、电子设备及存储介质。根据本公开的一方面，提供了一种任务作业方法，应用于作业节点，包括本文档来自技高网...

【技术保护点】
1.一种任务作业方法，应用于作业节点，包括：/n在根据当前作业目标任务所生成的各中间数据中，加入数据类型标签，并对各所述中间数据进行本地存储；/n响应于在目标任务作业过程中，接收到针对目标任务的中间数据采集指令，获取中间数据采集指令中的目标数据类型；/n将目标数据类型与本地存储的所述目标任务的各中间数据的数据类型标签进行匹配，获取目标采集数据，并将目标采集数据反馈给中间数据采集指令的发送方。/n

【技术特征摘要】
1.一种任务作业方法，应用于作业节点，包括：
在根据当前作业目标任务所生成的各中间数据中，加入数据类型标签，并对各所述中间数据进行本地存储；
响应于在目标任务作业过程中，接收到针对目标任务的中间数据采集指令，获取中间数据采集指令中的目标数据类型；
将目标数据类型与本地存储的所述目标任务的各中间数据的数据类型标签进行匹配，获取目标采集数据，并将目标采集数据反馈给中间数据采集指令的发送方。


2.根据权利要求1所述的方法，其中，所述在根据当前作业目标任务所生成的各中间数据中，加入数据类型标签，并对各所述中间数据进行本地存储，包括：
对当前生成的目标中间数据进行内容解析，并根据内容解析结果，在所述目标中间数据中加入数据类型标签；
将所述目标中间数据写入至消息队列中；
依次将消息队列中的各所述中间数据，写入至本地存储空间中。


3.根据权利要求1所述的方法，其中，所述中间数据采集指令中还包括：目标数据序列号；
在对各所述中间数据进行本地存储之前，还包括：
根据各所述中间数据的生成顺序，在各所述中间数据中加入数据序列号；
将目标数据类型与本地存储的所述目标任务的各中间数据的数据类型标签进行匹配，获取目标采集数据，包括：
将目标数据类型与本地存储的所述目标任务的各中间数据的数据类型标签进行匹配，获取备选采集数据；
在各所述备选采集数据中，获取与所述目标数据序列号匹配的目标采集数据。


4.根据权利要求1所述的方法，其中，所述中间数据采集指令中还包括：限额指令；
在将目标采集数据反馈给中间数据采集指令的发送方之前，还包括：
根据所述中间数据采集指令中包含的限额指令，对所述目标采集数据进行数据压缩。


5.根据权利要求1所述的方法，其中，在将目标采集数据反馈给中间数据采集指令的发送方之后，还包括：
在完成对所述目标任务的作业后，根据所述目标任务的执行结果以及当前存储的所述目标任务的各项中间数据，构造结果数据包；
将所述结果数据包发送至服务器。


6.根据权利要求1-5中任一项所述的方法，其中，所述中间数据的数据类型包括下述至少一项：
日志数据、审计数据或者指标数据。


7.一种任务查询方法，包括：
在第一作业节点作业目标任务的过程中，向所述第一作业节点发送针对所述目标任务的中间数据采集指令；
其中，所述中间数据采集指令用于指示所述第一作业节点在本地存储的所述目标任务的中间数据中，获取与中间数据采集指令中的目标数据类型匹配的目标采集数据；
接收所述第一作业节点反馈的所述目标采集数据。


8.根据权利要求7所述的方法，其中，在所述在第一作业节点作业目标任务的过程中，向所述第一作业节点发送针对所述目标任务的中间数据采集指令之前，还包括：
创建第一数据传输端口以及第二数据传输端口；
所述第一数据传输端口用于向所述第一作业节点发送中间数据采集指令；所述第二数据传输端口用于接收所述第一作业节点反馈的目标采集数据。


9.根据权利要求7所述的方法，其中，在所述在第一作业节点作业目标任务的过程中，向所述第一作业节点发送针对所述目标任务的中间数据采集指令之前，还包括：
创建第三数据传输端口；
所述第三数据传输端口用于获取针对所述第一作业节点作业所述目标任务的开始指令或者关闭指令。


10.根据权利要求7所述的方法，其中，所述方法由服务器执行；
在接收所述第一作业节点反馈的所述目标采集数据之后，还包括：
对所述目标采集数据进行本地存储；
所述方法还包括：
响应于第二作业节点发送的针对所述目标任务的中间数据查询请求，在本地存储的所述目标任务的各中间数据中，获取与所述中间数据查询请求匹配的目标查询数据；
将所述目标查询数据反馈至所述第二作业节点。


11.一种任务作业装置，应用于作业节点，包括：
数据类型标签加入模块，用于在根据当前...

【专利技术属性】
技术研发人员：蔡杰，叶青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11