任务处理方法、装置和电子设备制造方法及图纸

本公开实施例公开了的任务处理方法、装置和电子设备，通过确定目标任务对应的目标存储空间，并可以根据预配置的数目对目标存储空间中的数据进行划分，获得至少一个数据切片；使得大部分数据切片中的数据的数量相同，从而可以使得任务处理每个数据切片的处理事件大致相同；从而使得确定并展示的各算子的完成进度以及数据切片的导入进度更加准确。换言之，通过上述方式，可以使得确定出的各算子的完成进度以及数据切片的导入进度更加准确，从而也就可以使得利用各算子的完成进度以及数据切片的导入进度确定出目标任务的处理完成时间更加准确，且可以有效监测任务处理引擎的各处理阶段是否出现异常。

【技术实现步骤摘要】
任务处理方法、装置和电子设备
本公开涉及互联网
，尤其涉及一种任务处理方法、装置和电子设备。
技术介绍
随着大数据处理
的发展，衍生出了许多用于大数据计算的引擎，例如，MapReduce计算框架、Storm流计算框架、Spark计算框架和Flink框架等。而大数据计算模式主要分为批量计算流式计算，其中，MapReduce计算框架、Storm流计算框架、Spark计算框架和Flink框架均可以用于批量计算；但是，由于批量计算在离线数仓的建设过程中，需要定时将数据进行产出，供下游依赖任务消费使用，因此，需要实时获取批量计算过程的任务进度，以便预测数据的产出时间。
技术实现思路
提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开实施例提供了一种任务处理方法、装置和电子设备，通过获得多个数据切片，从而可以使得确定出的算子的完成进度和数据切片的导入进度更加准确本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括：/n响应于确定任务处理引擎处理目标任务，确定与所述目标任务对应的目标存储空间，其中，所述目标存储空间用于存储与所述目标任务对应的数据；/n基于预配置的数目，对所述目标存储空间中的数据进行数据切片划分，获得至少一个数据切片，其中，所述预配置的数目用于指示各数据切片中数据的数目；/n将数据切片导入至算子处理层，其中，算子处理层包括至少一个算子，算子用于处理数据切片；/n确定并展示数据切片的导入进度和各算子的完成进度。/n

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：
响应于确定任务处理引擎处理目标任务，确定与所述目标任务对应的目标存储空间，其中，所述目标存储空间用于存储与所述目标任务对应的数据；
基于预配置的数目，对所述目标存储空间中的数据进行数据切片划分，获得至少一个数据切片，其中，所述预配置的数目用于指示各数据切片中数据的数目；
将数据切片导入至算子处理层，其中，算子处理层包括至少一个算子，算子用于处理数据切片；
确定并展示数据切片的导入进度和各算子的完成进度。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于各算子的完成进度和数据切片的导入进度，确定所述目标任务的处理完成时间，其中，所述处理完成时间用于配置处理任务。


3.根据权利要求1所述的方法，其特征在于，所述基于预配置的数目，对所述目标存储空间中的数据进行数据切片划分，获得至少一个数据切片，包括：
将所述目标存储空间中数据存储单元依次排序，获得与每个数据存储单元对应的排序标识，其中，每个数据存储单元用于存储一个数据；
根据所述预配置的数目，确定目标排序标识，其中，目标排序标识和首个排序标识之间的排序标识数目，等于所述预配置的数目的整数倍；
响应于确定目标排序标识包括末尾排序标识，基于确定出的目标排序标识，获得至少一个数据切片；
响应于确定目标排序标识不包括末尾排序标识，基于确定出的目标排序标识和末尾排序标识，获得至少一个数据切片。


4.根据权利要求1所述的方法，其特征在于，所述基于预配置的数目，对所述目标存储空间中的数据进行数据切片划分，获得至少一个数据切片，包括：
将所述目标存储空间中数据存储单元依次排序，获得与每个数据存储单元对应的排序标识，其中，每个数据存储单元用于存储一个数据；
根据排序标识的指示，从起始排序标识所指示的存储单元开始依次读取预配置的数目的数据，确定目标排序标识，其中，目标数据存储单元和起始数据存储单元之间除数据空洞外的数据数目，等于所述预配置的数目的整数倍；其中，目标排序标识指示目标数据存储单元，所述起始排序标识指示所述起始数据存储单元；
响应于确定目标排序标识包括末尾排序标识，基于确定出的目标排序标识，获得至少一个数据切片；
响应于确定目标排序标识不包括末尾排序标识，基于确定出的目标排序标识和末尾排序标识，获得至少一个数据切片。


5.根据权利要求1所述的方法，其特征在于，所述将数据切片导入至算子处理层，包括：
根据游标逐个读取数据切片中的每个数据，以及对每个读取出的数据进行预处理；
将完成预处理的数据切片导入至所述算子处理层。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据已完成预处理的数据切片的数量和数据切片的总量，确定数据切片的预处理进度信息；
展示所述预处理进度信息。


7.根据权利要求1所述的方法，其特征在于，所述算子处理层包括第一类型算子和第二类型算子，以及，所述将数据切片导入至算子处理层，包括：
将所述数据切片导入至第一类型算子，其中，第二类型算子用于接收第一类型算子输出的数据切片或第二类型算子输出的数据切片。


8.根据权利要求7所述的方法，其特征在于，通过如下方式确定各算子的完成进度：
响应于确定算子为第一类型算子，根据第一类型算...

【专利技术属性】
技术研发人员：徐波，李畅，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11