数据处理方法、处理装置、电子设备和存储介质制造方法及图纸

本申请提供一种数据处理方法、处理装置、电子设备和存储介质，所述数据处理方法包括获取对数据进行处理的至少两个任务，所述任务包括至少两个子任务，所述至少两个任务包括第一任务和第二任务；响应于确定所述第一任务和所述第二任务包括至少部分重合的子任务，基于所述第一任务和所述第二任务的子任务构建拓扑图；按照所述拓扑图执行所述第一任务和所述第二任务。通过构建拓扑图简化了第一任务和第二任务的执行过程，避免重复执行某些子任务，提高了第一任务和第二任务处理过程中的复用性及并发度，实现灵活高效的数据处理。实现灵活高效的数据处理。实现灵活高效的数据处理。

【技术实现步骤摘要】
数据处理方法、处理装置、电子设备和存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、处理装置、电子设备和存储介质。

技术介绍

[0002]随着科技的发展，互联网应用技术发展迅速，人们可以通过互联网应用进行各种各样的交互活动及数据处理。在数据处理过程中，针对特定的数据源的数据的不同处理任务，需要分别配置处理逻辑，并且配置好的处理逻辑无法灵活修改，在对这些处理任务进行处理时，需要利用不同节点来分别进行处理。但是，在多个处理任务中，可能存在重合的子任务，在相关技术利用不同节点来分别处理任务时，这种重合的子任务会在不同节点中重复执行，导致资源浪费。

技术实现思路

[0003]有鉴于此，本申请的目的在于提出一种数据处理方法、处理装置、电子设备和存储介质。
[0004]基于上述目的，本申请第一方面提供了一种数据处理方法，包括：
[0005]获取对数据进行处理的至少两个任务，所述任务包括至少两个子任务，所述至少两个任务包括第一任务和第二任务；
[0006]响应于确定所述第一任务和所述第二任务包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取对数据进行处理的至少两个任务，所述任务包括至少两个子任务，所述至少两个任务包括第一任务和第二任务；响应于确定所述第一任务和所述第二任务包括至少部分重合的子任务，基于所述第一任务和所述第二任务的子任务构建拓扑图；按照所述拓扑图执行所述第一任务和所述第二任务。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一任务和所述第二任务的子任务构建拓扑图，包括：将所述第一任务和所述第二任务中重合的子任务合并，形成共享子任务；基于所述第一任务和所述第二任务中除所述重合的子任务外的其他子任务和所述共享子任务，构建所述拓扑图。3.根据权利要求2所述的方法，其特征在于，所述拓扑图为有向无环图；所述基于所述第一任务和所述第二任务中除所述重合的子任务外的其他子任务和所述共享子任务，构建所述拓扑图，包括：确定所述第一任务和所述第二任务中的各子任务的执行顺序；根据所述各子任务的执行顺序，确定所述第一任务和所述第二任务中除所述重合的子任务外的其他子任务以及所述共享子任务的执行顺序；基于所述第一任务和所述第二任务中除所述重合的子任务外的其他子任务以及所述共享子任务的执行顺序，构建所述拓扑图。4.根据权利要求3所述的方法，其特征在于，所述确定所述第一任务和所述第二任务中的各子任务的执行顺序，包括：基于所述第一任务和所述第二任务中的各子任务的依赖关系确定所述第一任务和所述第二任务中各子任务的执行顺序。5.根据权利要求1所述的方法，其特征在于，所述按照所述拓扑图执行所述第一任务和所述第二任务，包括：并行执行所述第一任务和所述第二任务中除所述重合的子任务外的其他子任务。6.根据权利要求5所述的方法，其特征在于，所述并行执行所述第一任务和所述第二任务中除所述重合的子任务外的其他子任务，包括：为所述第一任务和所述第二任务中的每个子任务设置超时时间、超时次数和默认赋值；检测每个所述子任务的执行时间；响应于某个子任务的执行时间大于所述超时时间，重复执行该子任务，至符合停止重复执行条件，则停止执行该子任务。7...

【专利技术属性】
技术研发人员：张丹阳，
申请(专利权)人：北京京东方技术开发有限公司，
类型：发明
国别省市：