任务处理方法、装置、服务器及存储介质制造方法及图纸

本公开关于一种任务处理方法、装置、服务器及存储介质，方法包括：根据目标账户提交的重跑作业的元数据，确定重跑子作业，获取重跑子作业中的待提交至工作流调度系统中的目标任务的第一并发数量，以及目标滑动窗口中记录的任务的第二并发数量，根据第一并发数量和第二并发数量，确定是否将重跑子作业中的目标任务提交到工作流调度系统，从而避免用户频繁提交重跑作业，减少资源浪费。减少资源浪费。减少资源浪费。

【技术实现步骤摘要】
任务处理方法、装置、服务器及存储介质


[0001]本公开涉及计算机领域，尤其涉及任务处理方法、装置、服务器及存储介质。

技术介绍

[0002]任务重跑表示对历史数据进行回溯的操作，级联重跑表示在对一个任务进行调度回溯历史数据后，还要把这个任务的下游任务也进行调度，回溯相应的数据。目前，当级联重跑涉及到上下游任务比较多的时候，传统方法会将用户提交的一个作业拆分成多个子作业去进行任务重跑，但由于每个子作业之间不受管控，会导致同时重跑的任务特别多，如果不加以限制，当用户频繁提交重跑作业，会造成资源浪费。

技术实现思路

[0003]本公开提供一种任务处理方法、装置、服务器及存储介质，以至少解决相关技术中用户频繁提交重跑作业，会导致Yarn资源被占用，造成资源浪费的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种任务处理方法，包括：
[0005]根据目标账户提交的重跑作业的元数据，确定重跑子作业；
[0006]获取所述重跑子作业中的待提交至工作流调度系统中的目标任务的第一并发数量，以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：根据目标账户提交的重跑作业的元数据，确定重跑子作业；获取所述重跑子作业中的待提交至工作流调度系统中的目标任务的第一并发数量，以及目标滑动窗口中记录的任务的第二并发数量；根据所述第一并发数量和所述第二并发数量，确定是否将所述重跑子作业中的目标任务提交到工作流调度系统。2.根据权利要求1所述的任务处理方法，其特征在于，所述根据目标账户提交的重跑作业的元数据，确定重跑子作业，包括：获取目标账户提交的重跑作业的元数据；根据所述元数据中的时间片，对所述重跑作业进行划分，确定所述重跑子作业。3.根据权利要求1所述的任务处理方法，其特征在于，所述根据所述第一并发数量和所述第二并发数量，确定是否将所述重跑子作业中的目标任务提交到工作流调度系统，包括：若所述第一并发数量和所述第二并发数量的和小于第一预设阈值，则确定将所述重跑子作业中的目标任务提交到所述工作流调度系统。4.根据权利要求3所述的任务处理方法，其特征在于，所述方法还包括：若所述第一并发数量和所述第二并发数量的和大于或等于所述第一预设阈值，则更新所述目标任务的第一等待时间；当到达所述第一等待时间时，返回执行所述根据所述第一并发数量和所述第二并发数量，确定是否将所述重跑子作业中的目标任务提交到工作流调度系统的步骤。5.根据权利要求3所述的任务处理方法，其特征在于，所述确定将所述重跑子作业中的目标任务提交到工作流调度系统，之前还包括：获取所述工作流调度系统的资源使用率；若所述工作流调度系统的资源使用率小于第二预设阈值，则确定将所述重跑子作业中的目标任务提交到所述...

【专利技术属性】
技术研发人员：钱佳，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：