【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种落后者任务推测的方法及装置、电子设备和存储介质。
技术介绍
1、随着信息技术的发展以及互联网技术和应用的普及，各行各业均面临行业数字化的转型。如今，社会每天都产生海量的信息数据。在这种背景下，面对海量数据的存储、处理和应用，“大数据”技术得到快速的发展并广泛应用于电子商务、社交媒体、金融等业务领域。当前大数据面临的重要问题之一是如何有效并高效地管理、处理海量的数据， hadoop平台由于其自身在数据存储和处理方面的优势被广泛应用。
2、hadoop采用推测执行机制来解决落后者问题，推测执行算法能显著减少作业完成时间。该方法采用当检测到落后者任务后则在另一个通用节点上同时运行一个落后者任务副本的方式，同时hadoop推测执行算法会默认启动多个备份任务，以此完成落后者任务的执行。因此准确地识别落后者任务可以显著地减少作业完成时间，有效提高资源利用率。
3、hadoop默认调度方式先进先出（first input first output，fifo）技术提供多种推测执行机制，其中最长近似结束时间（longest approximate time to end，late）是一种专为异构集群设计的动态调度技术，该算法中基于任务的当前运行速度进而计算完成任务的预估剩余时间，而完成时间最晚的任务，被确定为落后者，但是仅仅根据任务当前的运行速度确定落后者任务，存在判断结果不够准确的问题。
技术实现思路
1、本公开提供了一种落后者任务推测的方法
2、根据本公开的第一方面，提供了一种落后者任务推测的方法，其中，包括：
3、获取目标任务运行进度分数及所述目标任务在映射阶段已运行的第一时间；
4、基于所述进度分数和所述第一时间计算所述目标任务在映射阶段剩余运行的第二时间；
5、基于所述目标任务映射阶段与排序阶段的第一目标比值、所述第一时间及所述进度分数进行计算，得到所述目标任务在排序阶段运行的第三时间，所述第一目标比值为系统默认值；
6、根据所述第二时间和所述第三时间确定所述目标任务执行完成所需的总剩余时间；
7、根据所述总剩余时间确定所述目标任务是否为落后者任务。
8、可选的，所述确定所述目标任务执行完成所需的总剩余时间，包括：
9、在确定不存在映射阶段和排序阶段均已完成的历史任务时，基于所述目标任务对应的节点速度和所述目标任务映射阶段数据量进行计算，得到所述目标任务映射阶段第一运行时间；
10、基于所述第一运行时间及所述第一目标比值计算所述目标任务排序阶段的第二运行时间；
11、将所述第一运行时间和所述第二运行时间作为反馈，并结合所述第一时间、所述第二时间、所述进度分数及所述第一目标比值确定所述目标任务执行完成所需的总剩余时间。
12、可选的，所述确定所述目标任务执行完成所需的总剩余时间包括：
13、在确定存在映射阶段已完成且排序阶段未完成的历史任务时，则计算所述历史任务映射阶段运行的目标平均时间；
14、基于所述目标平均时间和所述第一目标比值计算所述目标任务排序阶段的第三运行时间；
15、将所述目标平均时间和所述第三运行时间作为反馈，并结合所述第一时间、所述第二时间、所述进度分数及所述第一目标比值确定所述目标任务执行完成所需的总剩余时间。
16、可选的，在确定存在至少一组映射阶段和排序阶段均已完成的历史任务时，则计算所述历史任务映射阶段运行的第一平均时间及其排序阶段运行的第二平均时间对所述第一目标比值进行调整，得到第二目标比值。
17、可选的，所述确定所述目标任务执行完成所需的总剩余时间包括：
18、将所述第一平均时间和所述第二平均时间作为反馈，并结合所述第一时间、所述第二时间、所述进度分数及所述第二目标比值确定所述目标任务执行完成所需的总剩余时间。
19、可选的，所述根据所述总剩余时间确定所述目标任务是否为落后者任务包括：
20、分别对所有任务进行剩余运行时间的计算，得到各任务运行对应的剩余时间；
21、将所述总剩余时间分别与计算得到的所述剩余时间进行比对；
22、在确定全部的所述剩余时间均小于所述总剩余时间时，确定所述目标任务为落后者任务。
23、根据本公开的第二方面，提供了一种落后者任务推测的装置，包括：
24、获取单元，用于获取目标任务运行进度分数及所述目标任务在映射阶段已运行的第一时间；
25、第一计算单元，用于基于所述进度分数和所述第一时间计算所述目标任务在映射阶段剩余运行的第二时间；
26、第二计算单元，用于基于所述目标任务映射阶段与排序阶段的第一目标比值、所述第一时间及所述进度分数进行计算，得到所述目标任务在排序阶段运行的第三时间，所述第一目标比值为系统默认值；
27、第一确定单元，用于根据所述第二时间和所述第三时间确定所述目标任务执行完成所需的总剩余时间；
28、第二确定单元，用于根据所述总剩余时间确定所述目标任务是否为落后者任务。
29、可选的，所述第一确定单元还用于：
30、在确定不存在映射阶段和排序阶段均已完成的历史任务时，基于所述目标任务对应的节点速度和所述目标任务映射阶段数据量进行计算，得到所述目标任务映射阶段第一运行时间；
31、基于所述第一运行时间及所述第一目标比值计算所述目标任务排序阶段的第二运行时间；
32、将所述第一运行时间和所述第二运行时间作为反馈，并结合所述第一时间、所述第二时间、所述进度分数及所述第一目标比值确定所述目标任务执行完成所需的总剩余时间。
33、可选的，所述第一确定单元还用于：
34、在确定存在映射阶段已完成且排序阶段未完成的历史任务时，则计算所述历史任务映射阶段运行的目标平均时间；
35、基于所述目标平均时间和所述第一目标比值计算所述目标任务排序阶段的第三运行时间；
36、将所述目标平均时间和所述第三运行时间作为反馈，并结合所述第一时间、所述第二时间、所述进度分数及所述第一目标比值确定所述目标任务执行完成所需的总剩余时间。
37、可选的，在确定存在至少一组映射阶段和排序阶段均已完成的历史任务时，则计算所述历史任务映射阶段运行的第一平均时间及其排序阶段运行的第二平均时间对所述第一目标比值进行调整，得到第二目标比值。
38、可选的，所述第一确定单元还用于包括：
39、将所述第一平均时间和所述第二平均时间作为反馈，并结合所述第一时间、所述第二时间、所述进度分数及所述第二目标比值确定所述目标任务执行完成所需的总剩余时间。
40、可选的，所述第二确定单元包括：
4本文档来自技高网...
【技术保护点】
1.一种落后者任务推测的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标任务执行完成所需的总剩余时间，包括：
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标任务执行完成所需的总剩余时间包括：
4.根据权利要求1所述的方法，其特征在于，在确定存在至少一组映射阶段和排序阶段均已完成的历史任务时，则计算所述历史任务映射阶段运行的第一平均时间及其排序阶段运行的第二平均时间对所述第一目标比值进行调整，得到第二目标比值。
5.根据权利要求4所述的方法，其特征在于，所述确定所述目标任务执行完成所需的总剩余时间包括：
6.根据权利要求1-3或5任一项所述的方法，其特征在于，所述根据所述总剩余时间确定所述目标任务是否为落后者任务包括：
7.一种落后者任务推测的装置，其特征在于，包括：
8. 一种电子设备，其特征在于，包括：
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种落后者任务推测的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标任务执行完成所需的总剩余时间，包括：
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标任务执行完成所需的总剩余时间包括：
4.根据权利要求1所述的方法，其特征在于，在确定存在至少一组映射阶段和排序阶段均已完成的历史任务时，则计算所述历史任务映射阶段运行的第一平均时间及其排序阶段运行的第二平均时间对所述第一目标比值进行调整，得到第二目标比值。
5.根据权利要求4所述的方法，其特征在于，所述确定所述目标...
【专利技术属性】
技术研发人员：唐紫浩，顾阳，龙翼，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。