【技术实现步骤摘要】
分布式任务处理方法、装置、存储介质和计算机设备
本申请涉及分布式计算
，特别是涉及一种分布式任务处理方法、装置、存储介质和计算机设备。
技术介绍
随着计算机技术的发展，有些应用需要巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将应用分解成许多小的部分，分配给多台计算机进行处理，这样可以节约整体计算时间，大大提高计算效率。以MapReduce分布式计算为例，将一个MapReduce作业拆分成为多个计算子任务提交至集群运行。由于生产环境中经常出现数据倾斜、不同任务计算时读取的数据源或者访问的外部服务负载不均衡等，导致一些计算任务处理的数据量较大、读数据的速度较慢或者访问外部服务的速度较慢，这样严重拖慢整个作业的进度。传统的分布式任务处理方法，在作业运行过程中，每个作业的AM(ApplicationMaster，主控线程)内部的推测执行器模块在任务过程中，定时检查作业的各个子任务的运行进度，根据推测执行器模块的推测执行算法查找各个子任务中的长尾任务，并在其它计算节点上启动长...
【技术保护点】
1.一种分布式任务处理方法，所述方法包括：/n获取分布式任务，所述分布式任务包括多个首次执行的子任务；/n执行所述分布式任务，当检测到当前子任务为首次执行的子任务，且所述当前子任务对应的任务进程的运行时长大于预设的运行时长时，将所述当前子任务标记为运行超时任务，并中断所述当前子任务的任务进程；/n统计所述运行超时任务的总数量，当所述运行超时任务的总数量小于预设阈值时，将中断任务进程的当前子任务的任务状态标记为已完成状态；/n获取所述分布式任务的各个子任务对应的任务状态，当所述各个子任务的任务状态为已完成状态时，将所述分布式任务的状态标记为运行结束状态。/n
【技术特征摘要】
1.一种分布式任务处理方法，所述方法包括：
获取分布式任务，所述分布式任务包括多个首次执行的子任务；
执行所述分布式任务，当检测到当前子任务为首次执行的子任务，且所述当前子任务对应的任务进程的运行时长大于预设的运行时长时，将所述当前子任务标记为运行超时任务，并中断所述当前子任务的任务进程；
统计所述运行超时任务的总数量，当所述运行超时任务的总数量小于预设阈值时，将中断任务进程的当前子任务的任务状态标记为已完成状态；
获取所述分布式任务的各个子任务对应的任务状态，当所述各个子任务的任务状态为已完成状态时，将所述分布式任务的状态标记为运行结束状态。
2.根据权利要求1所述的方法，其特征在于，所述分布式任务还包括非首次执行的子任务；
所述分布式任务处理方法还包括：
当检测到当前子任务为非首次执行的子任务时，运行所述当前子任务的任务进程；
当检测到所述任务进程运行结束时，将所述当前子任务的任务状态标记为已完成状态；
进入获取所述分布式任务的各个子任务对应的任务状态的步骤。
3.根据权利要求1所述的方法，其特征在于，所述统计所述运行超时任务的数量之后还包括：
当所述运行超时任务的总数量大于或等于所述预设阈值时，运行所述当前子任务对应的任务进程；
当检测到所述任务进程运行结束时，将所述当前子任务的任务状态标记为已完成状态；
进入获取所述分布式任务的各个子任务对应的任务状态的步骤。
4.根据权利要求1所述的方法，其特征在于，所述获取分布式任务之后，还包括：
当检测到当前子任务对应的任务进程的运行时长小于或等于预设的运行时长时，保持运行所述当前子任务对应的任务进程；
当检测到所述任务进程运行结束时，将所述当前子任务的任务状态标记为已完成状态；
进入获取所述分布式任务的各个子任务对应的任务状态的步骤。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对各个所述子任务分别创建对应的子任务进程监控线程；
调用所述子任务进程监控线程，分别对相应子任务的...
【专利技术属性】
技术研发人员：王一光，和利冰，文杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。