一种分布式场景下的任务执行方法、装置和设备制造方法及图纸

本说明书实施例公开了一种分布式场景下的任务执行方法、装置和设备。方案可以包括：接收待执行的包括多个任务的分布式作业，所述多个任务中的每个任务的参数包括任务内容、任务类型信息和任务依赖信息；然后根据所述每个任务的所述任务依赖信息，将无依赖的任务或依赖已完成的任务确定为可执行任务；再根据所述可执行任务中各任务的任务类型信息以及各任务类型的任务的并行数量约束信息，从所述可执行任务中确定至少一个目标任务；之后根据所述至少一个目标任务的所述任务内容，与当前正执行的任务并行地执行所述至少一个目标任务。

【技术实现步骤摘要】

本申请涉及分布式计算，尤其涉及一种分布式场景下的任务执行方法、装置和设备。

技术介绍

1、apache spark是一个开源的分布式计算系统，它提供了一个快速和通用的集群计算平台。spark是为大规模数据处理设计的，一个强大的分布式数据处理引擎。

2、在spark传统的任务调度机制中，首先，将待执行的作业(job)切分为多个阶段(stages)，这些阶段(stages)依次执行；然后，在每个阶段(stage)中，并发执行该stage中的任务(tasks)。根据spark传统的任务调度机制，需要上一个阶段(stage)的任务执行完成，才会执行下一阶段(stage)的任务，即，必须按照完全线性的方式来计算各个阶段(stage)，效率不高。

技术实现思路

1、本说明书实施例提供一种分布式场景下的任务执行方法、装置和设备，以解决现有的分布式场景下的任务调度方法存在的效率不高的问题，用于提高分布式场景下任务执行过程的硬件资源利用率。

2、为解决上述技术问题，本说明书实施例是这样实现的：

<本文档来自技高网...

【技术保护点】

1.一种分布式场景下的任务执行方法，包括：

2.如权利要求1所述的方法，所述根据所述每个任务的所述任务依赖信息，将无依赖的任务或依赖已完成的任务确定为可执行任务，具体包括：

3.如权利要求1所述的方法，其中，所述任务类型包括CPU型任务、磁盘IO型任务、数据发送IO型任务和数据接收IO型任务中的至少一种。

4.如权利要求3所述的方法，所述根据所述可执行任务中各任务的任务类型信息以及各任务类型的任务的并行数量约束信息，从所述可执行任务中确定至少一个目标任务，具体包括：根据所述可执行任务中各任务的任务类型信息以及预设的任务并行规则，从所述可执行任务中确定至...

【技术特征摘要】

1.一种分布式场景下的任务执行方法，包括：

2.如权利要求1所述的方法，所述根据所述每个任务的所述任务依赖信息，将无依赖的任务或依赖已完成的任务确定为可执行任务，具体包括：

3.如权利要求1所述的方法，其中，所述任务类型包括cpu型任务、磁盘io型任务、数据发送io型任务和数据接收io型任务中的至少一种。

4.如权利要求3所述的方法，所述根据所述可执行任务中各任务的任务类型信息以及各任务类型的任务的并行数量约束信息，从所述可执行任务中确定至少一个目标任务，具体包括：根据所述可执行任务中各任务的任务类型信息以及预设的任务并行规则，从所述可执行任务中确定至少一个目标任务；

5.如权利要求4所述的方法，所述根据所述可执行任务中各任务的任务类型信息以及各任务类型的任务的并行数量约束信息，从所述可执行任务中确定至少一个目标任务，具体包括：

6.如权利要求5所述的方法，其中，所述多个任务中的每个任务的参数还包括优先级信息。

7.如权利要求6所述的方法，所述根据所述可执行任务中各任务的任务类型信息以及各任务类型的任务的并行数量约束信息，从所述可执行任务中确定至少一个目标任务之后，还包括：

8.如权利要求1所述的方法，其中，所述方法应用于多方安全计算；所述多方安全计算包括隐私求交。

9.如权利要求8所述的方法，所述获取...

【专利技术属性】
技术研发人员：董佳佳，张启超，殷山，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：