执行计算任务的方法、装置及系统制造方法及图纸

本申请实施例公开了一种执行计算任务的方法、装置及系统，其中该方法包括：解析所接收的多个计算任务，获取每个计算任务的数据源；判断多个计算任务中，是否存在数据源相同的计算任务；如果存在，从相同数据源读取数据；输出所读取数据至相同数据源计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务；采用本申请所公开的方法、装置及系统，可提高分布式计算平台执行任务的效率。

Method, device and system for performing computing tasks

The application and implementation of system example discloses a method, a computing task device, wherein the method comprises: a plurality of computing tasks parses the received, for each calculation task data source; judging multiple computing tasks, whether there is the same calculation task data source; if there is, read data from the same data source; execute equipment outputs the read data to the same data source computing tasks, the device will perform according to the read data computing tasks; using the disclosed method, device and system, can improve the efficiency of task execution in distributed computing platform.

【技术实现步骤摘要】
执行计算任务的方法、装置及系统
本申请涉及互联网的领域，特别涉及一种执行计算任务的方法、装置及系统。
技术介绍
在分布式计算平台中，如图1所示，通常会设置一主设备和多个从设备，主设备主要用于接收计算任务，且分配计算任务至从设备；从设备主要用于根据主设备的分配，执行计算任务。而从设备执行计算任务的过程一般如下：首先确定主设备分配计算任务的数据源；然后读取数据源存储的数据；再然后对读取的数据进行过滤，获取目标数据；最后利用计算程序对目标数据进行计算，即执行计算任务。在实际应用中，分布式计算平台可同时接收多个计算任务，而如果所接收的多个计算任务的数据源相同，那么从设备需要从同一数据源多次读取数据；比如分布式计算平台接收到A、B、C三个计算任务，且这三个计算任务的数据源均为M；而主设备分别将A、B、C三个计算任务分配至从设备A、从设备B以及从设备C执行；那么从设备A在执行计算任务A时，需首先确定计算任务A的数据源M，然后从数据源M读取数据；从设备B在执行计算任务B时，也需首先确定计算任务B的数据源M，然后从数据源M读取数据；从设备C在执行计算任务C时，亦是如此。由上可见，在现有技术中，当分布式计算平台所接收多个计算任务的数据源相同时，从设备需多次从同一数据源读取数据，从而使得分布式计算平台执行任务的效率低下。申请内容本申请实施例中提供了一种执行计算任务的方法、装置及系统，以提高分布式计算平台执行任务的效率。为了解决上述技术问题，本申请实施例公开了如下技术方案：第一方面，公开了一种执行计算任务的方法，包括：解析所接收的多个计算任务，获取每个计算任务的数据源；判断多个计算任务中，是否存在数据源相同的计算任务；如果存在，从相同数据源读取数据；输出所读取数据至相同数据源计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。可选的，第一方面的方法还包括：判断数据源相同的计算任务中，是否存在过滤条件，所述过滤条件用于对读取的数据进行过滤；如果存在，利用所述过滤条件对所读取的数据进行过滤，获得目标数据。可选的，所读取数据包括目标数据，所述输出所读取数据至相同数据源计算任务的执行设备，包括:输出所述目标数据至相同数据源计算任务的执行设备。可选的，第一方面的方法还包括：判断多个计算任务间是否存在执行顺序；如果不存在，使执行设备并列执行多个计算任务。第二方面，公开了一种执行计算任务的方法，包括：判断一计算任务的输出是否作为多个计算任务的输入；如果是，获取所述计算任务输出的数据源，且从所述数据源读取数据；输出所读取数据至所述多个计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。可选的，第二方面的方法还包括：判断多个计算任务间是否存在执行顺序；如果不存在，使执行设备并列执行多个计算任务。第三方面，公开了一种执行计算任务的装置，包括：解析模块，用于解析所接收的多个计算任务，获取每个计算任务的数据源；第一判断模块，用于判断多个计算任务中，是否存在数据源相同的计算任务；读取模块，用于当存在数据源相同的计算任务时，从相同数据源读取数据；第一输出模块，用于输出所读取数据至相同数据源计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。可选的，第三方面的装置还包括：第二判断模块，用于判断据源相同的计算任务中，是否存在过滤条件，所述过滤条件用于对读取的数据进行过滤；过滤模块，用于当所述计算任务中，存在过滤条件时，利用所述过滤条件对所读取的数据进行过滤，获得目标数据。可选的，所读取数据包括目标数据，所述第一输出模块，包括：目标数据输出单元，用于输出所述目标数据至相同数据源计算任务的执行设备。可选的，第三方面的装置还包括：第三判断模块，用于判断多个计算任务间是否存在执行顺序；第一并列执行模块，用于当多个计算任务间不存在执行顺序时，使执行设备并列执行多个计算任务。第四方面，公开一种执行计算任务的装置，包括：第四判断模块，用于判断一计算任务的输出是否作为多个计算任务的输入；获取读取模块，用于当一计算任务的输出作为多个计算任务的输入时，获取所述计算任务输出的数据源，且从所述数据源读取数据；第二输出模块，用于输出所读取数据至所述多个计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。可选的，第四方面的装置还包括：第五判断模块，用于判断多个计算任务间是否存在执行顺序；第二并列执行模块，用于当多个计算任务间不存在执行顺序时，使执行设备并列执行多个计算任务。第五方面，公开一种执行计算任务的系统，所述系统包括如权利要求7—12任一项所述的执行计算任务的装置以及执行设备；所述执行设备，用于根据执行计算任务的装置所输出的读取数据，执行计算任务。由以上技术方案可见，在本申请实施例中，首先解析所接收的多个计算任务，获得每个计算任务的数据源；然后判断多个计算任务中，是否存在数据源相同的计算任务；如果存在，从相同数据源读取数据；最后，输出所读取数据至相同数据源计算任务的执行设备；由于执行设备可直接根据所读取数据执行任务，因此，采用本申请实施例所公开的方法、装置及系统，对于具有相同数据源的计算任务，仅需从数据源读取一次数据即可，相比现有技术中的多次读取数据的方式，提高了分布式计算平台执行任务的效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例所公开的分布式计算平台的一示意图；图2为本申请实施例所公开的执行计算任务的方法一流程示意图；图3为本申请实施例所公开的执行计算任务的方法另一流程示意图；图4a为本申请实施例所公开的执行计算任务的方法又一流程示意图；图4b为本申请实施例所公开的执行计算任务的方法另一流程示意图；图5为本申请实施例所公开的执行计算任务的方法另一流程示意图；图6为本申请实施例所公开的计算任务示意图；图7为本申请实施例所公开的执行计算任务的方法又一流程示意图；图8为本申请实施例所公开的执行计算任务的装置的一结构示意图；图9为本申请实施例所公开的执行计算任务的系统的一结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请公开了一种执行计算任务的方法，所述方法应用于如图1所示的分布式计算平台中，在本申请实施例中，当分布式计算平台接收到多个计算任务时，分布式计算平台的主设备首先为每个计算任务分配执行计算任务的从设备(即执行设备)，然后主设备将按照，如图2所示流程，对计算任务进行处理，具体如下：步骤S21：解析所接收的多个计算任务，获得每个计算任务的数据源；在本申请实施例中，分布式计算平台所接收的计算任务通常以程序代码的形式呈现，且程序代码中通常包含计算任务的数据源。以以下计算任务为例，详细说明步骤S21：“createtabletest__00asselect*fromtbcdm.di本文档来自技高网...

【技术保护点】
一种执行计算任务的方法，其特征在于，包括：解析所接收的多个计算任务，获取每个计算任务的数据源；判断多个计算任务中，是否存在数据源相同的计算任务；如果存在，从相同数据源读取数据；输出所读取数据至相同数据源计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。

【技术特征摘要】
1.一种执行计算任务的方法，其特征在于，包括：解析所接收的多个计算任务，获取每个计算任务的数据源；判断多个计算任务中，是否存在数据源相同的计算任务；如果存在，从相同数据源读取数据；输出所读取数据至相同数据源计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：判断数据源相同的计算任务中，是否存在过滤条件，所述过滤条件用于对读取的数据进行过滤；如果存在，利用所述过滤条件对所读取的数据进行过滤，获得目标数据。3.根据权利要求2所述的方法，其特征在于，所读取数据包括目标数据，所述输出所读取数据至相同数据源计算任务的执行设备，包括:输出所述目标数据至相同数据源计算任务的执行设备。4.根据权利要求1—3任一项所述的方法，其特征在于，所述方法还包括：判断多个计算任务间是否存在执行顺序；如果不存在，使执行设备并列执行多个计算任务。5.一种执行计算任务的方法，其特征在于，包括：判断一计算任务的输出是否作为多个计算任务的输入；如果是，获取所述计算任务输出的数据源，且从所述数据源读取数据；输出所读取数据至所述多个计算任务的执行设备，所述执行设备将根据所读取数据执行计算任务。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：判断多个计算任务间是否存在执行顺序；如果不存在，使执行设备并列执行多个计算任务。7.一种执行计算任务的装置，其特征在于，包括：解析模块，用于解析所接收的多个计算任务，获取每个计算任务的数据源；第一判断模块，用于判断多个计算任务中，是否存在数据源相同的计算任务；读取模块，用于当存在数据源相同的计算任务时，从相同数据源读取数据；第一输出模块，用于输出所...

【专利技术属性】
技术研发人员：贾元乔，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY