用于运行任务的系统、方法和装置制造方法及图纸

本申请公开了用于运行任务的系统、方法和装置。所述系统的一具体实施方式包括：任务运行端和任务确定端，所述任务运行端与所述任务确定端建立通信连接，其中：任务运行端，用于存储任务信息，并发送任务启动确认请求至所述任务确定端，其中，任务信息包括任务名称、任务启动时间，任务启动确认请求是请求任务确定端确认任务运行端于任务启动时间启动任务名称所指示的任务的信息；任务确定端，用于存储任务运行信息，并根据任务运行信息确定在任务启动时间是否存在运行中的任务，如果否，则发送任务启动确认信息至任务运行端。该实施方式提高了任务运行的实时性。

【技术实现步骤摘要】
用于运行任务的系统、方法和装置
本申请涉及计算机
，具体涉及互联网
，尤其涉及用于运行任务的系统、方法和装置。
技术介绍
数据处理任务，也称为ETL(Extraction-Transformation-Loading，抽取-转换-加载)任务，数据处理通常在成百上千台服务器之间进行，由具有依赖关系的多个任务完成，当处于上游的任务完成时，处于下游的任务才能开始执行。任务的完成任务调度系统来管理。然而，现有的用于运行任务的方式通常是集中化调度，使用中心调度系统管理所有任务，中心调度系统的中心服务器记录每个任务的上下游依赖关系、运行周期等任务信息，从而，这种方式中心服务器的计算任务量巨大，导致了实时性方面的问题。
技术实现思路
本申请的目的在于提出一种改进的用于运行任务的系统、方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请提供了一种用于运行任务的系统，所述系统包括：任务运行端和任务确定端，所述任务运行端与所述任务确定端建立通信连接，其中：所述任务运行端，用于存储任务信息，并发送任务启动确认请求至所述任务确定端，其中，所述任务信息包括任务名称、任务启动时间，所述任务启动确认请求是请求所述任务确定端确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；所述任务确定端，用于存储任务运行信息，并根据所述任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。第二方面，本申请提供了一种用于运行任务的方法，任务运行端与任务确定端建立通信连接，所述方法包括：所述任务运行端存储任务信息，其中，所述任务信息包括任务名称、任务启动时间；所述任务运行端发送任务启动确认请求至所述任务确定端，其中，所述任务启动确认请求是请求所述任务确定端确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；以供存储有任务运行信息的所述任务确定端根据所述任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。第三方面，本申请提供了一种用于运行任务的方法，任务运行端与任务确定端建立通信连接，所述方法包括：所述任务确定端接收存储有任务信息的任务运行端发送的任务启动确认请求，其中，所述任务信息包括任务名称、任务启动时间，所述任务启动确认请求是请求确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；所述任务确定端根据预先存储的任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。第四方面，本申请提供了一种用于运行任务的装置，所述装置作为任务运行端与任务确定端建立连接，所述装置包括：存储模块，配置用于存储任务信息，其中，所述任务信息包括任务名称、任务启动时间；发送模块，配置用于发送任务启动确认请求至任务确定端，其中，所述任务启动确认请求是请求所述任务确定端确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；以供存储有任务运行信息的所述任务确定端根据所述任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。第五方面，本申请提供了一种用于运行任务的装置，所述装置作为任务确定端与任务运行端建立联系，所述装置包括：接收单元，配置用于接收存储有任务信息的任务运行端发送的任务启动确认请求，其中，所述任务信息包括任务名称、任务启动时间，所述任务启动确认请求是请求确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；发送单元，配置用于根据预先存储的任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。本实施例提供的用于运行任务的系统通过任务运行端发送任务启动确认请求至任务确定端，任务确定端根据上述任务启动确认在任务启动时间不存在运行中的上述任务，任务确定端发送任务启动确认信息至上述任务运行端，提高了任务运行的实时性。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是根据本申请的用于运行任务的系统的的示例性系统架构图；图2是根据本申请的用于运行任务的系统的一个实施例的时序图；图3是根据本申请的用于运行任务的系统的另一个实施例的时序图；图4是根据本申请的用于运行任务的方法的一个实施例的流程图；图5是根据本申请的另一个用于运行任务的方法的实施例的流程图；图6是根据本申请的用于运行任务的装置的一个实施例的结构示意图；图7是根据本申请的另一个用于运行任务的装置的实施例的结构示意图；图8是适于用来实现本申请方法实施例的任务确定端或任务运行端的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以根据本申请的用于运行任务的系统的示例性架构100。如图1所示，系统架构100可以包括任务确定端101、102、103，以及任务运行端1011、1012、1013。网络104用以在任务确定端101、102、103之间以及任务确定端101和任务运行端1011、1012、1013之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。任务确定端101、102、103上可以与任务运行端交互信息，并且可以存储任务运行信息；任务确定端可以对任务运行信息进行操作。任务运行端1011、1012、1013用于与任务确定端交互信息、处理ETL任务，并且可以存储任务信息；任务确定端可以对任务信息进行操作。应该理解，图1中的任务确定端、网络和任务运行端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的任务确定端、网络和任务运行端。继续参考图2，其示出了根据本申请的用于运行任务的系统的一个实施例的时序200。本实施例的用于运行任务的系统，包括：任务运行端和任务确定端，任务运行端与任务确定端建立通信连接，其中：本文档来自技高网...

【技术保护点】
一种用于运行任务的系统，其特征在于，所述系统包括：任务运行端和任务确定端，所述任务运行端与所述任务确定端建立通信连接，其中：所述任务运行端，用于存储任务信息，并发送任务启动确认请求至所述任务确定端，其中，所述任务信息包括任务名称、任务启动时间，所述任务启动确认请求是请求所述任务确定端确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；所述任务确定端，用于存储任务运行信息，并根据所述任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。

【技术特征摘要】
1.一种用于运行任务的系统，其特征在于，所述系统包括：任务运行端和任务确定端，所述任务运行端与所述任务确定端建立通信连接，其中：所述任务运行端，用于存储任务信息，并发送任务启动确认请求至所述任务确定端，其中，所述任务信息包括任务名称、任务启动时间，所述任务启动确认请求是请求所述任务确定端确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；所述任务确定端，用于存储任务运行信息，并根据所述任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。2.根据权利要求1所述的系统，其特征在于，所述任务信息还包括上游资源信息；以及所述任务确定端，还用于存储资源信息，其中，所述资源信息包括以下至少一项：任务运行所依赖的数据文件的标识、运行任务所生成的数据文件的标识；所述任务运行端，还用于在接收到的所述任务启动确认信息后，发送上游资源请求至所述任务确定端，其中，所述上游资源请求是向所述任务确定端请求所述上游资源信息中所指示的上游资源的信息，所述上游资源包括以下至少一项：指示所述任务的上游任务是否完成的完成确认信息、运行所述任务所依赖的上游数据文件；所述任务确定端，在预先存储的所述上游任务的任务运行信息和/或所述资源信息中查询所述上游资源请求中的上游资源是否已预先生成，如果是，则发送所述上游资源的标识至所述任务运行端；所述任务运行端，还用于根据接收到的上游资源的标识启动并运行所述任务。3.根据权利要求2所述的系统，其特征在于，所述任务信息还包括：所述任务的最大运行时长；以及所述任务运行端，还用于监控所述任务的运行时长是否大于所述最大运行时长，如果是，则终止运行中的所述任务。4.根据权利要求1-3中任一项所述的系统，其特征在于，所述任务运行信息包括任务名称、时间戳、在所述时间戳所指示的时间点运行所述任务的任务运行端的任务运行端标识；以及所述任务确定端，还用于预先根据运行所述任务的任务运行端每隔预定时间段发送的运行确认信息更新所述任务运行信息，其中，所述运行确认信息包括任务名称、时间戳、任务运行端标识；所述任务确定端，还用于根据任务启动确认请求监控所述任务运行信息中的时间戳所指示的时间与所述预定时间段之和所指示的时间点是否早于所述任务启动时间，如果是，则确定在任务启动时间不存在运行中的所述任务。5.根据权利要求4所述的系统，其特征在于，所述任务确定端，还用于在任务启动时间不存在运行中的所述任务启动确认请求中的任务时，修改所述任务运行信息中的任务运行端标识为所述任务运行端的任务运行端标识，修改所述任务运行信息中的时间戳为所述任务启动时间。6.根据权利要求5所述的系统，其特征在于，所述任务运行端，还用于发送运行所述任务所生成的资源的生成资源信息至所述任务确定端，其中，所述生成资源信息包括以下至少一项：指示所述任务是否完成的完成确认信息、运行所述任务所生成的数据文件的数据文件标识；所述任务确定端，还用于根据所述生成资源信息更新所述任务运行信息和/或资源信息。7.一种用于运行任务的方法，其特征在于，任务运行端与任务确定端建立通信连接，所述方法包括：所述任务运行端存储任务信息，其中，所述任务信息包括任务名称、任务启动时间；所述任务运行端发送任务启动确认请求至所述任务确定端，其中，所述任务启动确认请求是请求所述任务确定端确认所述任务运行端于所述任务启动时间启动所述任务名称所指示的任务的信息；以供存储有任务运行信息的所述任务确定端根据所述任务运行信息确定在任务启动时间是否存在运行中的所述任务，如果否，则发送任务启动确认信息至所述任务运行端，其中，任务运行信息是表征在预定的时间点任务所运行于的任务运行端的信息，所述任务启动确认信息是确认所述任务运行端于所述任务启动时间启动所述任务的信息。8.根据权利要求7所述的方法，其特征在于，所述任务信息还包括上游资源信息，所述任务确定端存储有资源信息，其中，所述资源信息包括以下至少一项：任务运行所依赖的数据文件的标识、运行任务所生成的数据文件的标识；以及所述任务运行端接收任务启动确认信息；所述任务运行端发送上游资源请求至所述任务确定端，其中，所述上游资源请求是向所述任务确定端请求所述上游资源信息中所指示的上游资源的信息，所述上游资源包括以下至少一项：指示所述任务的上游任务是否完成的完成确认信息、运行所述任务所依赖的上游数据文件；以供所述任务确定端在预先存储的所述上游任务的任务运行信息和/或所述资源信息中查询所述上游资源请求中的上游资源是否已预先生成，如果是，则发送所述上游资源的标识至所述任务运行端；所述任务运行端根据接收到的上游资源的标识启动并运行所述任务。9.根据权利要求8所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：胡建华，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11