管理作业状态制造技术

用于作业管理的方法、系统以及设备，包括在计算机存储介质上编码的计算机程序。所述方法中的一个包括从可插状态报告器接收多个作业中的每一个的状态报告。所述作业由分布式计算系统中的应用执行。所述应用是在至少两个不同的软件框架中开发的。每个作业的作业类型被确定。与所述作业类型相关联的特定状态处理机被选择来确定所述作业的指定状态信息。所述指定状态信息被存储在状态数据库中并且与所述作业相关联。

【技术实现步骤摘要】
【国外来华专利技术】
本公开一般地涉及数据分析，并且更具体地涉及管理在分布式计算系统中执行的作业。
技术介绍
在云计算中，分布式计算系统能够通过跨越由一个或多个数据通信网络连接的多个计算机分发任务来执行各种类型的作业。每个计算机能够托管一个或多个服务器，其中的每一个执行作业的任务的一部分。服务器能够并行地对数据进行处理。在一些情况下，作业可以是同步的或异步的。高效且足够详细地管理(例如，监视、查询或者调试)作业的处理或执行状态可能是有挑战性的。
技术实现思路
本说明书描述与高速且足够详细地管理在分布式计算系统中执行的作业有关的技术。这些技术能够管理由在不同的软件框架中开发的应用所执行的多个作业的状态。一般而言，本说明书中所描述的主题的一个创新方面能够用包括以下各项的动作的方法具体化：接收多个作业中的每个作业的状态报告，所述作业在包括多个计算机的分布式计算系统中执行，所述作业至少包括由在第一软件框架中开发的第一应用所执行的第一作业以及由在与所述第一软件框架不同的第二软件框架中开发的第二应用所执行的第二作业；确定所述作业中的每一个的相应的作业类型；以及针对所述作业中的每一个，确定所述作业的所述作业类型被存储在第一数据库中，所述第一数据库使作业类型与相应的状态处理机相关联，并且作为响应：从所述第一数据库中选择与所述作业类型相关联的相应的状态处理机；利用所述相应的状态处理机，基于所述作业的所述状态报告来确定所述作业的指定状态信息；将所述指定状态信息存储在第二数据库中；以及在所述第二数据库中使所述指定状态信息与所述作业相关联。这个方面的其它实施例包括被构造成执行在计算机存储装置上编码的方法的动作的对应系统、设备以及计算机程序。为让一个或多个计算机的系统被构造成执行特定操作或动作意味着该系统已经将在操作中使该系统执行所述操作或动作的软件、固件、硬件或它们的组合安装在其上。为让一个或多个计算机程序被构造成执行特定操作或动作意味着该一个或多个程序包括当由数据处理设备执行时使该设备执行所述动作的指令。上述和其它实施例能够单独或者相结合地各自可选地包括以下特征中的一个或多个。在一些实施方式中，所述第一软件框架和所述第二软件框架中的每一个包括使得能够开发应用、产品和/或解决方案的相应的支持程序、编译程序、代码库、工具集以及应用编程接口。确定所述作业中的每一个的相应的作业类型能够包括确定特定软件框架，所述作业由在所述特定软件框架中开发的特定应用执行，并且所述作业类型与所述特定应用和所述特定软件框架相关联。在一些实施方式中，接收多个作业中的每个作业的状态报告包括：从所述多个计算机中的第一计算机中的第一状态报告器接收所述第一作业的第一状态报告，所述第一作业由所述第一计算机中的所述第一应用执行并且所述第一状态报告器与所述第一计算机相关联；从所述多个计算机中的第二计算机中的第二状态报告器接收所述第二作业的第二状态报告，所述第二作业由所述第二计算机中的所述第二应用执行并且所述第二状态报告器与所述第二计算机相关联，并且所述第一状态报告器和所述第二状态报告器是同一状态报告器应用的实例。在一些示例中，所述第一状态报告器与所述第一应用一起在所述第一软件框架中被执行，并且所述第二状态报告器与所述第二应用一起在所述第二软件框架中被执行。在一些实施方式中，接收多个作业中的每个作业的状态报告包括接收特定作业的状态报告。能够在完成在所述分布式计算系统中执行所述特定作业之后的时间点生成所述状态报告。在一些实施方式中，所述动作还包括接收特定作业的第一步骤的第一状态报告，所述特定作业包括待在所述分布式计算系统中执行的多个步骤。能够在生成时间点生成所述第一步骤的所述第一状态报告。所述生成时间点可以是在所述第一步骤的执行的开始、在所述执行期间的第一时间点、在所述执行的结束、或者在所述执行之后的第二时间点。在一些示例中，所述动作还包括确定所述第一步骤的所述第一状态报告被接收，并且作为响应，发送用于继续在所述分布式计算系统中执行所述特定作业的触发信号。在一些其它示例中，所述特定作业的所述多个步骤是基于针对所述特定作业的预定调度来执行的。所述预定调度能够由作业调度器调度，所述作业调度器对待在所述分布式计算系统中执行的所述特定作业的所述多个步骤进行调度。在一些实施方式中，所述多个步骤中的每个步骤被调度成在所述分布式计算系统中的所述多个计算机中的相应的计算机中执行。所述动作还包括从所述相应的计算机中的相应的状态报告器接收所述步骤的一个或多个状态报告。在一些示例中，所述动作还包括：确定所述多个步骤中的每一个的相应的步骤类型；以及针对所述步骤中的每一个，确定所述步骤的所述步骤类型被存储在第三数据库中，所述第三数据库使步骤类型与相应的步骤状态处理机相关联，并且作为响应：从所述第三数据库中选择与所述步骤类型相关联的相应的步骤状态处理机；利用所述相应的步骤状态处理机，基于所述步骤的所述一个或多个状态报告来确定所述步骤的指定步骤状态信息；将所述指定步骤状态信息存储在所述第二数据库中；以及在所述第二数据库中使所述指定步骤状态信息与所述特定作业的所述步骤相关联。在一些实施方式中，基于所述作业的所述状态报告来确定所述作业的指定状态信息包括基于针对所述相应的状态处理机而预先构造的一个或多个规则来确定所述作业的指定状态信息。在一些示例中，与所述第一数据库中的所述作业类型相关联的所述相应的状态处理机是同一状态处理机应用的实例。在一些实施方式中，所述动作还包括：接收查询特定作业的状态的请求；基于所述请求从所述第二数据库中检索相关状态信息；以及输出所述相关状态信息。在一些示例中，检索相关状态信息包括基于所述请求对在所述第二数据库中与所述特定作业相关联的相应的状态信息进行过滤以检索所述相关状态信息。在一些示例中，输出所述相关状态信息包括向用户计算机发送用于将所述相关状态信息显示在图形用户界面(GUI)中的指令。能够实现本说明书中所描述的主题的特定实施例以便实现一个或多个优点。能够管理作业(例如，在不同的软件框架中执行的不同类型的作业、具有多个复杂步骤的作业或者同步或异步作业)的执行或处理状态。可插作业状态报告器能够容易地与现有应用或系统集成，并且针对不同类型的作业或特定作业的多个复杂步骤的状态报告进行报告。可插特定作业状态处理机能够分析所述作业的状态报告，以确定关于所述作业的执行的最有价值的信息。用户能够高效且足够详细地查询作业的执行状态。在附图和以下描述中阐述本说明书中所描述的主题的一个或多个实施例的细节。主题的其它特征、方面和优点从本描述、附图和权利要求书中将变得显而易见。附图说明图1是依照本公开的实施方式的示例系统架构的框图。图2描绘依照本公开的实施方式的能够被执行的示例过程。图3描绘依照本公开的实施方式的能够被执行的示例过程。各个附图中的相同的附图标记指示相同的元件。具体实施方式图1是用于管理作业的示例系统架构100的框图。该示例系统架构100包括用户102和用户计算机104、分布式计算系统110、状态监视器120以及数据通信网络108。在一些实施方式中，用户102使用用户计算机104来对待在分布式计算系统110中执行的作业进行调度。分布式计算系统110监视作业的执行状态报告并且将其提交给状态监视器1本文档来自技高网...

【技术保护点】
一种计算机实现的方法，所述方法包括：接收多个作业中的每个作业的状态报告，所述作业是在包括多个计算机的分布式计算系统中被执行的，其中，所述作业至少包括由在第一软件框架中开发的第一应用所执行的第一作业、以及由在与所述第一软件框架不同的第二软件框架中开发的第二应用所执行的第二作业；确定所述作业中的每一个的相应的作业类型；以及针对所述作业中的每一个，确定该作业的所述作业类型被存储在第一数据库中，所述第一数据库使作业类型与相应的状态处理机相关联，并且作为响应：从所述第一数据库中选择与所述作业类型相关联的相应的状态处理机；利用所述相应的状态处理机，基于所述作业的所述状态报告来确定所述作业的指定状态信息；将所述指定状态信息存储在第二数据库中；以及在所述第二数据库中使所述指定状态信息与所述作业相关联。

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，所述方法包括：接收多个作业中的每个作业的状态报告，所述作业是在包括多个计算机的分布式计算系统中被执行的，其中，所述作业至少包括由在第一软件框架中开发的第一应用所执行的第一作业、以及由在与所述第一软件框架不同的第二软件框架中开发的第二应用所执行的第二作业；确定所述作业中的每一个的相应的作业类型；以及针对所述作业中的每一个，确定该作业的所述作业类型被存储在第一数据库中，所述第一数据库使作业类型与相应的状态处理机相关联，并且作为响应：从所述第一数据库中选择与所述作业类型相关联的相应的状态处理机；利用所述相应的状态处理机，基于所述作业的所述状态报告来确定所述作业的指定状态信息；将所述指定状态信息存储在第二数据库中；以及在所述第二数据库中使所述指定状态信息与所述作业相关联。2.根据权利要求1所述的方法，其中，接收多个作业中的每个作业的状态报告包括：从所述多个计算机中的第一计算机中的第一状态报告器接收所述第一作业的第一状态报告，其中，所述第一作业由所述第一计算机中的所述第一应用执行并且所述第一状态报告器与所述第一计算机相关联；从所述多个计算机中的第二计算机中的第二状态报告器接收所述第二作业的第二状态报告，其中，所述第二作业由所述第二计算机中的所述第二应用执行并且所述第二状态报告器与所述第二计算机相关联，并且其中，所述第一状态报告器和所述第二状态报告器是同一状态报告器应用的实例。3.根据权利要求1所述的方法，还包括：接收特定作业的第一步骤的第一状态报告，所述特定作业包括待在所述分布式计算系统中执行的多个步骤。4.根据权利要求3所述的方法，其中，在生成时间点生成所述第一步骤的所述第一状态报告，所述生成时间点是在所述第一步骤的执行的开始、在所述执行期间的第一时间点、在所述执行的结束、或者在所述执行之后的第二时间点。5.根据权利要求3所述的方法，还包括：确定所述第一步骤的所述第一状态报告被接收到，并且作为响应，发送用于在所述分布式计算系统中继续执行所述特定作业的触发信号。6.根据权利要求3所述的方法，其中，所述特定作业的所述多个步骤是基于针对所述特定作业的预定调度来被执行的。7.根据权利要求6所述的方法，其中，所述预定调度是由作业调度器来调度的，所述作业调度器用于对待在所述分布式计算系统中执行的所述特定作业的所述多个步骤进行调度。8.根据权利要求3所述的方法，其中，所述多个步骤中的每个步骤被调度成在所述分布式计算系统中的所述多个计算机中的相应的计算机中执行，并且还包括从所述相应的计算机中的相应的状态报告器接收所述步骤的一个或多个状态报告。9.根据权利要求3所述的方法，还包括：确定所述多个步骤中的每一个的相应的步骤类型；以及针对所述步骤中的每一个，确定所述步骤的所述步骤类型被存储在第三数据库中，所述第三数据库使步骤类型与相应的步骤状态处理机相关联，并且作为响应：从所述第三数据库中选择与所述步骤类型相关联的相应的步骤状态处理机；利用所述相应的步骤状态处理机，基于所述步骤的所述一个或多个状态报告来确定所述步骤的指定步骤状态信息；将所述指定步骤状态信息存储在所述第二数据库中；以及在所述第二数据库中使所述指定步骤状态信息与所述特定作业的所述步骤相关联。10.根据权利要求1所述的方法，其中，基于所述作业的所述状态报告来确定所述作业的指定状态信息包括：基于针对所述相应的状态处理机而预先构造的一个或多个规则，来确定所述作业的指定状态信息。11.根据权利要求1所述的方法，还包括：接收查询特定作业的状态的请求；基于所述请求从所述第二数据库中检索相关状态信息；以及输出所述相关状态信息。12.一种系统，所述系统包括：一个或多个处理器；以及计算机可读存储介质，所述计算机可读存储介质与所述一个或多个处理器通信并且具有存储在其上的指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下各项的操作：接收多个作业中的每个作业的状态报告，所述作业是在包括多个计算机的分布式计算系统中被执行的，其中，所述作业至少包括由在第一软件框架中开发的第一应用所执行的第一作业、以及由在与所述第一软件框架不同的第二软件框架中开发的第二应用所执行的第二作业；确定所述作业中的每一个的相应的作业类型；以及针对所述作业中的每一个，确定该作业的所述作业类型被存储在第一数据库中，所述第一数据库使作业类型与相应的状态处理机相关联，并且作为响应：从所述第一数据库中选择与所述作业类型相关联的相应的状态处理机；利用所述相应的状态处理机，基于所述作业的所述状态报告来确定所述作业的指定状态信息；将所述指定状态信息存储在第二数据库中；以及在所述第二数据库中使所述指定状态信息与所述作业相关联。13.根据权利要求12所述的系统，其中，接收多个作业中的每个作业的状态报告包括：从所述多个计算机中的第一计算机中的第一状态报告器接收所述第一作业的第一状态报告，其中，所述第一作业由所述第一计算机中的所述第一应用执行并且所述第一状态报告器与所述第一计算机相关联；从所述多个计算机中的第二计算机中的第二状态报告器接收所述第二作业的第二状态报告，其中，所述第二作业由所述第二计算机中的所述第二应用执行并且所述第二状态报告器与所述第二计算机相关联，并且其中，所述第一状态报告器和所述第二状态报告器是同一状态报告器应用的实例。14.根据权利要求12所述的系统，所述操作还包括接收特定作业的第一步骤的第一状态报告，所述特定作业包括待在所述分布式计算系统中执行的多个步骤。15.根据权利要求14所述的系统，其中，在生成时间点生成所述第一步骤的所述第一状态报告，所述生成时间点是在所述第一步骤的执行的开始、在所述执行期间的第一时间点、在所述执行的结束、或者在所述执行之后的第二时间点。16.根据权利要求14所述的系统，所述操作还包括：确定所述第...

【专利技术属性】
技术研发人员：赵艳慧，高小明，韩冷，李雄，李烨，
申请(专利权)人：皮沃塔尔软件公司，
类型：发明
国别省市：美国;US