批量调度方法、装置、电子设备、介质及产品制造方法及图纸

本公开提供一种批量调度方法、装置、电子设备、介质及产品，涉及大数据技术领域，可应用于金融科技领域，方法包括：确定应用接入的对象是否为大数据集群；响应于所述应用接入的对象为大数据集群，获取所述大数据集群的状态信息；根据所述状态信息确定所述大数据集群是否处于变更状态；响应于所述大数据集群处于变更状态，停止批量调度。停止批量调度。停止批量调度。

【技术实现步骤摘要】
批量调度方法、装置、电子设备、介质及产品


[0001]本公开涉及大数据
，可应用于金融科技
，特别涉及一种批量调度方法、装置、电子设备、介质及产品。

技术介绍

[0002]企业级软件应用主要由联机与批量两部分内容组成。在金融领域中，由于涉及大量的账务以及报表等内容，后台加工逻辑更加复杂，因此批量的使用更为广泛。批量的稳定高效也对企业的正常运行起着至关重要的作用。
[0003]批量在实际使用中经常会出现一些意想不到的批量中断，导致部分批量数据延后，影响后续依赖批量的时效性及联机展示的数据准确性，引发生产问题等。此时，需要运维人员进行手工应急处理，更有甚者会需要发布新的批量程序来进行问题的修复。
[0004]目前，大部分的批量调度已经加入了批量检查的步骤，在批量运行之前，进行一些必要性的检查步骤，例如上游文件是否到齐、作业依赖是否满足、冲突作业是否在执行等，进而减少批量运行中断的可能性。
[0005]然而，在企业的不断升级转型中，大量的数据开始存放于大数据集群，随着大量数据传输由文件转为大数据集群存储，开放平台的批量也需要逐步地接入大数据集群运行。目前，现有的批量检查在应用面对大数据集群时已不适用，若缺少必要的检查步骤以及一些容错性方法，仍将引发较多的批量中断问题，增加对应用功能的负面影响。

技术实现思路

[0006]有鉴于此，本公开的主要目的是提供一种批量调度方法、装置、电子设备、介质及产品，旨在至少部分解决现有技术中在应用面对大数据集群时，缺乏有效的批量检查手段的技术问题。
[0007]为实现上述目的，本公开实施例第一方面提供一种批量调度方法，包括：确定应用接入的对象是否为大数据集群；响应于所述应用接入的对象为大数据集群，获取所述大数据集群的状态信息；根据所述状态信息确定所述大数据集群是否处于变更状态；响应于所述大数据集群处于变更状态，停止批量调度。
[0008]根据本公开的实施例，所述确定应用接入的对象是否为大数据集群包括：获取与所述应用对应作业的字段信息，其中，所述字段信息包括所述应用对应作业访问接入对象的标签信息；在所述标签信息指示所述应用对应作业访问的对象为大数据集群的情况下，确定所述应用接入的对象为大数据集群；在所述标签信息指示所述应用对应作业访问的对象不为大数据集群的情况下，确定所述应用接入的不为大数据集群。
[0009]根据本公开的实施例，所述获取所述大数据集群的状态信息包括：获取管理所述大数据集群状态的事件变更管理系统的接口信息；根据所述接口信息确定所述状态信息，其中，所述状态信息包括未变更状态和变更状态。
[0010]根据本公开的实施例，所述方法还包括：响应于所述大数据集群未处于变更状态，
获取所述大数据集群的服务可用性信息；根据所述服务可用性信息确定所述大数据集群的服务是否可用；响应于所述大数据集群的服务为可用状态，执行批量调度。
[0011]根据本公开的实施例，所述批量调度方法还包括：响应于所述大数据集群的服务为不可用状态，返回获取所述大数据集群的服务可用性信息的操作，重复确定所述大数据集群的服务是否可用；响应于所述大数据集群的服务为不可用状态的确定次数大于第一阈值，停止批量调度。
[0012]根据本公开的实施例，所述执行批量调度包括：获取所述批量调度的执行次数；响应于所述执行次数为零，直接执行首次批量调度；响应于所述执行次数介于零与第二阈值之间，执行批量断点重提操作；响应于所述执行次数大于所述第二阈值，中断所述批量调度。
[0013]根据本公开的实施例，所述方法还包括：响应于所述应用接入的对象不为大数据集群，获取所述批量调度的执行次数；响应于所述执行次数为零，直接执行首次批量调度；响应于所述执行次数介于零与第三阈值之间，执行批量断点重提操作；响应于所述执行次数大于所述第三阈值，中断所述批量调度。
[0014]根据本公开的实施例，在执行首次批量调度或执行批量断点重提操作之后，将与所述执行次数对应的参数加一。
[0015]根据本公开的实施例，所述方法还包括：响应于所述批量调度中断，向运维人员发送报警信号来提示所述运维人员对中断的所述批量调度的故障进行定位和处理。
[0016]本公开第二方面提供一种批量调度装置，包括：第一确定模块，用于确定应用接入的对象是否为大数据集群；第一响应模块，用于响应于所述应用接入的对象为大数据集群，获取所述大数据集群的状态信息；第二确定模块，用于根据所述状态信息确定所述大数据集群是否处于变更状态；第二响应模块，用于响应于所述大数据集群处于变更状态，停止批量调度。
[0017]本公开实施例第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据上述批量调度方法。
[0018]本公开实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行根据上述批量调度方法。
[0019]本公开实施例第五方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据上述批量调度方法。
[0020]根据本公开实施例提供的批量调度方法、装置、电子设备、介质及产品，至少具备以下有益效果：
[0021]在应用独立调度接入大数据集群的场景下，根据变更状态控制批量调度的逻辑，当检查到大数据集群的处于变更期间的情况下，默认不进行批量调度，避免了批量调度过程中出现多次批量中断问题，从而能够明显减少运维人员手工处理批量中断的次数，并且提高了批量调度的容错性。
附图说明
[0022]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0023]图1示意性示出了根据本公开实施例的批量调度方法及装置的系统架构100；
[0024]图2示意性示出了根据本公开实施例的批量调度方法的应用场景图；
[0025]图3示意性示出了根据本公开一实施例的批量调度方法的流程图；
[0026]图4示意性示出了根据本公开实施例图3所示的批量调度方法的操作S301的流程图；
[0027]图5示意性示出了根据本公开实施例图3所示的批量调度方法的操作S302的流程图；
[0028]图6示意性示出了根据本公开另一实施例的批量调度方法的流程图；
[0029]图7示意性示出了根据本公开又一实施例的批量调度方法的流程图；
[0030]图8示意性示出了根据本公开实施例图6所示S603中执行批量调度的流程图；
[0031]图9示意性示出了根据本公开再一实施例的批量调度方法的流程图；
[0032]图10本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量调度方法，包括：确定应用接入的对象是否为大数据集群；响应于所述应用接入的对象为大数据集群，获取所述大数据集群的状态信息；根据所述状态信息确定所述大数据集群是否处于变更状态；响应于所述大数据集群处于变更状态，停止批量调度。2.根据权利要求1所述的批量调度方法，其中，所述确定应用接入的对象是否为大数据集群包括：获取与所述应用对应作业的字段信息，其中，所述字段信息包括所述应用对应作业接入对象的标签信息；在所述标签信息指示所述应用对应作业访问的对象为大数据集群的情况下，确定所述应用接入的对象为大数据集群；在所述标签信息指示所述应用对应作业访问的对象不为大数据集群的情况下，确定所述应用接入的不为大数据集群。3.根据权利要求1所述的批量调度方法，其中，所述获取所述大数据集群的状态信息包括：获取管理所述大数据集群状态的事件变更管理系统的接口信息；根据所述接口信息确定所述状态信息，其中，所述状态信息包括未变更状态和变更状态。4.根据权利要求1所述的批量调度方法，其中，所述方法还包括：响应于所述大数据集群未处于变更状态，获取所述大数据集群的服务可用性信息；根据所述服务可用性信息确定所述大数据集群的服务是否可用；响应于所述大数据集群的服务为可用状态，执行批量调度。5.根据权利要求4所述的批量调度方法，其中，所述批量调度方法还包括：响应于所述大数据集群的服务为不可用状态，返回获取所述大数据集群的服务可用性信息的操作，重复确定所述大数据集群的服务是否可用；响应于所述大数据集群的服务为不可用状态的确定次数大于第一阈值，停止批量调度。6.根据权利要求4所述的批量调度方法，其中，所述执行批量调度包括：获取所述批量调度的执行次数；响应于所述执行次数为零，直接执行首次批量调度；响应...

【专利技术属性】
技术研发人员：王学洋，李晓园，胡宁杭，江阮磊，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：