批处理任务监控方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种批处理任务监控方法、装置、设备及存储介质，该方法包括步骤：获取待处理数据，将所述待处理数据分配至多个批处理任务链路；下发任务调度指令至各个批处理任务链路，并根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息；其中，单个所述批处理任务链路上包括多个任务节点；基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息，其中，所述批处理监控平台与多个所述任务节点相关联。本申请可以对批处理任务执行过程有效监控，使用户及时识别批处理任务中的异常进程并进行针对性处理。理任务中的异常进程并进行针对性处理。理任务中的异常进程并进行针对性处理。

【技术实现步骤摘要】
批处理任务监控方法、装置、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种批处理任务监控方法、装置、设备及存储介质。

技术介绍

[0002]在日常工作业务中，当待处理文件数量较多时，通常使用系统中的批处理的方式对实时性要求不高的大量数据进行数据加工处理，进而完成相应业务处理及归档工作，例如，银行对客户历史交易数据进行处理和归档工作。
[0003]现有技术中，批处理过程复杂且耗时较长，且只能简单地获取批处理执行结果，无法对批处理任务执行过程有效监控，导致用户无法及时识别批处理任务中的异常进程并进行针对性处理，存在灵活性较差的问题。

技术实现思路

[0004]本申请的主要目的在于提供一种批处理任务监控方法、装置、设备及存储介质，旨在解决相关技术中，用户无法及时识别批处理任务中的异常进程并进行针对性处理的技术问题。
[0005]为实现上述目的，本申请实施例提供了一种批处理任务监控方法，所述方法包括：
[0006]获取待处理数据，将所述待处理数据分配至多个批处理任务链路；
[0007]下发任务调度指令至各个批处理任务链路，并根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息；其中，单个所述批处理任务链路上包括多个任务节点；
[0008]基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息，其中，所述批处理监控平台与多个所述任务节点相关联。
[0009]在本申请的一种可能的实施方式中，所述根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息的步骤，包括：
[0010]根据所述任务调度指令，定位待执行任务的任务节点；
[0011]基于所述任务节点，对所述待处理数据进行处理，确定数据处理后的已执行任务节点和未进行数据处理的未执行任务节点；
[0012]实时获取所述已执行任务节点和所述未执行任务节点的执行进度信息。
[0013]在本申请的一种可能的实施方式中，所述执行进度信息包括预测完成时间；
[0014]所述根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息的步骤之后，包括：
[0015]根据所述已执行任务节点的任务执行数据，构建数据拟合曲线；
[0016]基于所述数据拟合曲线，对所述任务执行数据进行线性回归计算，确定所执行任务的预测完成时间。
[0017]在本申请的一种可能的实施方式中，所述批处理监控平台与执行批处理任务的调
度平台功能解耦，使得所述批处理监控平台与所述调度平台分别独立运行。
[0018]在本申请的一种可能的实施方式中，所述基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息的步骤之后，包括：
[0019]当批处理任务所在的当前任务节点的执行耗时超过第一预设阈值时，匹配与当前任务节点所执行任务类型相同的第一任务节点；
[0020]将所述当前任务节点切换至第一任务节点。
[0021]在本申请的一种可能的实施方式中，所述基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息的步骤之后，还包括：
[0022]提取所述执行进度信息中的实时监控数据，并将所述实时监控数据输入预设检测模型，根据所述预设检测模型进行异常检测，获得第一异常数据；
[0023]根据所述第一异常数据，生成第一预警信息；
[0024]将所述第一预警信息上传至所述批处理监控平台，以供用户根据所述第一预警信息，对所述第一异常数据进行修复处理。
[0025]在本申请的一种可能的实施方式中，所述根据所述预设检测模型进行异常检测，获得第一异常数据的步骤之后，包括：
[0026]对所述第一异常数据进行异常定位，获得第一实时定位信息；
[0027]根据所述第一实时定位信息，生成第一重跑指令；
[0028]根据所述第一重跑指令，对所述第一异常数据进行重跑处理。
[0029]本申请还提供一种批处理任务监控装置，所述批处理任务监控装置还包括：
[0030]获取模块，用于获取待处理数据，将所述待处理数据分配至多个批处理任务链路；
[0031]下发模块，用于下发任务调度指令至各个批处理任务链路，并根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息，其中，单个所述批处理任务链路上包括多个任务节点；
[0032]监控模块，用于基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息，其中，所述批处理监控平台与多个所述任务节点相关联。
[0033]本申请还提供一种批处理任务监控设备，所述批处理任务监控设备为实体节点设备，所述批处理任务监控设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述批处理任务监控方法的程序，所述批处理任务监控方法的程序被处理器执行时可实现如上述所述批处理任务监控方法的步骤。
[0034]为实现上述目的，还提供一种存储介质，所述存储介质上存储有批处理任务监控程序，所述批处理任务监控程序被处理器执行时实现上述任一所述的批处理任务监控方法的步骤。
[0035]本申请提供了一种批处理任务监控方法、装置、设备及存储介质。与相关技术中，只能简单地获取批处理执行结果，无法对批处理任务执行过程有效监控，导致用户无法及时识别批处理任务中的异常进程并进行针对性处理相比，在本申请中，获取待处理数据，将所述待处理数据分配至多个批处理任务链路；下发任务调度指令至各个批处理任务链路，并根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息；其中，单个所述批处理任务链路上包括多个任务节点；基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息，其中，所述批处理监控平台与多个所述任务节点相关联。在本
申请中，通过获取待处理数据，按照对应的处理任务，将待处理数据分配至多个任务链路，再根据下发的调度指令对待处理数据进行处理，从而得到相应的执行进度信息，通过批处理监控平台，关联每个任务节点，从而可以实时监控各个任务节点的执行进度数据，进而，使得用户可以及时识别批处理任务在执行过程中的异常进程并进行针对性处理。
附图说明
[0036]图1为本申请批处理任务监控方法的第一实施例的流程示意图；
[0037]图2为本申请批处理任务监控方法的系统架构示意图；
[0038]图3为本申请实施例方案涉及的硬件运行环境的设备结构示意图；
[0039]图4为本申请批处理任务监控方法涉及的批处理任务链路执行流程的可视化瀑布图；
[0040]图5为本申请批处理任务监控方法涉及的批处理任务链路中的异常节点详情示意图；
[0041]图6为本申请批处理任务监控方法涉及的批处理任务链路中的环形进度交互示意图。
具体实施方式
[0042]应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0043]本申请实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批处理任务监控方法，其特征在于，所述方法包括以下步骤：获取待处理数据，将所述待处理数据分配至多个批处理任务链路；下发任务调度指令至各个批处理任务链路，并根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息；其中，单个所述批处理任务链路上包括多个任务节点；基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息，其中，所述批处理监控平台与多个所述任务节点相关联。2.如权利要求1所述的批处理任务监控方法，其特征在于，所述根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息的步骤，包括：根据所述任务调度指令，定位待执行任务的任务节点；基于所述任务节点，对所述待处理数据进行处理，确定数据处理后的已执行任务节点和未进行数据处理的未执行任务节点；实时获取所述已执行任务节点和所述未执行任务节点的执行进度信息。3.如权利要求2所述的批处理任务监控方法，其特征在于，所述执行进度信息包括预测完成时间；所述根据所述任务调度指令，对所述待处理数据进行处理，得到执行进度信息的步骤之后，包括：根据所述已执行任务节点的任务执行数据，构建数据拟合曲线；基于所述数据拟合曲线，对所述任务执行数据进行线性回归计算，确定所执行任务的预测完成时间。4.如权利要求1所述的批处理任务监控方法，其特征在于，所述批处理监控平台与执行批处理任务的调度平台功能解耦，使得所述批处理监控平台与所述调度平台分别独立运行。5.如权利要求1所述的批处理任务监控方法，其特征在于，所述基于批处理监控平台，实时监控并可视化展示各个任务节点的执行进度信息的步骤之后，包括：当批处理任务所在的当前任务节点的执行耗时超过第一预设阈值时，匹配与当前任务节点所执行任务类型相同的第一任务节点；将所述当前任务节点切换至第一任务节点。6.如权利要求1所述的批...

【专利技术属性】
技术研发人员：叶飞，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：