【技术实现步骤摘要】
本专利技术涉及计算机数据处理，尤其涉及一种批处理作业的智能监控方法、装置及设备。
技术介绍
1、在银行各种系统中，批处理通常指在后台对大量数据进行自动处理的过程。这包括对客户信息的审核、合同的生成、还款计划等操作，在批处理过程中系统会按照预设的规则和算法进行自动决策，提高处理的效率和准确性。批处理的工作特点是自动执行、数据量大、定时执行，通常在大规模的日常批处理脚本执行过程中，因为大量数据需要进行加工，数据吞吐量比较大的情况下因为上游数据未就绪、服务器资源、sql、数据库资源、环境等各方面因素均会对批处理作业运行时间产生影响，而对于银行批处理来说，由于重要业务报送、监管报送等业务对批处理作业完成的时效性要求很高，一旦关键路径的批处理作业延时、失败或者重做都会对业务产生影响。
2、在传统批处理监控中，一般采用定时监控批处理作业进行监控，例如，a作业凌晨3点未执行成功，发出报错予运维人员排查，由于批处理作业链路复杂，一个作业可能依赖于上游多个作业，若源系统数据就绪延迟，则整个批处理监控链路都会产生告警，告警多、链路多的情况下对运维人员的工作造成了极大的负担。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种批处理作业的智能监控方法、装置以及设备，旨在解决上述问题。
2、为实现上述目的，本专利技术提供一种批处理作业的智能监控方法，所述方法包括：
3、获取待监控批处理作业，并确定所述待监控批处理作业的关键路径；
4、将所述待监控批处理
5、判断所述预测结果存在超时情况时，则下发超时告警信息，其中，所述超时告警信息包括所述待监控批处理作业的自身超时原因和/或所述关键路径中所依赖的作业的超时原因。
6、优选的，所述确定所述待监控批处理作业的关键路径，包括：
7、基于所述待监控批处理作业向上回溯出所有依赖的关键作业，以及确定每一关键作业的时效性要求，得到所述关键路径。
8、优选的，所述将所述待监控批处理作业输入批处理监控模型中进行预测，包括：
9、基于待监控批处理作业，获取所确定的所述关键路径上所依赖的所述关键作业，并对每一所述关键作业对应的完成时间点进行监控。
10、优选的，所述批处理监控模型基于prophet算法进行构建，包括：
11、获取包括第一数据以及第二数据作为训练数据，将所述训练数据输入所构建的模型中进行训练，得到所述批处理监控模型；其中，所述第一数据包括历史批处理作业的时间序列的时间戳以及相应作业完成时间值，所述第二数据包括需预测的时间序列的长度。
12、优选的，所述将所述训练数据输入所构建的模型中进行训练，包括：
13、通过所述prophet算法将所述训练数据中的时间序列进行分解，得到趋势项、季节项、节假日项以及残差项，分别对各项进行拟合后进行累加，将累加得到的结果作为模型训练的输出结果。
14、优选的，所述输出结果包括拟合曲线、置信区间；所述拟合曲线为批处理作业的预设时间段内将每一时间序列散点连接得到，所述置信区间为通过对每一时间序列散点进行趋势拟合得到，其中，每一所述时间序列散点对应一个完成时间点；所述置信区间包括上界以及下界，将完成时间点的最大值作为所述上界，将完成时间点的最小值作为所述下界。
15、优选的，所述批处理监控模型基于prophet算法进行构建，还包括：
16、通过调整季节项对所述批处理监控模型进行优化。
17、为实现上述目的，本专利技术还提供一种批处理作业的智能监控装置，所述装置包括：
18、确定单元，用于获取待监控批处理作业，并确定所述待监控批处理作业的关键路径；
19、预测单元，用于将所述待监控批处理作业输入批处理监控模型中进行预测，得到未来完成时间点的预测结果；其中，所述批处理监控模型基于prophet算法进行构建；
20、告警单元，用于判断所述预测结果存在超时情况时，则下发超时告警信息，其中，所述超时告警信息包括所述待监控批处理作业的自身超时原因和/或所述关键路径中所依赖的作业的超时原因。
21、为了实现上述目的，本专利技术还提出一种设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如上述实施例所述的一种批处理作业的智能监控方法的步骤。
22、为了实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如上述实施例所述的一种批处理作业的智能监控方法的步骤。
23、有益效果：
24、以上方案，能够实现对批处理作业的自动监控，高效、准确的对批处理作业的完成时间进行监管，能够准确告警出现延时或失败的目标作业，无需整条链路逐一进行排查，大大降低运维人员的工作负担。
25、以上方案，基于prophet算法的批处理监控模型对待监控批处理作业以及对应关键路径上的批处理作业或者任务进行监控，若该待监控批处理作业本身超时或者重做即发出告警，需运维人员对环境进行排查，同时排查该作业的关键路径上的源系统和依赖作业，若源系统、依赖作业出现超时、失败的情况导致在预定时间未完成，将自动延后该作业检查时间，避免重复、同质化的告警，使夜间批处理的问题处理简单、高效，同时也不会导致因批处理作业延迟而影响业务或监管报送。
本文档来自技高网...【技术保护点】
1.一种批处理作业的智能监控方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种批处理作业的智能监控方法，其特征在于，所述确定所述待监控批处理作业的关键路径，包括：
3.根据权利要求2所述的一种批处理作业的智能监控方法，其特征在于，所述将所述待监控批处理作业输入批处理监控模型中进行预测，包括：
4.根据权利要求1所述的一种批处理作业的智能监控方法，其特征在于，所述批处理监控模型基于prophet算法进行构建，包括：
5.根据权利要求4所述的一种批处理作业的智能监控方法，其特征在于，所述将所述训练数据输入所构建的模型中进行训练，包括：
6.根据权利要求5所述的一种批处理作业的智能监控方法，其特征在于，所述输出结果包括拟合曲线、置信区间；所述拟合曲线为批处理作业的预设时间段内将每一时间序列散点连接得到，所述置信区间为通过对每一时间序列散点进行趋势拟合得到，其中，每一所述时间序列散点对应一个完成时间点；所述置信区间包括上界以及下界，将完成时间点的最大值作为所述上界，将完成时间点的最小值作为所述下界。
7.
8.一种批处理作业的智能监控装置，其特征在于，所述装置包括：
9.一种批处理作业的智能监控设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1至7任意一项所述的一种批处理作业的智能监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至7任意一项所述的一种批处理作业的智能监控方法的步骤。
...【技术特征摘要】
1.一种批处理作业的智能监控方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种批处理作业的智能监控方法，其特征在于，所述确定所述待监控批处理作业的关键路径，包括：
3.根据权利要求2所述的一种批处理作业的智能监控方法，其特征在于，所述将所述待监控批处理作业输入批处理监控模型中进行预测，包括：
4.根据权利要求1所述的一种批处理作业的智能监控方法，其特征在于，所述批处理监控模型基于prophet算法进行构建，包括：
5.根据权利要求4所述的一种批处理作业的智能监控方法，其特征在于，所述将所述训练数据输入所构建的模型中进行训练，包括：
6.根据权利要求5所述的一种批处理作业的智能监控方法，其特征在于，所述输出结果包括拟合曲线、置信区间；所述拟合曲线为批处理作业的预设时间段内将每一时间序列散点连接得到，所述置信区间为通过对每...
【专利技术属性】
技术研发人员：陈家学，王淇霖，刘伟旭，蔡建平，刘畅，
申请(专利权)人：厦门国际银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。