本发明专利技术公开了一种作业链路监控方法、装置、终端设备以及存储介质，其方法包括：通过所述数据层获取作业的跑批数据；在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果，所述作业生命周期包括作业跑批完成前和作业跑批完成后；当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制；在作业跑批完成后，基于所述作业跑批完成后的分析结果生成作业监控分析报告。本发明专利技术可以对可能出现延迟风险的作业进行预测，进而采取相应的措施来避免作业延迟，还可以根据作业监控分析报告进行异常作业的根本原因分析，并就根本原因对异常作业进行治理。就根本原因对异常作业进行治理。就根本原因对异常作业进行治理。
【技术实现步骤摘要】
作业链路监控方法、装置、终端设备以及存储介质
[0001]本专利技术涉及链路监控领域，尤其涉及一种作业链路监控方法、装置、终端设备以及存储介质。
技术介绍
[0002]随着市场竞争的加剧和业务需求的增加，越来越多的企业开始进行数字化转型。在数字化转型的过程中，异常作业会对企业的运营和发展造成不良影响。因此，数字化转型下的异常作业治理已经成为企业面临的重要挑战。
[0003]目前主要采取传统人工方式分析治理异常作业，传统人工方式分析治理异常作业的局限性在于它只能针对已经出现异常的作业进行分析治理，而无法提前对可能出现延迟风险的作业进行预测，进而采取相应的措施来避免作业延迟。此外，传统人工方式只能进行单一环节的监测和管理，难以在全链路上实现全面、多维度的监测和异常识别，这样就难以准确地定位作业异常的根本原因并就根本原因进行治理。
技术实现思路
[0004]本专利技术的主要目的在于提供一种作业链路监控方法、装置、终端设备以及存储介质，旨在解决人工分析治理异常作业时无法提前对出现延迟风险的作业进行预测，和无法准确定位作业异常的根本原因的问题。
[0005]为实现上述目的，本专利技术提供一种作业链路监控方法，所述方法包括：
[0006]通过所述数据层获取作业的跑批数据；
[0007]在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果，所述作业生命周期包括作业跑批完成前和作业跑批完成后；
[0008]当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制；
[0009]在作业跑批完成后，基于所述作业跑批完成后的分析结果生成作业监控分析报告。
[0010]可选地，所述作业跑批完成前包括：作业跑批前，所述在作业生命周期中，分别将所述作业跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果的步骤包括：
[0011]在作业跑批前，使用预先建立的延迟数据预测模型对所述作业的跑批数据进行分析，得到作业跑批前的分析结果，其中，所述延迟数据预测模型是基于预先处理过的所述作业的跑批数据组合构建得到；
[0012]所述当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制的步骤包括：
[0013]当作业跑批前的分析结果表明所述作业存在延迟时，触发预先建立的作业跑批前的提前预警机制。
[0014]可选地，所述作业跑批完成前还包括：作业跑批中，所述在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果的步骤包括：
[0015]在作业跑批中，通过预先建立的实时流计算模型对所述作业的跑批数据进行异常状态计算和达标判断，得到作业跑批中的分析结果，其中，所述实时流计算模型是基于消息队列系统卡夫卡和卡夫卡流处理框架构建得到；
[0016]所述当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制的步骤包括：
[0017]当作业跑批中的分析结果符合预设异常条件时，触发预先建立的作业跑批中的实时告警机制。
[0018]可选地，所述在作业跑批中，通过预先建立的实时流计算模型对所述作业的跑批数据进行异常状态计算和达标判断，得到作业跑批中的分析结果的步骤包括：
[0019]对所述作业的跑批数据进行异常状态计算，得到所述作业的异常状态；
[0020]判断所述作业的跑批数据中的作业跑批时间是否超过所述作业所在数据层分区的时效限制，得到所述作业的达标情况；
[0021]将所述作业的异常状态和达标情况进行统计汇总，得到统计汇总结果，将所述统计汇总结果作为所述作业跑批中的分析结果。
[0022]可选地，所述在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果的步骤包括：
[0023]在作业跑批完成后，通过预先建立的全链路根因分析模型对所述作业的跑批数据进行全链路多维度分析，得到作业跑批完成后的分析结果。
[0024]可选地，所述在作业跑批完成后，通过预先建立的全链路根因分析模型对所述作业的跑批数据进行全链路多维度分析，得到作业跑批完成后的分析结果的步骤包括：
[0025]基于所述作业的跑批数据判断所述作业在预设时间内是否到位，得到判断结果；
[0026]根据所述判断结果获取所述作业对应的上游链路；
[0027]根据所述上游链路获取所述上游链路的作业的跑批数据；
[0028]基于所述上游链路的作业的跑批数据进行链路分析，得到问题节点的定位，所述分析结果包括问题节点的定位。
[0029]可选地，所述基于所述上游链路的作业的跑批数据进行链路分析，得到问题节点的定位，所述分析结果包括问题节点的定位的步骤之后包括：
[0030]若所述判断结果表明所述作业在预设时间内已到位，则进行链路数据统计，得到统计后的链路数据，所述分析结果包括统计后的链路数据。
[0031]可选地，所述在作业跑批前，使用预先建立的延迟数据预测模型对所述作业的跑批数据进行分析的步骤之前包括：
[0032]建立延迟数据预测模型，具体包括：
[0033]通过所述数据层获取原始数据；
[0034]对所述原始数据进行数据处理，得到处理后的数据；
[0035]对处理后的数据组合构建方程组
，
求解所述方程组得到作业相对跑批时间的模型区间，将所述模型区间作为所述延迟数据预测模型。
[0036]可选地，所述在作业跑批中，通过预先建立的实时流计算模型对所述作业的跑批数据进行异常状态计算和达标判断的步骤之前包括：
[0037]依据预先设置的数据层分区规则对所述作业进行分区，得到不同分区的作业；
[0038]基于所述消息队列系统卡夫卡和卡夫卡流处理框架，开启多个卡夫卡流处理实例；
[0039]基于每个所述卡夫卡流处理实例，启动多个流线程，得到实时流计算模型，其中所述流线程对所述不同分区的作业进行异常状态计算和达标判断。
[0040]本专利技术实施例还提出一种作业链路监控装置，所述装置包括：
[0041]数据获取模块，用于通过所述数据层获取作业的跑批数据；
[0042]数据分析模块，用于在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果，所述作业生命周期包括作业跑批完成前和作业跑批完成后；
[0043]分析结果处理模块，用于当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制；在作业跑批完成后，基于所述作业跑批完成后的分析结果生成作业监控分析报告。
[0044]本专利技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的作业链路监控程序，所述作业链路监控程序被所述处理器执行时实现如上所述的作业链路监控方法。
[0045]本专利技术实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种作业链路监控方法，其特征在于，所述方法应用于智能监控系统，所述智能监控系统包括数据层，所述方法包括以下步骤：通过所述数据层获取作业的跑批数据；在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果，所述作业生命周期包括作业跑批完成前和作业跑批完成后；当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制；在作业跑批完成后，基于所述作业跑批完成后的分析结果生成作业监控分析报告。2.根据权利要求1所述的方法，其特征在于，所述作业跑批完成前包括：作业跑批前，所述在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果的步骤包括：在作业跑批前，使用预先建立的延迟数据预测模型对所述作业的跑批数据进行分析，得到作业跑批前的分析结果，其中，所述延迟数据预测模型是基于预先处理过的所述作业的跑批数据组合构建得到；所述当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制的步骤包括：当作业跑批前的分析结果表明所述作业存在延迟时，触发预先建立的作业跑批前的提前预警机制。3.根据权利要求1所述的方法，其特征在于，所述作业跑批完成前还包括：作业跑批中，所述在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果的步骤包括：在作业跑批中，通过预先建立的实时流计算模型对所述作业的跑批数据进行异常状态计算和达标判断，得到作业跑批中的分析结果，其中，所述实时流计算模型是基于消息队列系统卡夫卡和卡夫卡流处理框架构建得到；所述当作业跑批完成前的分析结果符合预设异常条件时，触发预先建立的监控通知机制的步骤包括：当作业跑批中的分析结果符合预设异常条件时，触发预先建立的作业跑批中的实时告警机制。4.根据权利要求3所述的方法，其特征在于，所述在作业跑批中，通过预先建立的实时流计算模型对所述作业的跑批数据进行异常状态计算和达标判断，得到作业跑批中的分析结果的步骤包括：对所述作业的跑批数据进行异常状态计算，得到所述作业的异常状态；判断所述作业的跑批数据中的作业跑批时间是否超过所述作业所在数据层分区的时效限制，得到所述作业的达标情况；将所述作业的异常状态和达标情况进行统计汇总，得到统计汇总结果，将所述统计汇总结果作为所述作业跑批中的分析结果。5.根据权利要求1所述的方法，其特征在于，所述在作业生命周期中，分别将所述作业的跑批数据输入预先建立的数据治理模型进行分析，得到相应的分析结果的步骤包括：在作业跑批完成后，通过预先建立的全链路根因分析模型对所述作业的跑批数据进行全链路多维度分析，得到作业跑批完成后的分析结果。
6.根据权利要求5所述的方法，其特征在于，所述在作业跑批完成后，通过预先建立的...
【专利技术属性】
技术研发人员：胡成跃，杨秀梅，邵森鸿，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。