一种异常处理方法技术

本申请公开了异常处理方法

【技术实现步骤摘要】
一种异常处理方法、装置、电子设备及计算机可读介质


[0001]本申请涉及大数据数据分析与挖掘
，尤其涉及一种异常处理方法
、
装置
、
电子设备及计算机可读介质
。

技术介绍

[0002] 目前，随着企业数据量的增长和数据处理的需求不断增加，大数据分析开始融入各行各业，
ETL
作为大数据处理和分析的基础流程，也被广泛的应用到数仓开发中
。ETL
链路依赖关系依赖人工排查
, 容易出错；若结果表依赖的链路较多，人工分析依赖关系极其容易有疏漏
。
重跑每个
ETL
节点，需要人工等待监控结果，浪费时间
。ETL
链路节点之间存在很多可以并行运行的节点，可并行运行，可大大节约整个链路运行的时间；但人工判断是否能并行容易疏漏，也较难实现最大规模并行处理，数据分析效率与准确率较低
。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种异常处理方法
、
装置
、
电子设备及计算机可读介质，能够解决现有的数据分析效率与准确率较低的问题
。
[0004]为实现上述目的，根据本申请实施例的一个方面，提供了一种异常处理方法，包括：响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程
。
[0005]可选地，根据目标链路得到待处理节点集合，包括：确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合
。
[0006]可选地，确定待处理节点集合中的运行节点，包括：对于每一个关联节点，确定对应的父节点；响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点
。
[0007]可选地，方法还包括：响应于实时状态为失败，基于目标链路
、
运行节点和数据源标识，生成报警信息并输出至预设处理节点
。
[0008]可选地，在更新触发的运行节点的实时状态之后，方法还包括：
以有向无环图的形式展示实时状态
。
[0009]可选地，标记运行节点为触发，包括：确定待处理节点集合对应的执行计划；将执行计划中的运行节点的节点状态更新为触发
。
[0010]可选地，获取待处理节点集合中各个节点的节点类型和节点状态，包括：获取待处理节点集合中各个节点的节点类型；响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功
。
[0011]另外，本申请还提供了一种异常处理装置，包括：第一获取单元，被配置成响应于异常处理请求，获取对应的数据源标识；待处理节点集合确定单元，被配置成根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；第二获取单元，被配置成获取待处理节点集合中各个节点的节点类型和节点状态；运行节点确定单元，被配置成根据节点类型和节点状态，确定待处理节点集合中的运行节点；第一更新单元，被配置成将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；第二更新单元，被配置成响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程
。
[0012]可选地，待处理节点集合确定单元进一步被配置成：确定目标链路上与数据源标识关联的关联节点，以基于关联节点得到对应的待处理节点集合
。
[0013]可选地，运行节点确定单元进一步被配置成：对于每一个关联节点，确定对应的父节点；响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点
。
[0014]可选地，装置还包括报警单元，被配置成：响应于实时状态为失败，基于目标链路
、
运行节点和数据源标识，生成报警信息并输出至预设处理节点
。
[0015]可选地，装置还包括展示单元，被配置成：以有向无环图的形式展示实时状态
。
[0016]可选地，第一更新单元进一步被配置成：确定待处理节点集合对应的执行计划；将执行计划中的运行节点的节点状态更新为触发
。
[0017]可选地，第二获取单元进一步被配置成：获取待处理节点集合中各个节点的节点类型；响应于节点类型中没有父节点，则将父节点的节点状态自动确定为成功
。
[0018]另外，本申请还提供了一种异常处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多
个处理器实现如上述的异常处理方法
。
[0019]另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的异常处理方法
。
[0020]为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品
。
[0021]本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的异常处理方法
。
[0022]上述专利技术中的一个实施例具有如下优点或有益效果：本申请通过响应于异常处理请求，获取对应的数据源标识；根据数据源标识，确定目标链路，进而根据目标链路得到待处理节点集合；获取待处理节点集合中各个节点的节点类型和节点状态；根据节点类型和节点状态，确定待处理节点集合中的运行节点；将运行节点放入线程池中并行运行，并标记运行节点为触发，更新触发的运行节点的实时状态；响应于实时状态为成功，更新节点状态，进而基于更新后的节点状态更新运行节点，直至运行节点为空，结束异常处理进程
。
利用节点关系及状态，有顺序的并行重跑
ETL
链路
。
利用线程池，在保证依赖关系的情况下，并行重跑，大大节约时间；根据节点间关系，自动解析链路，避免人工操作出错，提高数据分析效率和准确率，可以实现最大规模并行处理异常
。
[0023]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明
。
附图说明
[0024]附图用于更好地理解本申请，不构成对本申请的不当限定
。
其中：图1是根据本申请一个实施例的异常处理方法的主要流程的示意图；图2是根据本申请一个实施例的异常处理方法的主要流程的示意图；图3是根据本申请一个实施例的异常处理方法的主要流程示意图；图4是根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种异常处理方法，其特征在于，包括：响应于异常处理请求，获取对应的数据源标识；根据所述数据源标识，确定目标链路，进而根据所述目标链路得到待处理节点集合；获取所述待处理节点集合中各个节点的节点类型和节点状态；根据所述节点类型和所述节点状态，确定所述待处理节点集合中的运行节点；将所述运行节点放入线程池中并行运行，并标记所述运行节点为触发，更新触发的所述运行节点的实时状态；响应于所述实时状态为成功，更新所述节点状态，进而基于更新后的节点状态更新运行节点，直至所述运行节点为空，结束异常处理进程
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述目标链路得到待处理节点集合，包括：确定所述目标链路上与所述数据源标识关联的关联节点，以基于所述关联节点得到对应的待处理节点集合
。3.
根据权利要求2所述的方法，其特征在于，所述确定所述待处理节点集合中的运行节点，包括：对于每一个所述关联节点，确定对应的父节点；响应于存在关联节点的节点状态为未触发并且对应的父节点的节点状态为成功，确定对应的关联节点为运行节点
。4.
根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述实时状态为失败，基于所述目标链路
、
所述运行节点和所述数据源标识，生成报警信息并输出至预设处理节点
。5.
根据权利要求1所述的方法，其特征在于，在所述更新触发的所述运行节点的实时状态之后，所述方法还包括：以有向无环图的形式展示所述实时状态
。6.
根据权利要求1所述的方法，其特征在于，所述标记所述运行节点为触发，包括：确定所述待处理节点集合对应的执行计划；将所述执行计划中的所述运行节点的节点状态更新为触发
。7.
根据权利要求1所述的方法，其特征在于，所述获取所述待处理节点集合中各个节点的节点类型和节点状态，包括：获取所述待处理节点集合中各个节点的节点类型；响应于所述节点类型中没有父节点，则将父节点的节点状态自动确定为成功
。8.
一种异常处理装置，其特征在于，包括：第一获取单元，被配置成响应于异常处理请求，获取对应的数据源标识；待处理节点集合确定单元，被配置成...

【专利技术属性】
技术研发人员：危奇，秦添，刘志杰，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：