异常任务识别方法、系统及应用技术方案

本申请提出了一种异常任务识别方法、系统及应用，该方案选定目标任务以及设定目标任务的期望完成时间，根据目标任务的任务关联视图自动识别目标任务的上游关联任务，以确定以目标任务为最终任务节点的至少一任务链路；选定历史运行时间最长的任务链路为关键链路，并根据任务实际运行情况动态调整关键链路；根据目标任务的期望完成时间计算关键链路上各个节点任务的最晚完成时间以及根任务的最晚开始时间，当当前时间大于关键链路上的执行中的节点任务的最晚完成时间的话，则动态识别该节点任务为异常任务，大大地提高运维人员的工作效率，提高监控的精度。提高监控的精度。提高监控的精度。

【技术实现步骤摘要】
异常任务识别方法、系统及应用


[0001]本申请涉及智能监控领域，特别是涉及异常任务识别方法、系统及应用。

技术介绍

[0002]任务调度系统是指在数据开发过程中，通过对多个任务节点相连，以确认任务的执行关系，保证任务按顺序进行调度的系统。执行方式是根据任务预先设定的开始时间进行调度，依次从上游任务节点向下游任务节点执行，执行规则为只有当某一任务的上游节点全部执行完毕之后，才能向下执行。在任务流转过程中一旦某个节点任务出现问题，则会影响整体任务的进程，故在任务调度过程中需要对任务进行监控异常任务识别，以防止在任务的调度过程中出现因某个节点的任务变慢或者其他原因，导致整体任务不能按时完成而影响业务使用数据的情况。
[0003]传统的任务监控方法是对需要监控的任务节点配置监控规则，这种方式存在诸多弊端：
[0004]1.配置效率低下。目前采用的是一对一监控节点的方式，若需要对多个任务节点或者整条任务链条进行监控的话，则需要对每个任务节点都单独配置对应的监控规则，导致配置效率极其低下。
[0005]2.灵活性差。设定好的监控规本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常任务识别方法，其特征在于，包括以下步骤：选定目标任务并配置所述目标任务的期望完成时间；识别所述目标任务的上游关联任务获取至少一任务链路，其中所述上游关联任务包括所有所述任务链路共享的同一根任务，以及自所述根任务至所述目标任务依顺序执行的至少一子任务；获取每一所述任务链路上所述上游关联任务的历史运行时长，依据所述历史运行时长确定运行耗时最长的任务链路为关键链路，其他任务链路为备选链路；当所述关键链路上有新的所述子任务完成时，基于所述关键链路的关键链路运行临界时长以及所述备选链路的备选链路运行临界时长确定新的关键链路；依据所述期望完成时间和所述历史运行时长计算所述关键链路上每一所述上游关联任务的最晚完成时间，若当前时间大于运行任务对应的所述最晚完成时间，则识别所述运行任务为异常任务。2.根据权利要求1所述的异常任务识别方法，其特征在于，“基于所述关键链路的关键链路运行临界时长以及所述备选链路的备选链路运行临界时长确定新的关键链路”包括步骤：获取所述关键链路的关键链路运行临界时长以及所述备选链路的备选链路运行临界时长，选定所述备选链路运行临界时长和所述关键链路运行临界时长中最大值对应的任务链路为新的关键链路。3.根据权利要求1所述的异常任务识别方法，其特征在于，在“依据所述历史运行时长确定运行耗时最长的任务链路为关键链路”步骤中，统计每一所述任务链路的所有所述子任务的所述历史运行时长得到每一所述任务链路的运行耗时，选定所述运行耗时最长的任务链路为所述关键链路。4.根据权利要求1所述的异常任务识别方法，其特征在于，所述关键链路运行临界时长为：所述关键链路上所有已完成的上游关联任务的实际运行时长与所有未完成的上游关联任务的历史运行时长的总和；所述备选链路运行临界时长为：所述备选链路上所有已完成的上游关联任务的实际运行时长、所有未完成的上游关联任务的历史运行时长以及执行中的上游关联任务的当前运行时长的总和。5.根据权利要求1所述的异常任务识别方法，其特征在于，获取备选链路运行临界时长与所述关键链路运行临界时长相同的备选链路为关注备选链路，一旦所述关键备选链路中的执行中的任务的实际运行时长大于历史运行时长，则将所述关注备选链路替换成新的关键链路。6.根据权利要求1所述的异常任务识别方法，其特征在于，在“依据所述期望完成时间和所述历史运行时长计算所述关键链路上每一所述上游关联...

【专利技术属性】
技术研发人员：李圣权，任通，毛云青，郁强，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：