【技术实现步骤摘要】
一种任务告警的方法、装置、介质和设备
[0001]本申请涉及金融科技
,尤其涉及一种任务告警的方法、装置、介质和设备。
技术介绍
[0002]跑批系统上对跑批任务进行跑批时,需要监控跑批任务的跑批情况。例如,监控跑批时间,在任务跑批超过跑批时间之后,需要进行告警。
[0003]跑批系统中的跑批任务是有一个大任务和多个小任务组成的。因此可以设置两个告警时间。一个是以大任务为单位,设置大任务的应跑批时间,在超过这个时间之后,大任务的跑批还没有结束,则进行告警;但是这种方式中,由于大任务的数据量过大,应跑批时间较长,超过应跑批时间之后再进行告警会导致告警产生太慢,无法对故障问题及时解决。另一种方式中,设置小任务的跑批时间,在超过这个时间之后,小任务跑批还没有结束,则进行告警。但是这种方式中,小任务的数量太多,每一个小任务的数据量又不同,设置的应跑批时间并没有那么精准,由此产生的告警太密集,而且很多都是不用进行处理的。
[0004]基于此,目前亟需一种任务告警的方法、装置、介质和设备,使得在任务跑批时产生的告警
【技术保护点】
【技术特征摘要】
1.一种任务告警的方法,其特征在于,适用于由具有依赖关系的M个子任务组成的总任务,所述M个子任务按照依赖关系划分为N个并行任务组,每个并行任务组中的各子任务可并行执行;所述方法包括:在任一并行任务组中的任一子任务执行过程中,预测所述子任务的预测执行耗时;若所述并行任务组的剩余分配时长不满足各子任务的预测执行耗时,则生成第一告警信息;所述剩余分配时长是根据所述并行任务组的预分配时长与已消耗时长确定的;任一并行任务组的预分配时长是根据所述总任务在历史周期的执行情况确定的;若所述第一告警信息满足告警要求,则触发所述第一告警信息。2.如权利要求1所述的方法,其特征在于,所述M个子任务按照依赖关系划分为N个并行任务组,包括:根据所述M个子任务之间的依赖关系,构建所述总任务的DGA有向无环图;所述DGA图中的每个节点表征子任务,节点之间的边表征依赖关系;根据所述DGA图中各节点的入度和出度,确定各节点的并行度;将并行度相同的节点确定为同一并行任务组。3.如权利要求1所述的方法,其特征在于,任一并行任务组的预分配时长是根据所述总任务在历史周期的执行情况确定的,包括:针对任一并行任务组,确定历史周期中所述并行任务组在每一统计日的运行时长;根据各统计日的运行时长及各统计日的权重,确定所述并行任务组的初始分配时长;其中,统计日的历史性越久,统计日的权重越低;确定所述总任务的时间窗口长度与各并行任务组的初始分配时长之和的差值,得到窗口缓冲时长;按照各并行任务组在最新统计日的运行时长,分配所述窗口缓冲时长,从而得到各并行任务组的预分配时长。4.如权利要求1所述的方法,其特征在于,预测所述子任务的预测执行耗时,包括:确定所述子任务在静态参数下的第一参数值和在动态参数下的第二参数值;所述静态参数是经降维处理后得到的;所述动态参数用于表征子任务在执行时的硬件资源的使用波动情况;将所述第一参数值和所述第二参数值通过预测模型,得到所述子任务的预测执行耗时;所述预测模型是通过调整学习率来进行迭代训练得到的。5.如权利要求4所述的方法,其特征在于,通过如下方式调整学习率,包括:根据历次迭代的变化趋势,确定学习率的变化项;设置随迭代次数的增加而衰减的衰减项以及在满足预设迭代次数后的爆炸因子;根据所述变化项、所述衰减项及所述爆炸因子,调整学习率。6.如权利要求1所述的方法,其特征在于,若所述第一告警信息满足告警要求,则触发所述第一告警信息,包括:确定所述第一告警信息的权重因子;根据所述并行任务组在历史告警中的事件反馈,确定所述第一告警信息的事件因子;根据所述权重因子、事件因子和所述第一告警信息的告警等级,确定所述第一告警信息的告警分值;
若所述第一告警信息的告警分值在上一告警期内且高于上一告警的告警分值,则触发所述第一告警信息。7.如权利要求1...
【专利技术属性】
技术研发人员:陈鉴镔,杨军,卢道和,朱嘉伟,程志峰,陈刚,何勇彬,邓宇,郑佳妮,李勋棋,
申请(专利权)人:深圳前海微众银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。