【技术实现步骤摘要】
任务执行时效预警方法、装置、系统及存储介质
本专利技术实施例涉及计算机
,尤其涉及一种任务执行时效预警方法、装置、系统及存储介质。
技术介绍
随着大数据时代的到来,企业中每天存在海量的大数据计算,用于支撑企业营销和运营。在企业大数据平台、数据中台,或数据仓库环境中可能都会存在大量的hadoop批处理计算任务、Spark实时计算任务、Presto即席查询计算任务以及Flink实时计算任务等,任务数量规模在万级、十万级、百万级规模不等。大数据平台的运营管理人员很难做到对重要任务进行关注和进行有效的支持,一旦任务存在异常或者出现延迟,很可能同影响到其他任务的执行,业务影响范围和影响程度、数据延迟的时间长度等都无法估量。自然也就无法及时与业务应用方沟通处理方案。在业务应用方发现数据异常后往往已经过了比较长的时间,错过了最佳处理问题的时间和机会,对业务应用造成一定的影响。那么,如何才能尽量及时的获取到任务执行状态,尤其及时了解到重要任务的执行情况,以免因为重要任务的异常,扩大异常任务影响范围和影响程度,导致损失严
【技术保护点】
1.一种任务执行时效预警方法,其特征在于,所述方法包括:/n周期性的获取与第一标签对应的第一执行状态分析结果,所述第一执行状态分析结果为对所述第一标签对应的任务数据集合进行汇总分析后生成的执行状态分析结果;/n从所述第一执行状态分析结果中提取任务执行状态存在异常的第一任务,并获取与所述第一任务对应的第二标签,以及所述第一任务存在异常的持续时间;/n当确定所述第二标签和所述持续时间共同满足预设条件时,触发第一时效预警,所述第一任务为所述任务数据集合中的任一条任务数据对应的任务,所述第二标签用于表示所述第一任务的重要程度。/n
【技术特征摘要】
1.一种任务执行时效预警方法,其特征在于,所述方法包括:
周期性的获取与第一标签对应的第一执行状态分析结果,所述第一执行状态分析结果为对所述第一标签对应的任务数据集合进行汇总分析后生成的执行状态分析结果;
从所述第一执行状态分析结果中提取任务执行状态存在异常的第一任务,并获取与所述第一任务对应的第二标签,以及所述第一任务存在异常的持续时间;
当确定所述第二标签和所述持续时间共同满足预设条件时,触发第一时效预警,所述第一任务为所述任务数据集合中的任一条任务数据对应的任务,所述第二标签用于表示所述第一任务的重要程度。
2.根据权利要求1所述的方法,其特征在于,所述当确定所述第二标签和所述持续时间共同满足预设条件时,触发第一时效预警,具体包括:
当确定所述第二标签为多种预设标签类型中的第一预设类型标签,且所述持续时间达到多个预设时间段中的第一预设时间段时,确定第一时效预警级别为第一时效预警级别,按照与所述第一时效预警级别对应的触发形式触发所述第一时效预警,其中,所述第一时效预警级别包括多个级别。
3.根据权利要求2所述的方法,其特征在于,所述多种预设标签类型包括:核心应用标签、重要应用标签以及普通应用标签;
当所述第二标签为核心应用标签为核心应用标签或者为重要应用标签时,根据所述持续时间所处时间段,将所述第一时效预警级别分为高级别、中级别以及低级别;
或者,当所述第二标签为普通应用标签时,确定所述第一时效预警级别为低级别。
4.根据权利要求1所述的方法,其特征在于,所述周期性的获取与第一标签对应的第一执行状态分析结果,具体包括:
周期性的获取与所述第一标签对应的任务数据集合,以及每一条任务数据对应的任务数据详情,所述任务详情中包括任务执行状态、基础信息以及第二标签;
根据所述任务执行状态、所述基础信息以及所述第二标签,对所述任务数据集合进行汇总分析,获取所述第一执行状态分析结果。
5.根据权利要求1所述的方法,其特征在于,所述执行状态分析结果中还包括:与所述任务数据集合中每一条任务数据对应的服务等级协议SLA时间,所述任务执行状态存在异常的情况包括:任务执行失败、任务执行延迟,以及...
【专利技术属性】
技术研发人员:杨泽森,
申请(专利权)人:京东数字科技控股有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。