任务调度异常监控方法、装置、介质及程序产品制造方法及图纸

本申请提供了一种任务调度异常监控方法、装置、介质及程序产品，通过根据当前任务周期的工作计划，获取一个或多个历史任务周期的历史任务数据；根据历史任务数据确定多个任务耗时类型和调度关系图谱，每个任务耗时类型中所包含的数据量与耗时数据的总量的比值满足预设占比要求；根据多个任务耗时类型以及调度关系图谱，确定至少一个定时检测任务；根据各个定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求；若是，则确定并输出一个或多个预警信息。解决了现有的异常监控存在响应时效差、配置不灵活，且仅是逻辑层面的监控，与实际业务耦合度不高的技术问题。际业务耦合度不高的技术问题。际业务耦合度不高的技术问题。

【技术实现步骤摘要】
任务调度异常监控方法、装置、介质及程序产品


[0001]本申请涉及金融科技(Fintech)领域，尤其涉及一种任务调度异常监控方法、装置、介质及程序产品。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融及互联网行业每天要处理的离线数据具有数据规模大、时效要求高的特点，特别是金融企业，涉及大量监管报送数据处理，如果数据处理的任务没有完成导致相关数据不能按时给出，甚至可能受到监管问责，影响企业评级和声誉。因此任务调度系统的监控和异常响应尤为重要。
[0003]目前开源的任务调度框架或工具，如Azkaban、Airflow、Oozie等，已经比较成熟，但是使用这些框架或工具所配置或开发的监控功能大多是基于任务异常状态或基于经验配置的固定参数等，这类监控告警出来后往往任务已经处于异常状态或已经造成了实际影响。
[0004]即现有的异常监控存在响应时效差、配置不灵活，且仅是逻辑层面的监控，与实际业务耦合度不高的技术问题，增加了运维工作的难度和工作量。

技术实现思路

[0005]本申请提供一种任务调度异常监控方法、装置、介质及程序产品，以解决现有的异常监控存在响应时效差、配置不灵活，且仅是逻辑层面的监控，与实际业务耦合度不高的技术问题。
[0006]第一个方面，本申请提供一种任务调度异常监控方法，包括：
[0007]根据当前任务周期的工作计划，获取一个或多个历史任务周期的历史任务数据，历史任务周期的历史工作计划与当前任务周期的工作计划的相似度满足预设要求，历史任务数据包括：各个历史任务的配置数据以及执行各个历史任务的耗时数据；
[0008]利用预设聚类模型，根据耗时数据，对各个历史任务循环进行聚类处理，直至确定多个任务耗时类型，并且每个任务耗时类型中所包含的数据量与耗时数据的总量的比值满足预设占比要求；
[0009]根据配置数据确定调度关系图谱，并根据多个任务耗时类型以及调度关系图谱，确定至少一个定时检测任务，调度关系图谱用于表征各个历史任务之间相互调用处理结果的依赖关系；
[0010]根据各个定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求；若是，则确定并输出一个或多个预警信息。
[0011]在一种可能的设计中，一个或多个历史任务周期包括：与当前周期最近的上一个任务周期，或者与当前周期最近的连续多个任务周期。
[0012]在一种可能的设计中，利用预设聚类模型，根据耗时数据，对各个历史任务循环进
行聚类处理，直至确定多个任务耗时类型，包括：
[0013]从所有历史任务中随机抽取多个历史任务的耗时数据作为聚类中心；
[0014]利用预设聚类模型，根据聚类中心，对各个历史任务进行第一次聚类处理，以确定一个或多个第一耗时类型；
[0015]判断每个第一耗时类型中的数据量占比是否满足预设占比要求；
[0016]若是，则确定第一耗时类型为任务耗时类型；
[0017]若否，则重新确定聚类中心，并重新进行聚类处理，以重新确定第一耗时类型，直至每个第一耗时类型对应的数据量占比满足预设占比要求；
[0018]其中，数据量占比用于表征第一耗时类型所含数据量与耗时数据的总数据量的比值。
[0019]在一种可能的设计中，预设占比要求，包括：数据量占比大于或等于第一占比阈值，且小于或等于第二占比阈值。
[0020]可选的，第一占比阈值的第一取值范围包括：1％～10％，第二占比阈值的第二取值范围包括：40％～60％。
[0021]在一种可能的设计中，重新确定聚类中心，并重新进行聚类处理，包括：
[0022]删除数据量占比小于第一占比阈值的第一耗时类型；和/或，
[0023]在数据量占大于第二占比阈值的各个第一耗时类型中随机抽取至少两个历史任务作为新的聚类中心；
[0024]对于满足预设占比要求的第一耗时类型，根据预设方式重新确定一个新的聚类中心；
[0025]利用预设聚类模型，根据各个新的聚类中心，重新进行聚类处理，以确定新的第一耗时类型。
[0026]在一种可能的设计中，对于满足预设占比要求的第一耗时类型，根据预设方式重新确定一个新的聚类中心，包括：
[0027]当第一耗时类型满足预设占比要求时，将第一耗时类型的平均耗时作为新的聚类中心。
[0028]在一种可能的设计中，根据多个任务耗时类型以及调度关系图谱，确定至少一个定时检测任务，包括：
[0029]根据预设筛选要求，从各个任务耗时类型中确定第一目标类型和第二目标类型；
[0030]利用预设波动算法，根据第一目标类型以及第二目标类型中的各个耗时数据，确定第一波动范围和第二波动范围；
[0031]根据调度关系图谱、第一波动范围、第二波动范围以及耗时数据中历史任务执行的起始时间，确定各个定时检测任务的检测对象和检测时间。
[0032]在一种可能的设计中，利用预设波动算法，根据第一目标类型以及第二目标类型中的各个耗时数据，确定第一波动范围和第二波动范围，包括：
[0033]根据第一目标类型中所有耗时数据的第一平均耗时以及第一标准差确定第一波动范围；
[0034]根据二目标类型中所有耗时数据的第二平均耗时以及第二标准差确定第二波动范围。
[0035]在一种可能的设计中，根据第一目标类型中所有耗时数据的第一平均耗时以及第一标准差确定第一波动范围，包括：
[0036]第一波动范围等于第一平均耗时与N倍的第一标准差之和；
[0037]根据二目标类型中所有耗时数据的第二平均耗时以及第二标准差确定第二波动范围，包括：
[0038]第二波动范围等于第二平均耗时与M倍的第二标准差之差。
[0039]在一种可能的设计中，检测时间，包括：第一检测时间和第二检测时间，第一检测时间包括：在起始时间的基础上叠加第一波动范围，第二检测时间包括：在起始时间的基础上叠加第二波动范围。
[0040]在一种可能的设计中，根据各个定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求，包括：
[0041]若根据检测结果确定检测对象在第一检测时间的执行进度为未完成，则确定任务的执行进度存在异常的第一概率满足预警要求；
[0042]若根据检测结果确定检测对象在第二检测时间的执行进度为已完成，则确定目标系统调度任务的数据量级存在异常的第二概率满足预警要求。
[0043]在一种可能的设计中，确定并输出一个或多个预警信息，包括：
[0044]根据预设关联模型，计算调度关系图谱中前一个任务与后一个任务的关联度；
[0045]若关联度在第一关联区间内，则确定预警信息包括第一预警信息和第二预警信息，且第一预警信息和第二预警信息的预警级别相同，第一预警信息用于表征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度异常监控方法，其特征在于，包括：根据当前任务周期的工作计划，获取一个或多个历史任务周期的历史任务数据，所述历史任务周期的历史工作计划与所述当前任务周期的所述工作计划的相似度满足预设要求，所述历史任务数据包括：各个历史任务的配置数据以及执行各个所述历史任务的耗时数据；利用预设聚类模型，根据所述耗时数据，对各个所述历史任务循环进行聚类处理，直至确定多个任务耗时类型，并且每个所述任务耗时类型中所包含的数据量与所述耗时数据的总量的比值满足预设占比要求；根据所述配置数据确定调度关系图谱，并根据多个所述任务耗时类型以及所述调度关系图谱，确定至少一个定时检测任务，所述调度关系图谱用于表征各个所述历史任务之间相互调用处理结果的依赖关系；根据各个所述定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求；若是，则确定并输出一个或多个预警信息。2.根据权利要求1所述的任务调度异常监控方法，其特征在于，一个或多个所述历史任务周期包括：与所述当前周期最近的上一个任务周期，或者与所述当前周期最近的连续多个任务周期。3.根据权利要求1所述的任务调度异常监控方法，其特征在于，所述利用预设聚类模型，根据所述耗时数据，对各个所述历史任务循环进行聚类处理，直至确定多个任务耗时类型，包括：从所有所述历史任务中随机抽取多个所述历史任务的所述耗时数据作为聚类中心；利用所述预设聚类模型，根据所述聚类中心，对各个所述历史任务进行第一次所述聚类处理，以确定一个或多个第一耗时类型；判断每个所述第一耗时类型中的数据量占比是否满足所述预设占比要求；若是，则确定所述第一耗时类型为任务耗时类型；若否，则重新确定所述聚类中心，并重新进行所述聚类处理，以重新确定所述第一耗时类型，直至每个所述第一耗时类型对应的所述数据量占比满足所述预设占比要求；其中，所述数据量占比用于表征所述第一耗时类型所含数据量与所述耗时数据的总数据量的比值。4.根据权利要求1
‑
3中任意一项所述的任务调度异常监控方法，其特征在于，所述预设占比要求，包括：所述数据量占比大于或等于第一占比阈值，且小于或等于第二占比阈值。5.根据权利要求4所述的任务调度异常监控方法，其特征在于，所述第一占比阈值的第一取值范围包括：1％～10％，所述第二占比阈值的第二取值范围包括：40％～60％。6.根据权利要求4所述的任务调度异常监控方法，其特征在于，所述重新确定聚类中心，并重新进行聚类处理，包括：删除所述数据量占比小于所述第一占比阈值的第一耗时类型；和/或，在所述数据量占大于所述第二占比阈值的各个所述第一耗时类型中随机抽取至少两个所述历史任务作为新的所述聚类中心；对于满足所述预设占比要求的所述第一耗时类型，根据预设方式重新确定一个新的所述聚类中心；
利用预设聚类模型，根据各个新的所述聚类中心，重新进行所述聚类处理，以确定新的所述第一耗时类型。7.根据权利要求6所述的任务调度异常监控方法，其特征在于，所述对于满足所述预设占比要求的所述第一耗时类型，根据预设方式重新确定一个新的所述聚类中心，包括：当所述第一耗时类型满足所述预设占比要求时，将所述第一耗时类型的平均耗时作为新的所述聚类中心。8.根据权利要求1所述的任务调度异常监控方法，其特征在于，所述根据多个所述任务耗时类型以及所述调度关系图谱，确定至少一个定时检测任务，包括：根据预设筛选要求，从各个所述任务耗时类型中确定第一目标类型和第二目标类型；利用预设波动算法，根据所述第一目标类型以及所述第二目标类型中的各个所述耗时数据，确定第一波动范围和第二波动范围；根据所述调度关系图谱、所述第一波动范围、所述第二波动范围以及所述耗时数据中所述历史任务执行的起始时间，确定各个所述定时检测任务的检测对象和检测时间。9.根据权利要求8所述的任务调度异常监控方法，其特征在于，所述利用预设波动算法，根据所述第一目标类型以及所述第二目标类型中的各个所述耗时数据，确定第一波动范围和第二波动范围，包括：根据所述第一目标类型中所有所述耗时数据的第一平均耗时以及第一标准差确定所述第一波动范围；根据所述二目标类型中所有所述耗时数据的第二平均耗时以及第二标准差确定所述第二波动范围。10.根据权利要求9所述的任务调度异常监控方法，其特征在于，所述根据所述第一目标类型中所有所述耗时数据的第一平均耗时以及第一标准差确定所述第一波动范围，包括：所述第一波动范围等于所述第一平均耗时与N倍的所述第一标准差之和；所述根据所述二目标类型中所有所述耗时数据的第二平均耗时以及第二标准差确定所述第二波动范围，包括：所述第二波动范围等于所述第二平均耗时与M倍的所述第二标准差之差。11.根据权利要求8
‑
10中任意一项所述的任务调度异常监控方法，其特征在于，所述检测时间，包括：第一检测时间和第二检测时间，所述第一检测时间包括：在所述起始时间的基础上叠加所述第一波动范围，所述第二检测时间包括：在所述起始时间的基础上叠加所述第二波动范围。12.根据权利要求11所述的任务调度异常监控方法，其特征在于，所述根据各个所述定时检测任务在各个检测时间点的检测结果，预判目标系统的任务调度出现异常的概率是否满足预设预警要求，包括：若根据所述检测结果确定所述检测对象在第一检测时间的所述执行进度为未完成，则确定所述任务的所述执行进度...

【专利技术属性】
技术研发人员：刘林，王志远，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：