一种任务监控方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术公开一种任务监控方法、装置、服务器和存储介质，该方法包括：根据目标任务的数据量增长率，确定目标任务的预测耗时；确定与目标任务运行于相同服务器的各数据处理任务的配置信息，并根据各数据处理任务的配置信息确定目标任务的预测开始时间；根据目标任务的预测开始时间和预测耗时确定目标任务的预测结束时间；比较目标任务的预测结束时间和期望完成时间，根据比较结果确定目标任务的完成情况。上述技术方案，确定目标任务更精确的预测耗时和预测开始时间以确定更精确的预测结束时间，根据预测结束时间和期望结束时间确定目标任务的完成情况，在目标任务执行前对目标任务完成情况进行预测，实现对目标任务的监控。实现对目标任务的监控。实现对目标任务的监控。

【技术实现步骤摘要】
一种任务监控方法、装置、服务器和存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种任务监控方法、装置、服务器和存储介质。

技术介绍

[0002]数据仓库技术(Extraction
‑
Transformation
‑
Loading，ETL)用于描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。随着数据中心的数据处理需求不断提高，需要多个服务器构成的服务器集群内多台服务器并行执行以同时执行大量的数据处理任务，即需要同时执行多个ETL。为了确保数据处理任务的正常运行，对各数据处理任务的监控就显得极为重要。
[0003]现有技术中，在服务器资源充足的情况下可以实时监控各数据处理任务的执行状态，并在任务数据处理任务运行超时后进行告警。
[0004]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在以下技术问题：
[0005]仅可以在数据处理任务运行超时后进行告警，无法预测数据处理任务是否可以顺利完成。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务监控方法，其特征在于，包括：根据目标任务的数据量增长率，确定所述目标任务的预测耗时；确定与所述目标任务运行于相同服务器的各数据处理任务的配置信息，并根据各所述数据处理任务的配置信息确定所述目标任务的预测开始时间；根据所述目标任务的预测开始时间和预测耗时确定所述目标任务的预测结束时间；比较所述目标任务的预测结束时间和期望完成时间，根据比较结果确定所述目标任务的完成情况。2.根据权利要求1所述的任务监控方法，其特征在于，在根据目标任务的数据量增长率，确定所述目标任务的预测耗时之前，还包括：通过所述目标任务的历史执行记录，确定所述目标任务的历史耗时和历史数据量；根据所述目标任务的当前数据量和历史数据量确定所述目标任务的数据量增长率。3.根据权利要求2所述的任务监控方法，其特征在于，根据目标任务的数据量增长率，确定所述目标任务的预测耗时，包括：根据所述目标任务的数据量增长率、历史耗时和预设权重确定所述目标任务的耗时增加量；根据所述目标任务的历史耗时和耗时增加量确定所述目标任务的预测耗时。4.根据权利要求3所述的任务监控方法，其特征在于，所述预设权重包括聚合函数权重和集群资源倾斜权重，相应地，根据所述目标任务的数据量增长率、历史耗时和预设权重确定所述目标任务的耗时增加量，包括：将所述聚合函数权重与所述目标任务的数据量增长率以及历史耗时的乘积确定为第一数值；根据所述第一数值和所述集群资源倾斜权重确定所述目标任务的耗时增加量。5.根据权利要求1所述的任务监控方法，其特征在于，根据各所述数据处理任务的配置信息确定所述目标任务的预测开始时间，包括：根据各所述数据处理任务的配置信息中的上下游关系确定各所述数据处理任务的执行顺序；根据各所述数据处理任务的执行顺序，以及各所述数据处理任务的配置信息中的计划开始时间、节点资源使用量和队列资源使用量，在集群资源的各队列资源内对各所述数据处理任务进行排队，以确定所述目标任务的排队开始时间；根据所述目标任务所对应上一数据处理任务的结束时间以及所述目标任务的计划开始时间和排队开始时间，确定所述目标任务的预测开始时间。6.根据权利要求5所述的任务监控方法，其特征在于，根据所述目标任务所对应上一数据处理任务的结束时间以及所述目标任务的计划开始时间和排队开始时...

【专利技术属性】
技术研发人员：袁征，王巧慧，刘建家，黄勇涛，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：