【技术实现步骤摘要】
本专利技术涉及大数据领域，尤其涉及一种大数据任务监控方法、系统、装置及存储介质。
技术介绍
1、大数据时代下数据分析脚本的数量越来越多，任务的链路因此变得复杂冗长，一些历史的数据分析脚本没有制定开发标准，也没有接入调度系统进行统一调度，只是简单的依赖crontab进行定时调度，各个任务之间的依赖仅靠简单的串行来实现，对于任务的运行情况难以进行统一的监控与管理分析。
2、现有的对任务监控的方案通常由运维人员或数据开发人员根据实际的需求不断迭代任务监控的对象，人工调整任务监控的参数，修改任务监控的代码，对任务监控服务进行更新，以保持对任务执行的数据采集、同步、跟踪和分析，从而保证任务监控服务在任务监控对象迭代后的正常运行；但这种方法依赖人工，任务监控效率低，对技术人员的负担大。
技术实现思路
1、有鉴于此，本专利技术实施例的目的是提供一种大数据任务监控方法、系统、装置及存储介质，可实现自动化监控，提高监控效率。
2、第一方面，本专利技术实施例提供了一种大数据任务监控方法
【技术保护点】
1.一种大数据任务监控方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征向量与训练好的第二预设模型确定异常分数，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述异常分数确定异常阈值，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述异常数据确定异常数据的特征向量，将所述异常数据输入训练好的第四预设模型得到异常数据的上下文信息特征向量，根据所述异常数据的特征向量与所述异常数据的上下文信息特征向量确定目标异常数据，具体包括：
5.根据权利要求4所...
【技术特征摘要】
1.一种大数据任务监控方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征向量与训练好的第二预设模型确定异常分数，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述异常分数确定异常阈值，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述异常数据确定异常数据的特征向量，将所述异常数据输入训练好的第四预设模型得到异常数据的上下文信息特征向量，根据所述异常数据的特征向量与所述异常数据的上下文信息特征向量确定目标异常数据，具体包括：
5.根据权利要求4所述的...
【专利技术属性】
技术研发人员：成文，邓琛，丁家文，邹京辰，赵子颖，黄毓铭，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。