一种异常任务的识别方法及相关装置制造方法及图纸

技术编号:40516662 阅读:29 留言:0更新日期:2024-03-01 13:33
本申请公开了一种异常任务的识别方法及相关装置,该方法包括通过异常任务识别模型对执行待识别任务所产生的运行数据进行特征提取处理得到运行数据对应的关键特征;该异常任务识别模型基于利用标注规则对训练运行数据标注得到的训练标注数据训练得到,标注规则基于计算任务的异常类型得到;并通过异常任务识别模型根据关键特征确定待识别任务对应的识别结果;当识别结果指示待识别任务为异常任务,识别结果包括异常任务的异常类型。由于异常任务识别模型是通过训练运行数据和计算任务的异常类型训练得到,因此异常任务识别模型可通过运行数据快速识别出该待识别任务是否存在异常,并确定异常任务的异常类型,提高异常任务的识别效率和识别精度。

【技术实现步骤摘要】

本申请涉及大数据处理,特别是涉及一种异常任务的识别方法及相关装置


技术介绍

1、大数据平台可以作为企业数字化转型的基础设施,目前,大数据平台通过设置多个计算任务以实现针对数据的计算、存储、调度等功能。

2、但是,由于开发人员对技术底层的了解存在局限性,因此开发人员设置的计算任务可能存在异常,导致大数据平台的可靠性降低。

3、为了解决该技术问题,在相关技术中,开发人员一般是通过专业知识和经验积累确定计算任务是否存在异常,但是计算任务的数量较多,导致人工识别异常任务的识别效率较低、识别精度较低。


技术实现思路

1、基于上述问题,本申请提供了一种异常任务的识别方法及相关装置,解决了人工识别异常任务的效率较低、识别精度较低的问题。

2、本申请实施例公开了如下技术方案:

3、第一方面,本申请实施例提供一种异常任务的识别方法,所述方法包括:

4、获取待识别任务的运行数据;所述运行数据为执行所述待识别任务所产生的数据;

5、通过异常任务识别模型,对所本文档来自技高网...

【技术保护点】

1.一种异常任务的识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述标注规则,通过以下方式获得:

3.根据权利要求2所述的方法,其特征在于,所述多个执行阶段包括任务级阶段、映射阶段、归约阶段和处理阶段;

4.根据权利要求1所述的方法,其特征在于,所述异常任务识别模型,通过以下方式训练得到:

5.根据权利要求1-4任一项所述的方法,其特征在于,在获取待识别任务的运行数据之后,所述方法还包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,当所述识别结果指示所述待识别任务为异常任务,所述方法还...

【技术特征摘要】

1.一种异常任务的识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述标注规则,通过以下方式获得:

3.根据权利要求2所述的方法,其特征在于,所述多个执行阶段包括任务级阶段、映射阶段、归约阶段和处理阶段;

4.根据权利要求1所述的方法,其特征在于,所述异常任务识别模型,通过以下方式训练得到:

5.根据权利要求1-4任一项所述的方法,其特征在于,在获取待识别任务的运行数据之后,所述方法还包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,当所述识别结果指示所述待识别任务为异常任务,...

【专利技术属性】
技术研发人员:林璞陈志远孙谷飞王磊
申请(专利权)人:太保科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1