【技术实现步骤摘要】
本申请涉及大数据处理,特别是涉及一种异常任务的识别方法及相关装置。
技术介绍
1、大数据平台可以作为企业数字化转型的基础设施,目前,大数据平台通过设置多个计算任务以实现针对数据的计算、存储、调度等功能。
2、但是,由于开发人员对技术底层的了解存在局限性,因此开发人员设置的计算任务可能存在异常,导致大数据平台的可靠性降低。
3、为了解决该技术问题,在相关技术中,开发人员一般是通过专业知识和经验积累确定计算任务是否存在异常,但是计算任务的数量较多,导致人工识别异常任务的识别效率较低、识别精度较低。
技术实现思路
1、基于上述问题,本申请提供了一种异常任务的识别方法及相关装置,解决了人工识别异常任务的效率较低、识别精度较低的问题。
2、本申请实施例公开了如下技术方案:
3、第一方面,本申请实施例提供一种异常任务的识别方法,所述方法包括:
4、获取待识别任务的运行数据;所述运行数据为执行所述待识别任务所产生的数据;
5、通过异
...【技术保护点】
1.一种异常任务的识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述标注规则,通过以下方式获得:
3.根据权利要求2所述的方法,其特征在于,所述多个执行阶段包括任务级阶段、映射阶段、归约阶段和处理阶段;
4.根据权利要求1所述的方法,其特征在于,所述异常任务识别模型,通过以下方式训练得到:
5.根据权利要求1-4任一项所述的方法,其特征在于,在获取待识别任务的运行数据之后,所述方法还包括:
6.根据权利要求1-4任一项所述的方法,其特征在于,当所述识别结果指示所述待识别任务为
...【技术特征摘要】
1.一种异常任务的识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述标注规则,通过以下方式获得:
3.根据权利要求2所述的方法,其特征在于,所述多个执行阶段包括任务级阶段、映射阶段、归约阶段和处理阶段;
4.根据权利要求1所述的方法,其特征在于,所述异常任务识别模型,通过以下方式训练得到:
5.根据权利要求1-4任一项所述的方法,其特征在于,在获取待识别任务的运行数据之后,所述方法还包括:
6.根据权利要求1-4任一项所述的方法,其特征在于,当所述识别结果指示所述待识别任务为异常任务,...
【专利技术属性】
技术研发人员:林璞,陈志远,孙谷飞,王磊,
申请(专利权)人:太保科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。