一种数据处理方法及装置、存储介质制造方法及图纸

技术编号:38085821 阅读:14 留言:0更新日期:2023-07-06 08:53
本申请实施例提供了一种数据处理方法及装置、存储介质,该方法包括:获取多个数据类型在预设时间段内产生的多个待检测数据组;多个数据类型之间的类型相关性大于预设相关性阈值;通过预设数据预测模型,对多个待检测数据组中的第一待检测数据组进行处理,得到多个待检测数据组中的第二待检测数据组对应的预测数据组;第一待检测数据组和第二待检测数据组为多个待检测数据组中不同数据类型对应的待检测数据组;依次对多个待检测数据组中的每个待检测数据组和对应的一个预测数据组进行比较,得到比较结果,并根据比较结果从多个待检测数据组中确定出异常数据。通过上述技术方案,达到提高检测异常数据时准确度的目的。达到提高检测异常数据时准确度的目的。达到提高检测异常数据时准确度的目的。

【技术实现步骤摘要】
一种数据处理方法及装置、存储介质


[0001]本申请涉及深度学习领域,尤其涉及一种数据处理方法及装置、存储介质。

技术介绍

[0002]随着企业对精细化运营的重视程度的提高,对于核心数据的监控、异常检测具有普遍的需求。在广告行业、电商行业等各种场景中,企业是否能够快速精准的定位到异常数据至关重要。
[0003]目前,异常数据的检测采用的是自定义检测规则的方式,通过对不同类型的数据建立不同的检测规则,例如设定对比的阈值区间,系统根据设定的检测规则对数据进行对比后,在数据不满足检测规则的情况下,确定该数据异常。但是通过固定规则定位异常数据时,假如对某种类型的数据并没有预设检测规则,此时,现有的异常数据检测方法则不能检测出该类型的数据异常情况,导致检测异常数据时的准确度低。

技术实现思路

[0004]本申请实施例提供一种数据处理方法及装置、存储介质,能够提高检测异常数据时的准确度。
[0005]本申请的技术方案是这样实现的:
[0006]第一方面,本申请实施例提供一种数据处理方法,所述方法包括:
[00本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:获取多个数据类型在预设时间段内产生的多个待检测数据组;所述多个数据类型之间的类型相关性大于预设相关性阈值;通过预设数据预测模型,对所述多个待检测数据组中的第一待检测数据组进行处理,得到所述多个待检测数据组中的第二待检测数据组对应的预测数据组;所述第一待检测数据组和所述第二待检测数据组为所述多个待检测数据组中不同数据类型对应的待检测数据组;依次对所述多个待检测数据组中的每个待检测数据组和对应的一个预测数据组进行比较,得到比较结果,并根据所述比较结果从所述多个待检测数据组中确定出异常数据。2.根据权利要求1所述的方法,其特征在于,所述通过预设数据预测模型,对所述多个待检测数据组中的第一待检测数据组进行处理,得到所述多个待检测数据组中的第二待检测数据组对应的预测数据组之前,所述方法还包括:获取采样时间段内的多个样本数据组;所述多个样本数据组中的每一个样本数据组对应一个预设数据类型,所述每一个样本数据组中的样本数据对应设置数据标签,所述数据标签包括正常数据标签和异常数据标签;通过初始数据预测模型,对所述多个样本数据组中的第一样本数据组进行处理,得到所述多个样本数据组中的第二样本数据组对应的预测样本数据组;所述第一样本数据组和所述第二样本数据组为所述多个样本数据组中不同预设数据类型对应的样本数据组;对所述多个样本数据组和所述多个样本数据组对应的多个预测样本数据组分别进行比较,得到样本比较结果;利用所述样本比较结果、所述每一个样本数据组中样本数据对应的正常数据标签和/或异常数据标签,对所述初始数据预测模型进行训练,得到所述预设数据预测模型。3.根据权利要求2所述的方法,其特征在于,所述获取采样时间段内的多个样本数据组之后,所述通过初始数据预测模型,对所述多个样本数据组中的第一样本数据组进行处理,得到所述多个样本数据组中的第二样本数据组对应的预测样本数据组之前,所述方法还包括:确定所述多个样本数据组对应的多个预设数据类型;基于对所述多个预设数据类型的重新排序,对所述多个样本数据组进行重新排序,得到排序后的多个样本数据组;所述通过初始数据预测模型,对所述多个样本数据组中的第一样本数据组进行处理,得到所述多个样本数据组中的第二样本数据组对应的预测样本数据组,包括:通过初始数据预测模型,对所述排序后的多个样本数据组中的第三样本数据组进行处理,得到所述多个样本数据组中的第四样本数据组对应的预测样本数据组,所述第三样本数据组为所述排序后的多个样本数据组中、所述第四样本数据组之前的至少一个样本数据组。4.根据权利要求1所述的方法,其特征在于,所述第一待检测数据组为至少一个待检测数据组;所述通过预设数据预测模型,对所述多个待检测数据组中的第一待检测数据组进行处理,得到所述多个待检测数据组中的第二待检测数据组对应的预测数据组,包括:从所述至少一个待检测数据组中,依次确定所述预设时间段内每一个预设时间点对应
的至少一个待检测数据;通过所述预设数据预测模型,利用每一个预设时间点对应的至少一个待检测数据,预测所述第二待检测数据组中所述每一个预设时间点对应的一个预测数据,得到所述第二待检测数据组对应的预测数据组。5.根据权利要求1所述的方法,其特征在于,所述依次对所述多个待检测数据...

【专利技术属性】
技术研发人员:花小磊朱琳张勇夏兴文李琦余立袁向阳邓超冯俊兰
申请(专利权)人:中国移动通信集团有限公司北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1