一种异常数据检测方法和系统技术方案

技术编号:24614229 阅读:33 留言:0更新日期:2020-06-24 01:31
本发明专利技术涉及一种异常数据检测方法和系统,根据对当前周期的报表数据所设置的动态环比阈值、动态环比差额阈值和动态差额权重阈值,对当前周期的报表数据的报表数据进行检测后,筛选出异常数据,并将异常数据进行反馈,通过三个阈值组合即动态环比阈值、动态环比差额阈值和动态差额权重阈值的组合,能使筛选出的异常数据的精准度能达到98%,提高了筛选出的异常数据的精准度,而且,通过三个阈值的组合对报表数据进行三次筛选,避免了目前使用单一阈值对报表数据筛选后得到异常数据量大的问题,提高了筛选效率。

An abnormal data detection method and system

【技术实现步骤摘要】
一种异常数据检测方法和系统
本专利技术涉及数据检测领域,尤其涉及一种异常数据检测方法和系统。
技术介绍
目前,电信行业营业报表数据种类繁多,每月依靠有限的人力来检查各个报表数据中的指标变化情况不仅效率低而且容易遗漏发现异常数据,同时目前大部分报表数据都只对其中的数据做简单的环比和同比增长率波动过大预警,预警阀值比较单一和固定,这种根据单一预警阀值所筛选出的异常数据的精准度小于20%,精准度不高,还需要通过很大的人力对筛选出的异常数据进行二次确认排查,且筛选出的异常数据量大,效率低。因此,如何提高筛选出的异常数据的精准度和筛选效率是业内亟待解决的技术问题。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足,提供了一种异常数据检测方法和系统。本专利技术的一种异常数据检测方法的技术方案如下:通过对当前周期的报表数据所设置的动态环比阈值、动态环比差额阈值和动态差额权重阈值和当前周期的报表数据的环比、环比差额、差额权重进行对比后,筛选出异常数据;将所述异常数据进行反馈。本专利技术的一种异常数据检测方法的有益效果如下:通过三个阈值组合即动态环比阈值、动态环比差额阈值和动态差额权重阈值的组合,能使筛选出的异常数据的精准度能达到98%,提高了筛选出的异常数据的精准度,而且,通过三个阈值的组合对报表数据进行三次筛选,避免了目前使用单一阈值对报表数据筛选后得到异常数据量大的问题,提高了筛选效率。在上述方案的基础上,本专利技术的一种异常数据检测方法还可以做如下改进。进一步,还包括:根据所述异常数据生成预警信息,并将所述预警信息进行反馈。采用上述进一步方案的有益效果是:通过生成预警信息,并向用户反馈预警信息,使用户能更直观、更及时地了解到报表数据中的异常数据。进一步,还包括:根据当前周期的报表数据和上一周期的报表数据,计算出当前周期的报表数据的环比;根据动态环比阈值系数和相邻的多个历史周期的报表数据的环比,得到当前周期的报表数据的动态环比阈值。采用上述进一步方案的有益效果是:对得到当前周期的报表数据的动态环比阈值的过程进行了具体说明。进一步,还包括:根据当前周期的报表数据和上一周期的报表数据,得到当前周期的报表数据的环比差额;根据动态环比差额阈值系数和相邻的多个历史周期的报表数据的环比差额,得到当前周期的报表数据的动态环比差额阈值。采用上述进一步方案的有益效果是:对得到当前周期的报表数据的动态环比差额阈值的过程进行了具体说明。进一步,还包括:根据当前周期的报表数据的环比差额,得到当前周期的报表数据的差额权重;根据动态差额权重阈值系数和相邻的多个历史周期的报表数据的差额权重,得到所述当前周期的报表数据的动态差额权重阈值。采用上述进一步方案的有益效果是:对得到得到当前周期的报表数据的动态差额权重阈值的过程进行了具体说明。本专利技术的一种异常数据检测系统的技术方案如下:包括检测模块、反馈模块;所述检测模块根据通过对当前周期的报表数据所设置的动态环比阈值、动态环比差额阈值和动态差额权重阈值和当前周期的报表数据的环比、环比差额、差额权重进行对比后,筛选出异常数据;所述反馈模块将所述异常数据进行反馈。本专利技术的一种异常数据检测系统的有益效果如下:通过三个阈值组合即动态环比阈值、动态环比差额阈值和动态差额权重阈值的组合,能使筛选出的异常数据的精准度能达到98%,提高了筛选出的异常数据的精准度,而且,通过三个阈值的组合对报表数据进行三次筛选,避免了目前使用单一阈值对报表数据筛选后得到异常数据量大的问题,提高了筛选效率。在上述方案的基础上,本专利技术的一种异常数据检测系统还可以做如下改进。进一步,还包括:预警模块,所述预警模块根据所述异常数据生成预警信息,并通过反馈模块将所述预警信息进行反馈。采用上述进一步方案的有益效果是:通过生成预警信息,并向用户反馈预警信息,使用户能更直观、更及时地了解到报表数据中的异常数据。进一步,还包括:第一阈值模块,所述第一阈值模块根据当前周期的报表数据和上一周期的报表数据,计算出当前周期的报表数据的环比,并根据动态环比阈值系数和相邻的多个历史周期的报表数据的环比,得到当前周期的报表数据的动态环比阈值。采用上述进一步方案的有益效果是:对通过第一阈值模块得到当前周期的报表数据的动态环比阈值的过程进行了具体说明。进一步,还包括:第二阈值模块,所述第二阈值模块根据当前周期的报表数据和上一周期的报表数据,得到当前周期的报表数据的环比差额,并根据动态环比差额阈值系数和相邻的多个历史周期的报表数据的环比差额,得到当前周期的报表数据的动态环比差额阈值。采用上述进一步方案的有益效果是:对通过第二阈值模块得到当前周期的报表数据的动态环比差额阈值的过程进行了具体说明。进一步,还包括:第三阈值模块,所述第三阈值模块根据当前周期的报表数据的环比差额,得到当前周期的报表数据的差额权重,并根据动态差额权重阈值系数和相邻的多个历史周期的报表数据的差额权重,得到所述当前周期的报表数据的动态差额权重阈值。采用上述进一步方案的有益效果是:对通过第三阈值模块得到得到当前周期的报表数据的动态差额权重阈值的过程进行了具体说明。本专利技术的一种电子设备的技术方案为:包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序,所述处理器执行所述程序时实现上述任一项所述的一种异常数据检测方法的步骤。本专利技术的一种电子设备的有益效果是:通过三个阈值组合即动态环比阈值、动态环比差额阈值和动态差额权重阈值的组合,能使筛选出的异常数据的精准度能达到98%,提高了筛选出的异常数据的精准度,而且,通过三个阈值的组合对报表数据进行三次筛选,避免了目前使用单一阈值对报表数据筛选后得到异常数据量大的问题,提高了筛选效率。附图说明图1为本专利技术实施例的一种异常数据检测方法的流程示意图;图2为本专利技术实施例的一种异常数据检测系统的结构示意图;具体实施方式如图1所示,本专利技术实施例的一种异常数据检测方,包括如下步骤:S1、通过对当前周期的报表数据所设置的动态环比阈值、动态环比差额阈值和动态差额权重阈值和当前周期的报表数据的环比、环比差额、差额权重进行对比后,筛选出异常数据;S2、将所述异常数据进行反馈。通过三个阈值组合即动态环比阈值、动态环比差额阈值和动态差额权重阈值的组合,能使筛选出的异常数据的精准度能达到98%,提高了筛选出的异常数据的精准度,而且,通过三个阈值的组合对报表数据进行三次筛选,避免了目前使用单一阈值对报表数据筛选后得到异常数据量大的问题,提高了筛选效率。其中,需说明的一点是:使用三个阈值组合即动态环比阈值、动态环比差额阈值和动态差额权重阈值的组合的方式进行异常数据的筛选,是通过对多个周期的报表数据进行反复地对比实验并对实验结果进行后本文档来自技高网...

【技术保护点】
1.一种异常数据检测方法,其特征在于,包括:/n通过对当前周期的报表数据所设置的动态环比阈值、动态环比差额阈值和动态差额权重阈值和当前周期的报表数据的环比、环比差额、差额权重进行对比后,筛选出异常数据;/n将所述异常数据进行反馈。/n

【技术特征摘要】
1.一种异常数据检测方法,其特征在于,包括:
通过对当前周期的报表数据所设置的动态环比阈值、动态环比差额阈值和动态差额权重阈值和当前周期的报表数据的环比、环比差额、差额权重进行对比后,筛选出异常数据;
将所述异常数据进行反馈。


2.根据权利要求1所述的一种异常数据检测方法,其特征在于,还包括:
根据所述异常数据生成预警信息,并将所述预警信息进行反馈。


3.根据权利要求1或2所述的一种异常数据检测方法,其特征在于,还包括:
根据当前周期的报表数据和上一周期的报表数据,计算出当前周期的报表数据的环比;
根据动态环比阈值系数和相邻的多个历史周期的报表数据的环比,得到当前周期的报表数据的动态环比阈值。


4.根据权利要求1或2所述的一种异常数据检测方法,其特征在于,还包括:
根据当前周期的报表数据和上一周期的报表数据,得到当前周期的报表数据的环比差额;
根据动态环比差额阈值系数和相邻的多个历史周期的报表数据的环比差额,得到当前周期的报表数据的动态环比差额阈值。


5.根据权利要求1或2所述的一种异常数据检测方法,其特征在于,还包括:
根据当前周期的报表数据的环比差额,得到当前周期的报表数据的差额权重;
根据动态差额权重阈值系数和相邻的多个历史周期的报表数据的差额权重,得到当前周期的报表数据的动态差额权重阈值。


6.一种异常数据检测系统,其特征在于,包括检测模...

【专利技术属性】
技术研发人员:余小清
申请(专利权)人:北京思特奇信息技术股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1