异常数据检测方法及系统技术方案

技术编号:23853863 阅读:47 留言:0更新日期:2020-04-18 10:03
本发明专利技术实施例提供了一种异常数据检测方法及系统。该异常数据检测方法包括:接收外接系统发送的第一检测数据,所述第一检测数据为第一维数据;将所述第一检测数据转换为第二检测数据,所述第二检测数据为第二维数据,所述第一维数据的维度大于所述第二维数据;基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据;将所述预测数据与实际数据对比,以判断所述实际数据是否出现异常。通过对第一检测数据降维后再进行预测,达到提高异常数据预测的准确度的效果。

Abnormal data detection method and system

【技术实现步骤摘要】
异常数据检测方法及系统
本专利技术实施例涉及机器学习
,尤其涉及一种异常数据检测方法及系统。
技术介绍
异常检测是机器学习领域的一个重要研究方向。在金融、网络安全等领域,通过学习大量历史数据,异常检测算法能够区分正常数据与异常数据,从而对于异常问题进行预警。实现时间序列异常检测,通常利用历史数据建立基于时间序列的预测模型,以此比较预测数据和实际数据的差异,以判断是否出现异常。典型的算法为聚类算法,它将时间序列划分为多个状态,并建立简单的状态转化以体现历史数据之间的状态切换,从而预测高阶时间序列数据。然而,使用聚类算法对时间序列进行状态划分,会丢失大量数据信息,如不同状态之间在数值上的联系和同一状态中不同数据的差异。由于其使用的状态转换过于简单,不能对数据进行准确预测,尤其是对高维数据进行预测时,会导致预测的结果不够准确。
技术实现思路
本专利技术实施例提供一种异常数据检测方法及系统,以实现提高异常数据预测的准确度的效果。第一方面,本专利技术实施例提供了一种异常数据检测方法,包括:接收外接本文档来自技高网...

【技术保护点】
1.一种异常数据检测方法,其特征在于,包括:/n接收外接系统发送的第一检测数据,所述第一检测数据为第一维数据;/n将所述第一检测数据转换为第二检测数据,所述第二检测数据为第二维数据,所述第一维数据的维度大于所述第二维数据;/n基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据;/n将所述预测数据与实际数据对比,以判断所述实际数据是否出现异常。/n

【技术特征摘要】
1.一种异常数据检测方法,其特征在于,包括:
接收外接系统发送的第一检测数据,所述第一检测数据为第一维数据;
将所述第一检测数据转换为第二检测数据,所述第二检测数据为第二维数据,所述第一维数据的维度大于所述第二维数据;
基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据;
将所述预测数据与实际数据对比,以判断所述实际数据是否出现异常。


2.如权利要求1所述的异常数据检测方法,其特征在于,所述将所述预测数据与实际数据对比,以判断所述实际数据是否出现异常,包括:
计算所述预测数据与实际数据的数据差值;
判断所述数据差值是否大于差值阈值;
如果所述数据差值大于所述差值阈值,则判定所述实际数据异常。


3.如权利要求1所述的异常数据检测方法,其特征在于,在所述将所述第一检测数据转换为第二检测数据之前,包括:
通过正常的历史数据进行训练得到自动编码器,所述自动编码器包括解码器和编码器;
将所述解码器取出,保留训练好的编码器,所述训练好的编码器用于将所述第一检测数据转换为第二检测数据。


4.如权利要求3所述的异常数据检测方法,其特征在于,所述编码器加入批规范化处理。


5.如权利要求1所述的异常数据检测方法,其特征在于,所述基于训练好的异常预测模型对所述第二检测数据进行预测得到预测数据,包括:
对所述第二检测数据进行初始计算得到第二中间结果,所述第二中间结果存放在第二中间结果缓存区;
从所述第二中间结果缓存区获取所述第二中间结果进行最终预测计算,以得到所述预测数据。


6.如权利要求3所述的异常数据检测方法,其特征在于,所述自动编码器和所述异常预测模型共享相同的乘法内核。


7.一种异常数据检测系统,其特征在于,包括:
数据接口,所述数据接口用于接收外接系统发送的第一检测数据,所述第一检测数据为第一维数据;
降维预测模块,所述降维预测模块包括数据降维单元和预测数据计算单元,所述数据降维单...

【专利技术属性】
技术研发人员:牛昕宇蔡权雄
申请(专利权)人:深圳鲲云信息科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1