异常检测制造技术

根据本发明专利技术的实施例，一种方法准确地检测时间序列数据集的异常或离群值。一种用于识别时间序列数据集的特定数据元素是否为离群值的方法包括预测该特定数据元素的值以及获得阈值，所述阈值相对于所述预测值定义所述数据元素的实际值是否为离群值。在本发明专利技术实施例的一个方面中，基于与时间序列数据集的时间上在所述特定数据元素之前的数据元素相关联的历史误差值来生成所述阈值。

【技术实现步骤摘要】
【国外来华专利技术】异常检测
技术介绍
本专利技术实施例涉及异常检测，并且特别地涉及使用数据建模方法的异常检测。本专利技术实施例还涉及一种计算机程序产品，其包括使得系统的处理器能够实现这种方法的计算机可读程序代码。本专利技术实施例还涉及一种用于检测异常的系统。这样的系统可以用于识别在各种不同领域中发现的任何数据中的异常。这样的数据可以包括例如健康数据(例如，用于检测异常测试结果)、安全数据(例如，用于检测欺诈/入侵)或通信数据(例如，用于检测传输错误)。异常检测旨在识别偏离该数据点或模式的预期行为(例如，异常)的数据点或数据模式。在不同的领域中，异常可以替代地被标记为离群值、不一致观察、例外、畸变、惊讶、独特性或污染物。异常检测在各种应用领域(例如，健康、欺诈/入侵安全检测系统)中是有用的，并且对于5G网络运营商以及时的方式避免或检测性能降级是特别有益的，否则性能降级可能导致服务中断和维护成本增加。目的是以主动(例如，在降级发生之前准备)或反应性(例如，在降级发生之后反应)方式检测降级，以允许在早期阶段应用校正动作以最小化降级的影响并降低成本。存在过多的异常检测技术，其本文档来自技高网...

【技术保护点】
1.一种用于确定时间序列数据集的具有值的数据元素是否为离群值的计算机实现的方法，所述方法包括：/n从所述时间序列数据集的时间上在所述数据元素之前的第一数据获得用于预测所述数据元素的值的预测数据；/n使用所述预测数据来预测所述数据元素的预测值；/n获得所述时间序列数据集的历史误差值，每个历史误差值表示所述时间序列数据集的在时间上在所述数据元素之前的第二数据元素的值与第二数据元素的预测值之间的差；/n基于所述历史误差值中的一个或多个历史误差值获得阈值，所述阈值用于相对于所述数据元素的所述预测值定义被认为是离群值的所述数据元素的值；以及/n基于所述阈值、所述预测值及所述数据元素的所述值确定所述数据元...

【技术特征摘要】
【国外来华专利技术】20180524 US 15/988,5061.一种用于确定时间序列数据集的具有值的数据元素是否为离群值的计算机实现的方法，所述方法包括：
从所述时间序列数据集的时间上在所述数据元素之前的第一数据获得用于预测所述数据元素的值的预测数据；
使用所述预测数据来预测所述数据元素的预测值；
获得所述时间序列数据集的历史误差值，每个历史误差值表示所述时间序列数据集的在时间上在所述数据元素之前的第二数据元素的值与第二数据元素的预测值之间的差；
基于所述历史误差值中的一个或多个历史误差值获得阈值，所述阈值用于相对于所述数据元素的所述预测值定义被认为是离群值的所述数据元素的值；以及
基于所述阈值、所述预测值及所述数据元素的所述值确定所述数据元素是否为离群值。


2.根据权利要求1所述的计算机实现的方法，其中所述预测数据包括所述时间序列数据集的在时间上在所述数据元素之前的预定数量的其他数据元素。


3.如权利要求1所述的计算机实现的方法，其中每个历史误差值是误差值的平方，所述误差值的平方是所述时间序列数据集的时间上在所述数据元素之前的所述第二数据元素的所述值与所述时间序列数据集的所述第二数据元素的对应预测值之间的差的平方。


4.根据权利要求1所述的计算机实现的方法，其中获得阈值包括基于所述历史误差值的最大值将每个历史误差值缩放到0和1之间的值。


5.根据权利要求1所述的计算机实现的方法，其中获得所述阈值包括：
计算所述历史误差值的标准偏差；以及
根据所述历史误差值的所述标准偏差获得所述阈值。


6.根据权利要求5所述的计算机实现的方法，其中获得所述阈值包括将所述历史误差值的所述标准偏差乘以预定数目以获得所述阈值。


7.根据权利要求6所述的计算机实现的方法，其中获得所述阈值包括使用切比雪夫不等式Chebyshev’sinequality来计算所述预定数目。


8.根据权利要求1所述的计算机实现的方法，其中所述第二数据元素对应于在所述数据元素之前的多个预定时间段获得的所述时间序列数据集的数据元素。


9.根据权利要求8所述的计算机实现的方法，其中所述预定时间段是小时、天或周。


10.根据权利要求1所述的计算机实现的方法，其中预测所述数据元素的预测值包括：
使用所述预测数据和多个不同的预测模型来预测所述数据元素的相应的多个潜在预测值；以及
将最接近所述数据元素的所述值的所述潜在预测值指定为所述预测值。


11.根据权利要求1所述的计算机实现的方法，其中所述数据元素是所述时间序列数据集的数据点。


12.一种用于确定时间序列数据集的具有值的数据元素是否为离群值的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有包含其中的程序指令，所述程序指令可由处理单元执行以使所述处理单元执行一种方法，所述方法包括：
从所述时间序列数据集的时间上在所述数据元素之前的第一数据获得用于预测所述数据元素的值的预测数据；
使用所述预测数据来预测所述数据元素的预测值；
获得所述时间序列数据集的历史误差值，每个历史误差值表示所述时间序列数据集的在时间上在所述数据元素之前的第二数据元素的值与第二数据元素的预测值之间的差；
基于所述历史误差值中的一个或多个历史误差值获得阈值，所述阈值用于相对于所述数据元素的预测值定义被认为是离群值的所述数据元素的值；以及
基于所述阈值、所述预测值及所述数据元素的所述值确定所述数据元素是否为离群值。


13.如权利要求12所述的计算机程序产品，其中每个历史误差值是误差值的平方，所述误差值的平方是所述时间序列数据集的时间上在所述数据元素之前的所述第二数据元素的所述值与所述时间序列数据集的的所述第二数据元素...

【专利技术属性】
技术研发人员：T·S·布达，H·A·A·A·萨拉玛，B·卡格拉扬，F·加法尔，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US