数据异常检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据异常检测方法、装置、计算机设备和存储介质，可应用于云服务器；所述方法包括：获取待检测时序数据；对所述待检测时序数据进行时序分解，得到对应的季节性数据和残差项；根据所述季节性数据计算对应的曲线斜率；基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差；将所述规整化残差作为统计量，根据预设波动区间确定数据异常检测结果。上述方法通过对时序分解得到的季节性数据计算曲线斜率，引入季节性数据的曲线斜率对残差进行调整后再进行统计分析，可减少系统任务带来的正常突变对于数据异常检测的影响，减少误判。减少误判。减少误判。

【技术实现步骤摘要】
数据异常检测方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据异常检测方法、装置、计算机设备和存储介质。

技术介绍

[0002]由于具有广泛的用途，异常检测一直是业界研究的热点之一。传统意义上的异常检测一般是基于模型的方法，通过研究对象的数据分布特点，采用与之相匹配的概率分布函数或者拟合函数来创建。如果对象的观测值与模型不能拟合的比较好则被认为是异常值。常用的方法有：3-sigma，线性回归、多元回归、自回归、时序分解等算法模型。
[0003]然而在实际应用中，时序数据还可能因为系统执行特定任务产生突变，这些突变属于系统正常运行的结果，但是采用传统方法进行异常检测时，这些突变往往会被判定为异常，从而产生误判。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够减少误判的数据异常检测方法、装置、计算机设备和存储介质。
[0005]一种数据异常检测方法，所述方法包括：
[0006]获取待检测时序数据；
[0007]对所述待检测时序数据进行时序分解，得到对应的季节性数据和残差项；
[0008]根据所述季节性数据计算对应的曲线斜率；
[0009]基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差；
[0010]将所述规整化残差作为统计量，根据预设波动区间确定数据异常检测结果。
[0011]一种数据异常检测装置，所述装置包括：
[0012]数据获取模块，用于获取待检测时序数据；
[0013]时序分解模块，用于对所述待检测时序数据进行时序分解，得到对应的季节性数据和残差项；
[0014]斜率计算模块，用于根据所述季节性数据计算对应的曲线斜率；
[0015]残差规整化模块，用于基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差；
[0016]异常检测模块，用于将所述规整化残差作为统计量，根据预设波动区间确定数据异常检测结果。
[0017]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0018]获取待检测时序数据；
[0019]对所述待检测时序数据进行时序分解，得到对应的季节性数据和残差项；
[0020]根据所述季节性数据计算对应的曲线斜率；
[0021]基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差；
[0022]将所述规整化残差作为统计量，根据预设波动区间确定数据异常检测结果。
[0023]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0024]获取待检测时序数据；
[0025]对所述待检测时序数据进行时序分解，得到对应的季节性数据和残差项；
[0026]根据所述季节性数据计算对应的曲线斜率；
[0027]基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差；
[0028]将所述规整化残差作为统计量，根据预设波动区间确定数据异常检测结果。
[0029]上述数据异常检测方法、装置、计算机设备和存储介质，对于获取的待检测时序数据，首先进行时序分解，得到对应的季节性数据和残差项，根据季节性数据计算曲线斜率，并基于曲线斜率对残差项进行调整，得到规整化残差，以规整化残差作为统计量，根据预设波动区间确定待检测时序数据的数据异常检测结果。上述方法通过对时序分解得到的季节性数据计算曲线斜率，引入季节性数据的曲线斜率对残差进行规整化后再进行统计分析，可减少系统任务带来的正常突变对于数据异常检测的影响，减少误判。
附图说明
[0030]图1为一个实施例中数据异常检测方法的流程示意图；
[0031]图2(a)为一个具体实施例中的时序数据的示意图；
[0032]图2(b)为一个具体实施例中对时序数据进行时序分解得到的趋势性数据的示意图；
[0033]图2(c)为一个具体实施例中对时序数据进行时序分解得到的季节性数据的示意图；
[0034]图2(d)为一个具体实施例中根据季节性数据计算对应的曲线斜率的示意图；
[0035]图2(e)为一个具体实施例中对时序数据进行时序分解得到的残差项的示意图；
[0036]图2(f)为一个具体实施例中的规整化残差项的示意图；
[0037]图3为一个实施例中基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差的流程示意图；
[0038]图4为一个实施例中缩放系数的确定过程的流程示意图；
[0039]图5为一个具体实施例中数据异常检测方法的流程示意图；
[0040]图6(a)为一个具体实施例中以残差项作为统计量进行异常检测的示意图；
[0041]图6(b)为一个具体实施例中以规整化残差项作为统计量进行异常检测的示意图；
[0042]图7为一个实施例中数据异常检测装置的结构框图；
[0043]图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0044]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0045]大型互联网公司通过服务器向外提供大量的应用和网络服务。然而由许多原因造成的服务故障总是难以避免的，诸如网络延迟，服务器故障，恶意的网络攻击等。为了使公司保持竞争力，运维人员需要花费大量的精力去保证这些服务的正常运行。通常，出现了这些服务故障，一些与公司业务相关的指标—典型的时间序列数据，总是会出现异常的波动变化，例如业务失败量的突然增加、成功率的突然降低、响应延迟突然增加等。
[0046]与此同时，在某些情况下，公司的业务相关的指标也会出现正常的突增或者突降，例如定时任务，压力测试等。因而针对一条指标时序数据曲线，既有可能发生异常的波动，也可能有正常的突增或者突降。如何正确的区分出正常和异常数据在实际生产中具有重大意义。
[0047]本申请提供了一种数据异常检测方法，如图1所示，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异常检测方法，其特征在于，所述方法包括：获取待检测时序数据；对所述待检测时序数据进行时序分解，得到对应的季节性数据和残差项；根据所述季节性数据计算对应的曲线斜率；基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差；将所述规整化残差作为统计量，根据预设波动区间确定数据异常检测结果。2.根据权利要求1所述的数据异常检测方法，其特征在于，所述根据所述季节性数据计算对应的曲线斜率，包括：对所述季节性数据进行周期性拓展，得到拓展后季节性数据；采用局部加权回归算法对所述拓展后季节性数据计算对应的曲线斜率。3.根据权利要求1所述的数据异常检测方法，其特征在于，所述基于所述曲线斜率对所述残差项进行规整化，得到所述待检测时序数据的规整化残差，包括：读取缩放系数、所述曲线斜率中t时刻的曲线斜率以及t时刻的残差项；根据所述缩放系数、t时刻的曲线斜率和残差项，确定t时刻的规整化残差。4.根据权利要求3所述的数据异常检测方法，其特征在于，所述根据所述缩放系数、t时刻的曲线斜率和残差项，确定t时刻的规整化残差，包括：计算所述缩放系数与t时刻的曲线斜率的乘积；计算1与所述乘积的和值；将所述t时刻的残差项与所述和值的比值确定为t时刻的规整化残差。5.根据权利要求3或4所述的数据异常检测方法，其特征在于，所述缩放系数的确定包括步骤：读取所述曲线斜率在所对应时间区间内各时刻的曲线斜率；基于各时刻的曲线斜率计算所述曲线斜率所在时间区间内的中位曲线斜率；将所述中位曲线斜率的倒数确定为所述缩放系数。6.根据权利要求1所述的数据异常检测方法，其特征在于，所述...

【专利技术属性】
技术研发人员：杨浩，黄宇，周利，吕越，冯理，张粤峰，张云，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：