数据异常检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种数据异常检测方法、装置、电子设备及存储介质，涉及大数据安全技术技术领域，该方法包括：针对预设时间段内每个目标变化子时间段，根据预设时间段内该目标变化子时间段的数据，和该目标变化子时间段对应的第一变化子时间段的数据，确定预设时间段内该目标变化子时间段的差异指标；根据该目标变化子时间段的差异指标，修正该目标变化子时间段的数据；检测修正后的预设时间段内每个周期的多个变化子时间段的数据中的异常数据。本发明专利技术实施例能够通过目标变化子时间段的差异指标修正目标变化子时间段的数据，从而可以消除目标变化子时间段所在日期对数据的影响，例如节假日等，提高了检测的准确率。提高了检测的准确率。提高了检测的准确率。

【技术实现步骤摘要】
数据异常检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据安全
，尤其涉及一种数据异常检测方法、装置、电子设备及存储介质。

技术介绍

[0002]大数据技术的发展使得数据的价值越来越重要，系统需要从各种角度对流动数据进行检测。而异常点检测算法是一类常用的检测方法，这种方法能够评估数据点在数据集中的异常程度，并根据污染程度(数据集中异常点的比例)标记异常点。当前的检测装置将所有时刻的数据点进行对比，通过异常点检测算法找到数据流量中存在的异常点(即离群点)。
[0003]以流量为例，在生产实践过程当中，发现许多接口上的数据流量呈明显的周期性分布。传统的异常点检测装置直接使用采集到的数据流量进行异常点检测。周末或节假日等突发事件流量会发生变化，例如周末或节假日等突发事件时流量比较大，是正常的现象，然而，相比于其他非突发事件来说，可能会将突发事件的流量作为异常点检测出来，导致检测错误率比较高。

技术实现思路

[0004]本专利技术提供一种数据异常检测方法、装置、电子设备及存储介质，能够通过目标变化子时间段的差异指标修正目标变化子时间段的数据，基于修正后的数据进行异常检测，这样可以消除目标变化子时间段所在日期对数据的影响，提高了检测的准确率。
[0005]第一方面，本专利技术实施例提供一种周期性变化的数据异常检测方法，包括：
[0006]获取预设时间段内每个周期的多个变化子时间段的数据；
[0007]针对预设时间段内每个目标变化子时间段，根据预设时间段内该目标变化子时间段的数据，和该目标变化子时间段对应的第一变化子时间段的数据，确定预设时间段内该目标变化子时间段的差异指标；其中，目标变化子时间段对应的第一变化子时间段为与目标变化子时间段所在的周期的类型不同，与目标变化子时间段具有相同时间段的变化子时间段；目标变化子时间段的差异指标表征目标变化子时间段和目标子时间段对应的第一变化子时间段的数据之间的差异情况；
[0008]根据该目标变化子时间段的差异指标，修正该目标变化子时间段的数据；
[0009]检测修正后的预设时间段内每个周期的多个变化子时间段的数据中的异常数据。
[0010]上述方法，能够通过预设时间段内目标变化子时间段的数据，和目标变化子时间段所在周期的其他变化子时间段的数据确定目标变化子时间段的差异指标，再利用差异指标修正目标变化子时间段的数据，基于修正后的数据进行异常检测，这样可以消除目标变化子时间段所在日期对数据的影响，例如节假日等，提高了检测的准确率。
[0011]在一种可能实施的方式中，根据预设时间段内该目标变化子时间段的数据，和该目标变化子时间段对应的第一变化子时间段的数据，确定预设时间段内该目标变化子时间
段的差异指标，包括：
[0012]方式一：将第一平均值和第二平均值之间的差值，作为预设时间段内该目标变化子时间段的差异指标；其中，所述第一平均值为目标变化子时间段对应的第一变化子时间段的数据的平均值；所述第二平均值为该目标变化子时间段的数据，以及该目标变化子时间段对应的第二变化子时间段的数据的平均值；该目标变化子时间段对应的第二变化子时间段为与该目标变化子时间段所在的周期的类型相同，与该目标变化子时间段具有相同时间段的目标变化子时间段；或
[0013]方式二：将所述第一平均值和所述第二平均值之间的比值，作为预设时间段内该目标变化子时间段的差异指标。
[0014]上述方法，当具有多个目标变化子时间段和多个其他变化子时间段，可以通过他们的平均值代表多个子时间段的数据情况，从而计算目标变化子时间段的数据和其他变化子时间段的数据的差异，这样能够快速锁定不同类型的子时间段之间的差异。
[0015]在一种可能实施的方式中，根据该目标变化子时间段的差异指标，修正该目标变化子时间段的数据，包括：
[0016]若采用方式一确定出该目标变化子时间段的差异指标，则将该目标变化子时间段的差异指标和该目标变化子时间段的数据之和，作为修正后的该目标变化子时间段的数据；或
[0017]若采用方式二确定出该目标变化子时间段的差异指标，则将该目标变化子时间段的差异指标和该目标变化子时间段的数据的乘积，作为修正后的该目标变化子时间段的数据。
[0018]上述方法，能够通过差异指标和数据作和，或者乘积的方式，简易的把异常加入到变化子时间段的数据中，提高了运作速度。
[0019]在一种可能实施的方式中，检测修正后的预设时间段内每个周期的多个变化子时间段的数据中的异常数据，包括：
[0020]确定预设时间段内每个周期的每个变化子时间段的增长量；其中，每个周期的每个变化子时间段的增长量，表征修正后的每个周期的每个变化子时间段的数据在每个周期的增长情况；
[0021]检测预设时间段内每个周期的每个变化子时间段的增长量中的异常增长量；
[0022]将检测到的异常增长量对应的变化子时间段的数据，作为修正后的预设时间段内每个周期的多个变化子时间段的数据中的异常数据。
[0023]上述方法，能够通过检测变化子时间段的增长量的异常情况，来确定变化子时间段的数据的异常，对于不同周期的数据情况，做到统一计算，消除了不同子时间段给数据带来的影响。
[0024]在一种可能实施的方式中，确定预设时间段内每个周期的每个变化子时间段的增长量，包括：
[0025]将修正后的每个周期的每个变化子时间段的数据，和每个变化子时间段对应的第三变化子时间段的数据的平均值之间的差值，作为预设时间段内每个周期的每个变化子时间段的增长量；其中，每个变化子时间段对应的第三变化子时间段，为与每个变化子时间段具有相同时间段的多个周期的变化子时间段。
[0026]上述方法，能够通过周期的多个子时间段的平均值代表该周期的数据情况，从而计算每个周期的每个变化子时间段的增长量，这样能够快速锁定周期的数据情况，提高了运算速度。
[0027]在一种可能实施的方式中，通过以下方式确定目标变化子时间段，包括：
[0028]将与用户设定的日期相同的周期内的变化子时间段作为目标变化子时间段；或
[0029]将日期类型与预设日期类型相同的周期内的变化子时间段，作为目标变化子时间段。
[0030]上述方法，能够通过用户设定日期，或者查询日期类型来自动锁定目标变化子时间段，提高了工作效率。
[0031]第二方面，本专利技术实施例提供了一种周期性变化的数据异常检测装置，包括：
[0032]获取模块，用于获取预设时间段内每个周期的多个变化子时间段的数据；
[0033]确定指标模块，用于针对预设时间段内每个目标变化子时间段，根据预设时间段内该目标变化子时间段的数据，和该目标变化子时间段对应的第一变化子时间段的数据，确定预设时间段内该目标变化子时间段的差异指标；其中，目标变化子时间段对应的第一变化子时间段为与目标变化子时间段所在的周期的类型不同，与目标变化子时间段具有相同时间段的变化子时间段；目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种周期性变化的数据异常检测方法，其特征在于，包括：获取预设时间段内每个周期的多个变化子时间段的数据；针对预设时间段内每个目标变化子时间段，根据预设时间段内该目标变化子时间段的数据，和该目标变化子时间段对应的第一变化子时间段的数据，确定预设时间段内该目标变化子时间段的差异指标；其中，目标变化子时间段对应的第一变化子时间段为与目标变化子时间段所在的周期的类型不同，与目标变化子时间段具有相同时间段的变化子时间段；目标变化子时间段的差异指标表征目标变化子时间段和目标子时间段对应的第一变化子时间段的数据之间的差异情况；根据该目标变化子时间段的差异指标，修正该目标变化子时间段的数据；检测修正后的预设时间段内每个周期的多个变化子时间段的数据中的异常数据。2.根据权利要求1所述的周期性变化的数据异常检测方法，其特征在于，根据预设时间段内该目标变化子时间段的数据，和该目标变化子时间段对应的第一变化子时间段的数据，确定预设时间段内该目标变化子时间段的差异指标，包括：方式一：将第一平均值和第二平均值之间的差值，作为预设时间段内该目标变化子时间段的差异指标；其中，所述第一平均值为目标变化子时间段对应的第一变化子时间段的数据的平均值；所述第二平均值为该目标变化子时间段的数据，以及该目标变化子时间段对应的第二变化子时间段的数据的平均值；该目标变化子时间段对应的第二变化子时间段为与该目标变化子时间段所在的周期的类型相同，与该目标变化子时间段具有相同时间段的目标变化子时间段；或方式二：将所述第一平均值和所述第二平均值之间的比值，作为预设时间段内该目标变化子时间段的差异指标。3.根据权利要求2所述的周期性变化的数据异常检测方法，其特征在于，根据该目标变化子时间段的差异指标，修正该目标变化子时间段的数据，包括：若采用方式一确定出该目标变化子时间段的差异指标，则将该目标变化子时间段的差异指标和该目标变化子时间段的数据之和，作为修正后的该目标变化子时间段的数据；或若采用方式二确定出该目标变化子时间段的差异指标，则将该目标变化子时间段的差异指标和该目标变化子时间段的数据的乘积，作为修正后的该目标变化子时间段的数据。4.根据权利要求1～3任一项所述的周期性变化的数据异常检测方法，其特征在于，检测修正后的预设时间段内每个周期的多个变化子时间段的数据中的异常数据，包括：确定预设时间段内每个周期的每个变化子时间段的增长量；其中，每个周期的每个变化子时间段的增长量，表征修正后的每个周期的每个变化子时间段的数据在每个周期的增长情况；检测预设时间段内每个周期的每个变化子时间段的增长量中的异常增长量；将检测到的异常增长量对应的变化子时间段的数据，作为修正后的预设时间段内每...

【专利技术属性】
技术研发人员：杨立原，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：