异常数据定位方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种异常数据定位方法、装置、电子设备及存储介质，所述方法包括：对目标时间序列数据进行周期性地划分，得到所述目标时间序列数据包含的窗口时间序列数据；对所述窗口时间序列数据进行显著性检测，得到所述窗口时间序列数据的显著性图；对所述显著性图进行异常点检测，并基于得到的异常点检测结果，定位所述目标时间序列数据中的异常数据。本申请实施例能够准确且高效地对目标时间序列数据进行异常数据检测。据进行异常数据检测。据进行异常数据检测。

【技术实现步骤摘要】
异常数据定位方法、装置、电子设备及存储介质


[0001]本申请涉及数据分析领域，具体涉及一种异常数据定位方法、装置、电子设备及存储介质。

技术介绍

[0002]在各类涉及到数据处理的领域中，数据分析以定位异常数据，进而在此基础上保障数据安全始终是一个重要的课题。其中，对安全日志进行分析以定位异常数据是本领域技术人员常用的技术手段。由于安全日志通常在时间上有序分布，因此现有技术中多采用处理时间序列数据的方式对安全日志进行异常定位。现有技术中多是采用时间序列模型ARIMA对时间序列数据进行处理分析。在这一过程中，检测数据集的每次改变都需要重新观察定阶、拟合模型，还需要较多人力参与，准确性以及效率均不尽如人意。

技术实现思路

[0003]本申请的一个目的在于提出一种异常数据定位方法、装置、电子设备及存储介质，能够准确且高效地对目标时间序列数据进行异常数据检测。
[0004]根据本申请实施例的一方面，公开了一种异常数据定位方法，所述方法包括：
[0005]对目标时间序列数据进行周期性地划分，得到所述目标时间序列数据包含的窗口时间序列数据；
[0006]对所述窗口时间序列数据进行显著性检测，得到所述窗口时间序列数据的显著性图；
[0007]对所述显著性图进行异常点检测，并基于得到的异常点检测结果，定位所述目标时间序列数据中的异常数据。
[0008]根据本申请实施例的一方面，公开了一种异常数据定位装置，所述装置包括：
[0009]划分模块，配置为对目标时间序列数据进行周期性地划分，得到所述目标时间序列数据包含的窗口时间序列数据；
[0010]显著性检测模块，配置为对所述窗口时间序列数据进行显著性检测，得到所述窗口时间序列数据的显著性图；
[0011]异常定位模块，配置为对所述显著性图进行异常点检测，并基于得到的异常点检测结果，定位所述目标时间序列数据中的异常数据。
[0012]在本申请的一示例性实施例中，所述装置配置为：
[0013]获取预设的时间周期节点；
[0014]在所述时间周期节点所在时刻对所述目标时间序列数据进行划分，将相邻时间周期节点之间的数据作为所述窗口时间序列数据。
[0015]在本申请的一示例性实施例中，所述装置配置为：
[0016]获取预设的周期长度，以及预设的步进长度；
[0017]以所述步进长度在所述目标时间序列数据上滑动所述周期长度的窗口，将所述窗
口截取得到的数据作为所述窗口时间序列数据。
[0018]在本申请的一示例性实施例中，所述装置配置为：
[0019]检测所述窗口时间序列数据是否存在数据缺失；
[0020]针对存在数据缺失的窗口时间序列数据，采用线性插值的方式填充所述窗口时间序列数据的缺失值。
[0021]在本申请的一示例性实施例中，所述装置配置为：
[0022]基于傅里叶变换对所述窗口时间序列数据进行处理，得到所述窗口时间序列数据的对数振幅谱；
[0023]基于所述对数振幅谱，得到所述窗口时间序列数据的频谱残差；
[0024]基于傅里叶逆变换对所述频谱残差进行处理，得到所述显著性图。
[0025]在本申请的一示例性实施例中，所述装置配置为：
[0026]对所述显著性图进行k轮异常点检测，每轮异常点检测过程中，计算当前轮次中各点的检验统计量以及检验临界值，将最大检验统计量的点从所述显著性图中删除，并且，若所述最大检验统计量大于所述检验临界值，则将删除的点作为异常点，其中，k为大于0的自然数。
[0027]在本申请的一示例性实施例中，所述装置配置为：
[0028]从预设的超参中获取异常点比例；
[0029]基于所述窗口时间序列数据的数据总量与所述异常点比例之间的乘积，确定k。
[0030]根据本申请实施例的一方面，公开了一种电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行以上实施例中的任一个所述的方法。
[0031]根据本申请实施例的一方面，公开了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行以上实施例中的任一个所述的方法。
[0032]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0033]本申请实施例中，由于显著性图不仅包含有异常数据对应的点，而且相比于窗口时间序列数据的数据数量，显著性图的点数量已经得到缩减。因此，对显著性图进行异常点检测的效率，将会高于对窗口时间序列数据进行异常数据检测的效率。并且，周期性划分得到的窗口时间序列数据能够良好地适应目标时间序列数据的周期性特点，从而本申请实施例能够准确且高效地对目标时间序列数据进行异常数据检测。
[0034]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0035]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
[0036]通过参考附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。
[0037]图1示出了根据本申请一个实施例的异常数据定位方法的流程图。
[0038]图2示出了根据本申请一个实施例的异常数据定位的详细流程示意图。
[0039]图3示出了根据本申请一个实施例的异常数据定位装置的框图。
[0040]图4示出了根据本申请一个实施例的电子设备的硬件图。
具体实施方式
[0041]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
[0042]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
[0043]附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常数据定位方法，其特征在于，所述方法包括：对目标时间序列数据进行周期性地划分，得到所述目标时间序列数据包含的窗口时间序列数据；对所述窗口时间序列数据进行显著性检测，得到所述窗口时间序列数据的显著性图；对所述显著性图进行异常点检测，并基于得到的异常点检测结果，定位所述目标时间序列数据中的异常数据。2.根据权利要求1所述的方法，其特征在于，对目标时间序列数据进行周期性地划分，得到所述目标时间序列数据包含的窗口时间序列数据，包括：获取预设的时间周期节点；在所述时间周期节点所在时刻对所述目标时间序列数据进行划分，将相邻时间周期节点之间的数据作为所述窗口时间序列数据。3.根据权利要求1所述的方法，其特征在于，对目标时间序列数据进行周期性地划分，得到所述目标时间序列数据包含的窗口时间序列数据，包括：获取预设的周期长度，以及预设的步进长度；以所述步进长度在所述目标时间序列数据上滑动所述周期长度的窗口，将所述窗口截取得到的数据作为所述窗口时间序列数据。4.根据权利要求1所述的方法，其特征在于，在对所述窗口时间序列数据进行显著性检测之前，所述方法还包括：检测所述窗口时间序列数据是否存在数据缺失；针对存在数据缺失的窗口时间序列数据，采用线性插值的方式填充所述窗口时间序列数据的缺失值。5.根据权利要求1所述的方法，其特征在于，对所述窗口时间序列数据进行显著性检测，得到所述窗口时间序列数据的显著性图，包括：基于傅里叶变换对所述窗口时间序列数据进行处理，得到所述窗口时间序列数据的对数振幅谱；基于所述对数振幅谱，得到...

【专利技术属性】
技术研发人员：吴志良，陈天婷，严梦嘉，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：