数据异常检测方法、电子设备及可读存储介质技术

本公开涉及一种数据异常检测方法、电子设备及可读存储介质，该方法包括：获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列；其中，所述第一时间窗口在所述第一时间戳之前；将第一数列与初始的自调整数据拼接后输入预置的第一转换器模型，得到第一数据的第一重建数据；通过第一数据与第一重建数据间的第一残差更新自调整数据，并将第一数列与更新后的自调整数据拼接后输入至预置的第二转换器模型，得到第一数据的第二重建数据；检测第一数据与第二重建数据间的第二残差是否超出设定的残差范围，如是，则确定该第一数据为异常数据。数据为异常数据。数据为异常数据。

【技术实现步骤摘要】
数据异常检测方法、电子设备及可读存储介质


[0001]本公开实施例涉及计算机
，更具体地，涉及数据异常检测方法、电子设备及计算机可读存储介质。

技术介绍

[0002]业务平台每天会收集并统计平台数据，并根据数据时间戳，将这些数据按照时间先后顺序排列就形成了动态数列，也可以称之为时间序列。由于动态数列反映了业务平台的运行状况，因此，运维人员可以基于这样的动态数列对业务平台进行运维管理。在基于平台数据的运维管理中，质量、效率和成本是所要解决的三大核心问题，数据异常检测聚焦在解决最基础的质量稳定性问题。
[0003]现有的数据异常检测方法主要有统计学习方法、监督学习方法、离群点检测方法等，这些方法只适用于对异常形态单一的动态数列进行数据异常检测，而对于异常形态多样的动态数列，却无法准确识别其中的异常数据，影响运维管理的质量稳定性。

技术实现思路

[0004]本公开实施例的一个目的是提供一种能够在异常形态多样的动态数列中捕捉异常数据的数据异常检测方案。
[0005]根据本公开的第一方面，提供了一种数据异常检测方法，其包括：获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列；其中，所述第一时间窗口在所述第一时间戳之前，所述第一数列包括按时间先后顺序排列的多个数据；将所述第一数列与初始的自调整数据拼接后输入预置的第一转换器模型，得到所述第一数据的第一重建数据；通过所述第一数据与所述第一重建数据间的第一残差更新所述自调整数据，并将所述第一数列与更新后的自调整数据拼接后输入至预置的第二转换器模型，得到所述第一数据的第二重建数据；检测所述第一数据与所述第二重建数据间的第二残差是否超出设定的残差范围；在所述第二残差超出所述残差范围的情况下，确定所述第一数据为异常数据。
[0006]可选地，所述第一转换器模型与所述第二转换器模型具有相同的编码器。
[0007]可选地，所述获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列之前，所述方法还包括：获取所述检测对象中对应所述第一时间戳的第一原始数据和对应所述第一时间窗口的第一原始数列；通过设定的归一化指标数据对所述第一原始数据和所述第一原始数列进行归一化处理，得到对应所述第一原始数据的所述第一数据和对应所述第一原始数列的所述第一数列；其中，所述归一化指标数据根据所述检测对象中对应第二时间窗口的第二原始数列
确定，所述第二时间窗口在所述第一时间戳之前，所述第二原始数列的数据数量大于所述第一原始数列的数据数量；所述确定所述第一数据为异常数据为：确定所述第一原始数据为异常数据。
[0008]可选地，所述获取所述检测对象中对应所述第一时间戳的第一原始数据之后，所述方法还包括：检测所述第一原始数据是否在设定的异常数据范围内；其中，所述异常数据范围根据所述第二原始数列确定；在所述第一原始数据未在所述异常数据范围内的情况下，执行所述通过设定的归一化指标数据对所述第一原始数据和所述第一原始数列进行归一化处理的步骤；在所述第一原始数据在所述异常数据范围内的情况下，确定所述第一原始数据为异常数据。
[0009]可选地，所述检测所述第一数据与所述第二重建数据间的第二残差是否超出设定的残差范围之前，所述方法还包括：获取所述第一时间戳对应的第一时间标签；获取对应所述第一时间标签的第一残差参数值；其中，所述第一时间标签为时间标签集合中的一个时间标签，所述时间标签集合中的不同时间标签对应不同的残差参数值；根据所述第一残差参数值，得到所述设定的残差范围。
[0010]可选地，所述获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列之前，所述方法还包括：获取样本集；其中，所述样本集中第j样本包括所述检测对象的对应第j时间戳的第j样本数据和对应第j时间窗口的第i样本数列，所述第j时间窗口在所述第j时间戳之前，所述样本集中不同样本对应不同的时间戳和不同的时间窗口，且第j时间戳在所述第一时间戳之前；通过所述样本集和设定的损失函数训练所述第一转换器模型和所述第二转换器模型，得到所述第一转换器模型的第一模型参数和所述第二转换器模型的第二模型参数；根据所述第一模型参数更新所述第一转换器模型，及根据所述第二模型参数更新所述第二转换器模型。
[0011]可选地，所述损失函数包括对应所述第一转换器模型的第一损失函数与对应所述第二转换器模型的第二损失函数的加权和，所述第一损失函数的权值随着训练迭代次数的增加而减小，所述第二损失函数的权值随着训练迭代次数的增加而增大；其中，所述第一损失函数表示样本数据的第一重建数据相对样本数据的第一损失，所述第二损失函数表示样本数据的第二重建数据相对样本数据的第二损失，所述样本数据的第一重建数据由所述第一转换器模型通过对应样本数列对所述样本数据进行重建得到，所述样本数据的第二重建数据由所述第二转换器模型通过对应样本数列对所述样本数据进行重建得到。
[0012]可选地，所述获取样本集包括：获取所述检测对象的对应第二时间窗口的第二原始数列；其中，所述第二时间窗口在所述第一时间戳之前，所述第二原始数列的数据数量大于所述第一数列的数据数量；
根据所述第二原始数列，获得并保存所述检测对象的异常数据范围和归一化指标数据；根据所述异常数据范围，从所述第二原始数列中滤除显著异常的数据，得到过滤后的第二原始数列；通过所述归一化指标数据对所述过滤后的第二原始数列进行归一化处理，得到第二数列；按照设定的窗口长度切分所述第二数列，得到所述样本集。
[0013]可选地，所述通过所述样本集和设定的损失函数训练所述第一转换器模型和所述第二转换器模型，得到所述第一转换器模型的第一模型参数和所述第二转换器模型的第二模型参数之后，所述方法包括：获取至少部分样本数据作为标定数据，及在训练所述第一转换器模型和所述第二转换器模型中得到的所述标定数据的第二重建数据；根据所述标定数据的第二重建数据和所述标定数据，获得所述标定数据的残差；针对设定的时间标签集合中的每一时间标签，获得对应所述时间标签的标定数据集合；根据所述标定数据集合中标定数据的残差，得到并保存对应时间标签的残差参数值；所述检测所述第一数据与所述第二重建数据间的第二残差是否超出设定的残差范围之前，所述方法还包括：获取所述第一时间戳对应的第一时间标签；其中，所述第一时间标签为所述时间标签集合中的一个时间标签；获取对应所述第一时间标签的第一残差参数值；根据所述第一残差参数值，得到所述设定的残差范围。
[0014]根据本公开的第二方面，还提供了一种电子设备，其包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据本公开的第一方面所述的数据异常检测方法。
[0015]根据本公开的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的数据异常检测方法。
[0016]本公开实施例提供的异常数据检测方法，其在对作为实时数据点的第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异常检测方法，其特征在于，包括：获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列；其中，所述第一时间窗口在所述第一时间戳之前，所述第一数列包括按时间先后顺序排列的多个数据；将所述第一数列与初始的自调整数据拼接后输入预置的第一转换器模型，得到所述第一数据的第一重建数据；通过所述第一数据与所述第一重建数据间的第一残差更新所述自调整数据，并将所述第一数列与更新后的自调整数据拼接后输入至预置的第二转换器模型，得到所述第一数据的第二重建数据；检测所述第一数据与所述第二重建数据间的第二残差是否超出设定的残差范围；在所述第二残差超出所述残差范围的情况下，确定所述第一数据为异常数据。2.根据权利要求1所述的方法，其特征在于，所述第一转换器模型与所述第二转换器模型具有相同的编码器。3.根据权利要求1所述的方法，其特征在于，所述获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列之前，所述方法还包括：获取所述检测对象中对应所述第一时间戳的第一原始数据和对应所述第一时间窗口的第一原始数列；通过设定的归一化指标数据对所述第一原始数据和所述第一原始数列进行归一化处理，得到对应所述第一原始数据的所述第一数据和对应所述第一原始数列的所述第一数列；其中，所述归一化指标数据根据所述检测对象中对应第二时间窗口的第二原始数列确定，所述第二时间窗口在所述第一时间戳之前，所述第二原始数列的数据数量大于所述第一原始数列的数据数量；所述确定所述第一数据为异常数据为：确定所述第一原始数据为异常数据。4.根据权利要求3所述的方法，其特征在于，所述获取所述检测对象中对应所述第一时间戳的第一原始数据之后，所述方法还包括：检测所述第一原始数据是否在设定的异常数据范围内；其中，所述异常数据范围根据所述第二原始数列确定；在所述第一原始数据未在所述异常数据范围内的情况下，执行所述通过设定的归一化指标数据对所述第一原始数据和所述第一原始数列进行归一化处理的步骤；在所述第一原始数据在所述异常数据范围内的情况下，确定所述第一原始数据为异常数据。5.根据权利要求1所述的方法，其特征在于，所述检测所述第一数据与所述第二重建数据间的第二残差是否超出设定的残差范围之前，所述方法还包括：获取所述第一时间戳对应的第一时间标签；获取对应所述第一时间标签的第一残差参数值；其中，所述第一时间标签为时间标签集合中的一个时间标签，所述时间标签集合中的不同时间标签对应不同的残差参数值；根据所述第一残差参数值，得到所述设定的残差范围。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取检测对象的对应第一时间戳的第一数据和对应第一时间窗口的第一数列之前，所述方法还包括：
获取样本集；其中，所述样本集中第j样本包括所述检测对象的对应第j时间戳的第j样本数据和对应第j时间窗口的第j样本数列，所述第j时间窗口在所述第j时间戳之前，所述样本集中不同样本对应不同的时间戳和不同的时间窗口，且第j时间戳在所述第一...

【专利技术属性】
技术研发人员：李梦婷，杨奉山，李光辉，
申请(专利权)人：广州简悦信息科技有限公司，
类型：发明
国别省市：