数据监控方法及装置、电子设备、存储介质制造方法及图纸

本公开提供了一种数据监控方法及装置、电子设备、存储介质，涉及数据监控技术领域。该数据监控方法包括：采集待分析数据，确定所述待分析数据对应的数据波动向量；将所述数据波动向量输入到预训练的联合降维分类模型中，确定所述待分析数据的数据状态；根据所述数据状态确定监控告警处理方式；基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果。本公开实施例的技术方案可以有效降低数据监控的告警误报率以及漏报率，提升数据监控结果的准确性。结果的准确性。结果的准确性。

【技术实现步骤摘要】
数据监控方法及装置、电子设备、存储介质


[0001]本公开涉及数据监控
，具体而言，涉及一种数据监控方法、数据监控装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]数据监控预警是有效且及时的反馈出数据异常的一种手段，通过对数据的监控去观察各业务情况是否异常，进而分析数据，一旦监控到数据异常，系统通过在可视化页面“高亮”展现或者以邮件等方式提醒相关业务人员处理。
[0003]目前，相关的数据监控预警方案中，一般是采用静态阈值的告警方式，超过设置的阈值范围即告警，一旦监控的数据匹配阈值设置条件，则发生告警，但当监控的数据在阈值附近波动或者出现较多异常噪声数据时，可能出现多次重复告警或者误告警的现象，数据监控结果的准确性较差。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开实施例的目的在于提供一种数据监控方法、数据监控装置、电子设备以及计算机可读存储介质，进而至少在一定程度上提升数据监控结果的准确性，避免监控过程中可能出现多次重复告警或者误告警的现象。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开实施例的第一方面，提供了一种数据监控方法，包括：
[0008]采集待分析数据，确定所述待分析数据对应的数据波动向量；
[0009]将所述数据波动向量输入到预训练的联合降维分类模型中，确定所述待分析数据的数据状态；
[0010]根据所述数据状态确定监控告警处理方式；
[0011]基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果。
[0012]在本公开的一些示例实施例中，基于前述方案，所述基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果，包括：
[0013]若确定所述数据状态为正常状态，则获取所述待分析数据对应的监控告警阈值范围；
[0014]响应所述待分析数据处于所述监控告警阈值范围内，则生成告警提示信息。
[0015]在本公开的一些示例实施例中，基于前述方案，所述基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果，包括：
[0016]若确定所述数据状态为异常状态，则创建观察窗口，并确定所述观察窗口内数据对应的采样频率；
[0017]根据所述采样频率采集新的待分析数据，并基于所述联合降维分类模型确定所述新的待分析数据的数据状态；
[0018]循环执行以上步骤，直到在所述观察窗口内采集的所述新的待分析数据的数据状态为非异常数据状态，关闭所述观察窗口。
[0019]在本公开的一些示例实施例中，基于前述方案，所述基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果，包括：
[0020]若确定所述数据状态为拒判状态，则确定所述待分析数据中的数据突变点；
[0021]获取所述数据突变点对应的邻近正常数据，并确定所述邻近正常数据的平均数据值；
[0022]通过所述平均数据值替换所述待分析数据中的数据突变点。
[0023]在本公开的一些示例实施例中，基于前述方案，所述联合降维分类模型是通过预训练过程得到的，所述预训练过程包括：
[0024]获取样本监控数据，并确定所述样本监控数据的样本数据波动向量以及对应的数据状态标签；
[0025]根据所述样本数据波动向量以及所述数据状态标签，对预构建的联合降维分类模型进行模型训练，得到训练完成的联合降维分类模型。
[0026]在本公开的一些示例实施例中，基于前述方案，所述联合降维分类模型由以下关系式表示：
[0027][0028]其中，x
n
表示数据波动向量，z
n
表示数据降维后的特征向量，x
n
和z
n
的关系满足贝叶斯主成分分析方法中带有白噪声的线性模型，即x
n
＝Wz
n
+ε，W表示基向量，该基向量为P*K维的投影矩阵，ε表示均值为0、方差为的高斯噪声；u
n
表示带有时间特性的数据波动向量的数据状态相关系数矩阵，u
n
和z
n
的关系满足贝叶斯主成分分析方法中带有白噪声的线性模型，即V表示基向量，该基向量为N*K维的投影矩阵，表示均值为0、方差为的高斯噪声；λ表示变量，m表示数据波动向量的数据状态的类型数量，θ为支持向量机分类器的参数，a0、b0、c0、d0、e0、f0表示超参数，即σ的参数，φ表示支持向量机分类器符合的概率分布，Λ表示方差矩阵，I表示对角线为1的N*N矩阵。
[0029]在本公开的一些示例实施例中，基于前述方案，所述确定所述待分析数据对应的数据波动向量，包括：
[0030]确定处于第一时刻的第一待分析数据，以及确定处于第二时刻的第二待分析数据；
[0031]根据所述第一待分析数据以及所述第二待分析数据确定数据波动向量。
[0032]根据本公开实施例的第二方面，提供了一种数据监控装置，包括：
[0033]数据采集模块，用于采集待分析数据，确定所述待分析数据对应的数据波动向量；
[0034]数据状态检测模块，用于将所述数据波动向量输入到预训练的联合降维分类模型中，确定所述待分析数据的数据状态；
[0035]监控告警处理方式确定模块，用于根据所述数据状态确定监控告警处理方式；
[0036]数据监控结果输出模块，用于基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果。
[0037]根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意一项所述的数据监控方法。
[0038]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的数据监控方法。
[0039]本公开实施例提供的技术方案可以包括以下有益效果：
[0040]本公开的示例实施例中的数据监控方法，可以确定待分析数据对应的数据波动向量，并将数据波动向量输入到预训练的联合降维分类模型中，确定待分析数据的数据状态，进而可以根据数据状态确定监控告警处理方式，基于监控告警处理方式对待分析数据进行处理，得到数据监控结果。一方面，通过确定待分析数据的数据状态，进而对不同数据状态的带分析数据采用不同的监控告警处理方式，能够有效减少多次重复报警的问题，提升数据监控结果的准确性；另一方面，基于联合降维分类模型以及待分析数据的数据波动向量，对待分析数据自动进行降维和分类，确定待分析数据的数据状态，并对不同数据状态的待分析数据采用不同的监控告警处理方式进行针对性处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监控方法，其特征在于，包括：采集待分析数据，确定所述待分析数据对应的数据波动向量；将所述数据波动向量输入到预训练的联合降维分类模型中，确定所述待分析数据的数据状态；根据所述数据状态确定监控告警处理方式；基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果。2.根据权利要求1所述的数据监控方法，其特征在于，所述基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果，包括：若确定所述数据状态为正常状态，则获取所述待分析数据对应的监控告警阈值范围；响应所述待分析数据处于所述监控告警阈值范围内，则生成告警提示信息。3.根据权利要求1所述的数据监控方法，其特征在于，所述基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果，包括：若确定所述数据状态为异常状态，则创建观察窗口，并确定所述观察窗口内数据对应的采样频率；根据所述采样频率采集新的待分析数据，并基于所述联合降维分类模型确定所述新的待分析数据的数据状态；循环执行以上步骤，直到在所述观察窗口内采集的所述新的待分析数据的数据状态为非异常数据状态，关闭所述观察窗口。4.根据权利要求1所述的数据监控方法，其特征在于，所述基于所述监控告警处理方式对所述待分析数据进行处理，得到数据监控结果，包括：若确定所述数据状态为拒判状态，则确定所述待分析数据中的数据突变点；获取所述数据突变点对应的邻近正常数据，并确定所述邻近正常数据的平均数据值；通过所述平均数据值替换所述待分析数据中的数据突变点。5.根据权利要求1所述的数据监控方法，其特征在于，所述联合降维分类模型是通过预训练过程得到的，所述预训练过程包括：获取样本监控数据，并确定所述样本监控数据的样本数据波动向量以及对应的数据状态标签；根据所述样本数据波动向量以及所述数据状态标签，对预构建的联合降维分类模型进行模型训练，得到训练完成的联合降维分类模型。6.根据权利要求1或5所述的数据监控方法，其特征在于，所述联合降维分类模型由以下关系式表示：
其中，x
n
表示数据波动...

【专利技术属性】
技术研发人员：刘汉江，陈步华，王勇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：