数据中心异常检测方法、系统、设备及存储介质技术方案

本申请涉及一种数据中心异常检测方法、系统、设备及存储介质，包括获取监测数据；将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据；基于构建的自编码器对降维后得到的所述低维数据进行训练并输出预测值；将训练后得到的所述预测值与获取的真实值进行比对以进行异常检测；通过使用主成成分分析获取的监测数据，将高维监测数据投影为低维有效的特征空间，使用正常样本来训练一个自编码器，可以快速预测某时刻下数据中心的设备是否处于异常状态，在异常发生后，使用高斯核函数的支持向量机得出预测值，来对异常进行分类，从而提高异常处理的效率，加强数据中心的预防性维护，降低计算成本使运维更加智能化的效果。加智能化的效果。加智能化的效果。

【技术实现步骤摘要】
数据中心异常检测方法、系统、设备及存储介质


[0001]本申请涉及通信
，特别是涉及一种数据中心异常检测方法、系统及计算机设备。

技术介绍

[0002]随着大数据时代的到来，云服务和大数据在互联网企业中的普及，数据中心规模不断扩大，数据中心的运维管理问题日益显著，运维能力不能跟进数据中心建设速度。
[0003]在数据中心实际监测中涉及到设备的很多信息，主要包括GPU信息，磁盘信息，内存信息等等。除此之外，数据中心的物理环境，例如温度、湿度、温差等信息也在数据中心监测的范围内。但是传统运维方式使用人力和物理传感器进行监测和风险分析，由于人们对IT的认识逻辑的局限性，只能局限于完成计算任务去设计IT系统，导致出现逻辑不全的缺陷，存在监控效率低、成本高的问题。

技术实现思路

[0004]基于此，本申请提供了一种数据中心异常检测方法、系统及计算机设备，以达到基于机器学习的方法技术效的提高数据中心监测的效率，提高异常处理的效率，加强数据中心的预防性维护，降低计算成本使运维更加智能化的效果。
[0005]第一方面，本申请提供了一种数据中心异常检测方法，该方法包括：获取监测数据；将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据；基于构建的自编码器对降维后得到的所述低维数据进行训练并输出预测值；将训练后得到的所述预测值与获取的真实值进行比对以进行异常检测。
[0006]可选的是，所述获取监测数据，包括：获取cpu信息X
CPU
、内存信息Xr/>mem
、磁盘信息X
disk
、物理环境信息X
phy
以及进程信息X
thread
；
[0007]基于获取得到的所述监测数据用于主成成分分析的高维数据，并通过公式(1)进行描述，
[0008]X＝(X
cpu
,X
mem
,X
disk
,X
phy
,X
thread
) (1)。
[0009]可选的是，所述将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据，包括：将获取的所述监测数据进行特征矩阵并进行转置，特征矩阵通过公式(2)进行描述，
[0010][0011]式中，X
train
为X经过预处理后的样本特征；
[0012]对转置的所述监测数据进行特征缩放，通过公式(3)进行描述，
[0013][0014][0015]式中，μ
i
为x
i
的均值，为获取的所述监测数据特征矩阵中的第i列第j行数据。
[0016]计算协方差矩阵，并计算特征值及特征向量，通过公式(4)进行描述，
[0017][0018]取前k个特征向量作为降维矩阵ξ，最终得到降维后的数据矩阵通过公式(5)进行描述，
[0019][0020][0021]其中降维后矩阵的每一列为一个数据降维后的特征表示，得到正常样本。
[0022]可选的是，所述将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据，还包括：将少量的异常数据投影到降维后得到的所述正常样本中，得到异常数据的降维表。
[0023]可选的是，所述基于构建的自编码器对降维的所述低维数据进行训练输出预测值包括：基于降维后得到的所述正常样本计算重构误差；基于降维后得到的所述正常样本的一半计算高斯分布概率以及所述正常样本的另一半计算加权对数概率；将得到的所述正常样本计算的所述重构误差以及计算的所述高斯分布概率、加权对数概率通过以下公式计算得到损失函数，以实现对所述正常样本的训练，所述损失函数通过公式(6)进行描述，
[0024][0025]式中，x
(i)
指降维后得到的原特征，指编码器生成的重构特征，p(x
(i)
|N(μ,σ2)指的是服从高斯分布的概率。
[0026]可选的是，所述基于构建的自编码器对降维的所述低维数据进行训练输出预测值，还包括：基于构建的自编码器对降维的所述异常数据进行训练并引入高斯核函数的支持向量机对所述异常数据进行分类分析。
[0027]可选的是，所述基于构建的自编码器对降维的所述异常数据进行训练并引入高斯核函数的支持向量机对所述异常数据进行分类分析，具体包括：基于获取的所述异常数据线性不可分，采用非线性的高斯核函数使所述异常数据在高维空间中线性可分；基于通过高斯核函数处理后的所述异常数据通过边界函数计算出分类的所述异常数据预测值，通过
公式(7)进行描述，
[0028]式中，f(x)为分类的边界函数，k(x
i
,x)为高斯核函数，α、y、b为超参数，x
i
为所述异常数据样本，σ为手动调节的参数。
[0029]第二方面，本申请提供了一种工控网络恶意代码检测系统，该系统包括：获取模块，用于获取监测数据；降维模块，用于将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据；训练模块，用于基于构建的自编码器对降维后得到的所述低维数据进行训练并输出预测值；结果输出模块，用于将训练后得到的所述预测值与获取的真实值进行比对以进行异常检测。
[0030]第三方面，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
[0031]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述所述方法的步骤。
[0032]本申请至少具有以下优点：
[0033]根据本申请实施例所提供的
技术实现思路
，使用主成成分分析获取的监测数据，并对大量监测数据进行降维，将高维监测数据投影为低维有效的特征空间，投影后得到的低维数据当作数据中心监测数据的特征。由于正常和异常样本数量不平衡，这里仅使用正常样本来训练一个自编码器，同时计算正常样本的高斯分布，训练出的自编码器输出预测值，与真实值作比较，可以快速预测某时刻下数据中心的设备是否处于异常状态。在异常发生后，为了确定异常的种类及可采取的措施，使用高斯核函数的支持向量机得出预测值，来对异常进行分类，从而提高异常处理的效率，加强数据中心的预防性维护，降低计算成本使运维更加智能化的效果。
附图说明
[0034]图1为一个实施例中显示数据中心异常检测方法的应用环境图；
[0035]图2为一个实施例中显示数据中心异常检测方法的流程示意图；
[0036]图3为一个实施例中显示数据中心异常检测方法的流程框图；
[0037]图4为一个实施例中显示步骤203的流程示意图；
[0038]图5为一个实施例中自编码器结构示意图；
[0039]图6为一个实施例中显示计算机设备的示意性结构图。
具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据中心异常检测方法，其特征在于，该方法包括：获取监测数据；将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据；基于构建的自编码器对降维后得到的所述低维数据进行训练并输出预测值；将训练后得到的所述预测值与获取的真实值进行比对以进行异常检测。2.根据权利要求1所述的数据中心异常检测方法，其特征在于，所述获取监测数据，包括：获取cpu信息X
CPU
、内存信息X
mem
、磁盘信息X
disk
、物理环境信息X
phy
以及进程信息X
thread
；基于获取得到的所述监测数据用于主成成分分析的高维数据，并通过公式(1)进行描述，X＝(X
cpu
,X
mem
,X
disk
,X
phy
,X
thread
)
ꢀꢀꢀ
(1)。3.根据权利要求2所述的数据中心异常检测方法，其特征在于，所述将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据，包括：将获取的所述监测数据进行特征矩阵并进行转置，特征矩阵通过公式(2)进行描述，式中，X
train
为X经过预处理后的样本特征；对转置的所述监测数据进行特征缩放，通过公式(3)进行描述，对转置的所述监测数据进行特征缩放，通过公式(3)进行描述，式中，μ
i
为x
i
的均值，为获取的所述监测数据特征矩阵中的第i列第j行数据；计算协方差矩阵，并计算特征值及特征向量，通过公式(4)进行描述，取前k个特征向量作为降维矩阵ξ，最终得到降维后的数据矩阵通过公式(5)进行描述，述，
其中降维后矩阵的每一列为一个数据降维后的特征表示，得到正常样本。4.根据权利要求3项所述的数据中心异常检测方法，其特征在于，所述将获取的所述监测数据基于线性变换将高维数据重构为一组各维度线性无关的低维数据，还包括：将少量的异常数据投影到降维后得到的所述正常样本中，得到异常数据的降维表示。5.根据权利要求3所述的数据中心异常检测方法，其特征在于，所述基...

【专利技术属性】
技术研发人员：赵帅，徐琳，贺铮，刘长川，
申请(专利权)人：中能融合智慧科技有限公司，
类型：发明
国别省市：