一种基于高斯分布的数据中心异常检测方法及装置制造方法及图纸

本发明专利技术提出了一种基于高斯分布的数据中心异常检测方法及装置。所述方法包括以下步骤：获取数据中心服务器硬件层面、软件层面及物理环境的特征，构成多维特征数据集；对获取的多维特征数据集进行降维处理；根据经过降维处理的数据，利用基于高斯分布的异常检测模型进行运算，得到异常检测结果。本发明专利技术在基于高斯分布的异常检测算法的基础上，提出了一个适用于高密度数据中心的异常监测方法，能够提高数据中心的异常监测效率，减少了数据中心在高密度设计下的管理成本。

【技术实现步骤摘要】
一种基于高斯分布的数据中心异常检测方法及装置
本专利技术涉及一种数据中心的异常检测方法及装置，属于数据中心

技术介绍
随着大数据的时代的到来，数据中心(InternetDataCenter，简称IDC)呈现飞速发展[1]。据《数据中心白皮书(2018年)》[2]显示，全球数据中心呈现出减体量增的趋势。自2017年以来，随着大型化、集约化的观念的发展，数据中心的建设规模正在不断增大，但是数据中心高效运维管理以及人才缺失问题不断凸显出来。多数据中心出现运维人才短缺，运维能力跟不上数据中心建设速度等问题。在大数据时代，网络产生的大量的数据涌入数据中心，这就要求数据中心要具有高密度、绿色化、易于管理的特点[3]。但随着数据中心不断向这些目标靠近时，人们对数据中心的管理也变得越来越困难。其中对于IDC机房的设备的监测和故障设备的排查一直是近些年来学术界研究的热门课题。但是对于此问题，学术界一直没有一个很好的解决方案。大部分数据中心监测机房仍然采取人工排查和物理传感器监测的手段，监测效率不高且花费较大。近几年来，对数据中心异常检测一直是学本文档来自技高网...

【技术保护点】
1.一种基于高斯分布的数据中心异常检测方法，其特征在于，所述方法包括以下步骤：/n获取数据中心服务器硬件层面、软件层面及物理环境的特征，构成多维特征数据集；/n对获取的多维特征数据集进行降维处理；/n根据经过降维处理的数据，利用基于高斯分布的异常检测模型进行运算，得到异常检测结果。/n

【技术特征摘要】
1.一种基于高斯分布的数据中心异常检测方法，其特征在于，所述方法包括以下步骤：
获取数据中心服务器硬件层面、软件层面及物理环境的特征，构成多维特征数据集；
对获取的多维特征数据集进行降维处理；
根据经过降维处理的数据，利用基于高斯分布的异常检测模型进行运算，得到异常检测结果。


2.根据权利要求1所述的基于高斯分布的数据中心异常检测方法，其特征在于，所述多维特征数据集表示为如下矩阵形式：



n表示特征维度，每个矩阵元素Xd(1≤d≤n)表示一个由若干物理量构成的向量，分别为X_cpu、X_gpu、X_memory、X_disk、X_net、X_thread、X_phy中的一个，其中X_cpu为表征CPU工作状态的一系列特征，X_gpu为表征GPU工作状态的一系列特征，X_memory为表征内存工作状态的一系列特征，X_disk为表征磁盘工作状态的一系列特征，X_net为表征网络工作状态的一系列特征，X_thread为表征进程资源状态的一系列特征，X_phy为表征物理环境的一系列特征。


3.根据权利要求2所述的基于高斯分布的数据中心异常检测方法，其特征在于，所述对获取的多维特征数据集进行降维处理包括：
S21，对第d个维度特征Xd的第j个元素Xdj，按公式(1)计算每个特征Xdj的均值：



其中上标i表示具体特征序号，m是针对该元素特征所取的样本数量；
S22，用代替每个带入公式(2)对每个特征进行特征缩放：



其中max_xdj表示第d维度第j个元素特征的最大值，min_xdj表示第d维度第j个元素特征的最小值；
S23，将步骤S22所的带入公式(3)计算协方差矩阵：



S24，将协方差矩阵元素按从大到小排序，取前k列，组成新协方差矩阵ureduce，然后按公式(4)计算新特征值，得到新特征矩阵dataset_z：
z＝UreduceTx(4)





4.根据权利要求1所述的基于高斯分布的数据中心异常检测方法，其特征在于，所述基于高斯分布的异常检测模型按如下方法来生成：
将降维后的k个特征所在的集合记为集合χ，选取χ中的第一个元素放入空集合κ里，然后循环执行以下操作，直到集合χ为空：
a)按高斯分布计算集合χ中第一列特征值的分布，记为Pfirst(x)，分别计算Pfirst(x)与集合κ中的每一个分布的相关系数r；
b)当|r|大于指定阈值时，计算对应两个分布的η矩阵和s矩阵，形成多元高密度数据中心分布，记为Hdd分布，从集合χ移除Pfirst(x)，该次循环结束；
c)否则把Pfirst(x)放入κ集合，返回步骤a；
其中，η矩阵和s矩阵的计算方式如下：









其中η∈Rn，s∈Rn×n，f∈Rn，η为Hdd多元分布的均值向量，s表示Hdd多元分布的协方差矩阵，f表示Hdd多元分布的中间参数向量，由η和s对应元素相除构成，p(x)是Hdd多元分布的概率密度函数，x(i)表示第i个特征，m表示该特征的样本数量。


5.根据权利要求4所述的基于高斯分布的数据中心异常检测方法，其特征在于，所述利用基于高斯分布的异常检测模型进行运算，得到异常检测结果包括：
根据异常检测模型，得到集合κ中的所有分布后，得到每个分布的多元分布概率密度函数，利用经过降维处理的数据计算每个分布的概率值，当所述概率值大于指定阈值时，确定发生异常并识别出异常所在维度。


6.一种基于高斯分布的数据中心异常检测装置，其特征在于，包括：
数据获取模块，用于获取数据中心服务器硬件层面、软件层面及...

【专利技术属性】
技术研发人员：许明杰，俞俊，陈琰，卢士达，王琳，梅竹，陈海洋，庞恒茂，
申请(专利权)人：国网电力科学研究院有限公司，南瑞集团有限公司，国电南瑞科技股份有限公司，国网上海市电力公司，
类型：发明
国别省市：江苏;32