一种异常检测方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请公开了一种异常检测方法、装置、设备及计算机可读存储介质，方法包括：获取时间序列数据，对时间序列数据进行预处理；获取第一异常检测结果；第一异常检测结果为从预处理后的时间序列数据中提取各类特征，将各类特征输入到机器学习分类模型中得到的；获取第二异常检测结果；第二异常检测结果为将当前时间序列数据与预测基线进行比较得到的，预测基线为将预处理后的历史时间序列数据输入到回归模型中得到的；对第一异常检测结果和所述第二异常检测结果进行投票，以得到异常检测结果。本申请公开的上述技术方案，通过两类模型来实现异常检测，并对两类异常检测结果进行投票融合而得到最终的异常检测结果，从而提高异常检测的通用性和准确性。

【技术实现步骤摘要】
一种异常检测方法、装置、设备及计算机可读存储介质
本申请涉及运维检测
，更具体地说，涉及一种异常检测方法、装置、设备及计算机可读存储介质。
技术介绍
在运维检测领域，需要对业务指标数据(具体为时间序列数据)进行异常检测，以便于及时发现异常，并便于及时对异常进行处理。目前，常基于规则和基于统计进行异常检测，其中，基于规则的异常检测大多是根据经验设定相关的规则来对异常情况进行判断，例如：设置固定的阈值；基于统计的异常检测是利用数据统计的分布规律发现其中的异常点，例如：通过3sigma、箱形图、方差、Z分数等获得异常数据。但是，由于被监控的业务指标类型繁多，且不同的业务指标类型所对应的指标数据的分布特征是不同的(例如有周期性变化的、有稳定增长的、有易变型波动较大的、有本身存在突增突降点的等)，因此，基于规则进行异常检测的方式不能适应数据本身变化的特性，而基于统计进行异常检测的方式仅能适应周期性及稳定性比较强的数据，而无法适应业务趋势整体性抬升或下降的数据等，也即采用上述两种方法不能较好地对具有时间序列多样性的数据进行异常检测，从而则会降本文档来自技高网...

【技术保护点】
1.一种异常检测方法，其特征在于，包括：/n获取时间序列数据，并对所述时间序列数据进行预处理；其中，所述时间序列数据包括历史时间序列数据及当前时间序列数据；/n获取与所述当前时间序列数据对应的第一异常检测结果；其中，所述第一异常检测结果为从预处理后的所述时间序列数据中提取各类特征，并将各类所述特征输入到预先构建的机器学习分类模型中得到的；/n获取与所述当前时间序列数据对应的第二异常检测结果；其中，所述第二异常检测结果为将所述当前时间序列数据与预测基线进行比较得到的，所述预测基线为将预处理后的所述历史时间序列数据输入到预先构建的回归模型中得到的；/n对所述第一异常检测结果和所述第二异常检测结果进...

【技术特征摘要】
1.一种异常检测方法，其特征在于，包括：
获取时间序列数据，并对所述时间序列数据进行预处理；其中，所述时间序列数据包括历史时间序列数据及当前时间序列数据；
获取与所述当前时间序列数据对应的第一异常检测结果；其中，所述第一异常检测结果为从预处理后的所述时间序列数据中提取各类特征，并将各类所述特征输入到预先构建的机器学习分类模型中得到的；
获取与所述当前时间序列数据对应的第二异常检测结果；其中，所述第二异常检测结果为将所述当前时间序列数据与预测基线进行比较得到的，所述预测基线为将预处理后的所述历史时间序列数据输入到预先构建的回归模型中得到的；
对所述第一异常检测结果和所述第二异常检测结果进行投票，以得到所述当前时间序列数据的异常检测结果。


2.根据权利要求1所述的异常检测方法，其特征在于，当所述回归模型为LSTM模型时，所述回归模型的构建过程为：
获取第一预设时间长度内的历史时间序列数据，对获取到的所述第一预设时间长度内的历史时间序列数据进行聚合处理、去重处理、缺省值补全处理、剔除节假日数据处理和归一化处理，以得到训练集；
构建多层双向LSTM神经网络，并在每层所述LSTM神经网络中添加Dropout层；
利用所述训练集对所述LSTM神经网络进行训练，以得到所述LSTM模型。


3.根据权利要求1所述的异常检测方法，其特征在于，当所述回归模型为时间序列预测模型时，其中，所述时间序列预测模型为ARIMA、SARIMAX、Holt-Winter、FBProphet中的任意一种或任意多种，所述回归模型的构建过程为：
获取第二预设时间长度内的历史时间序列数据，对获取到的所述第二预设时间长度内的历史时间序列数据进行聚合处理、去重处理、缺省值补全处理；
利用处理后的所述历史时间序列数据构建所述时间序列预测模型。


4.根据权利要求1所述的异常检测方法，其特征在于，所述回归模型包括LSTM模型和所述时间序列预测模型，其中，所述时间序列预测模型为ARIMA、SARIMAX、Holt-Winter、FBProphet中的任意一种或任意多种。


5.根据权利要求1所述的异常检测方法，其特征在于，所述机器学习分类模型的构建过程为：
获取第三预设时间长度内的历史时间序列数据，对获取到的所述第三预设时间长度内的历史时间序列数据进行聚合处理、去重处理、缺省值补全处理，并对处理后的所述历史时间序列数据进行异常模拟，以得到有标签的训练集数据；
利用所述训练集数据进行特征工程构建，得到多个历史数据特征；
利用各所述历史数据特征构建所述机器学习分类模型。


6.根据权利要求5所述的异常检测方法，其特征在于，利用所述训练集数据进行特征工程构建，包括：
利用所述训练集数据构建残差特征、统计特征、对比特征、窗口特征、组合特征。


7.根据权利要求5所述的异常检测方法，其特征在于，当所述机器学习模型为DNN模型时，所述DNN模型包括多个全连接隐藏层和一个Sigmoid输出层，且所述DNN模型的全连接隐藏层中设置有Dr...

【专利技术属性】
技术研发人员：李东，黄伟，魏亮，周国庆，刘桂海，
申请(专利权)人：青岛特来电新能源科技有限公司，青岛特来电大数据有限公司，
类型：发明
国别省市：山东;37