基于智能运维场景的健康度评价方法及装置制造方法及图纸

本发明专利技术公开了一种基于智能运维场景的健康度评价方法及装置。所述方法包括：收集运维系统的日志数据和配置数据；对所述日志数据和所述配置数据进行预处理，以构建业务关键信息数据库；基于配置id在各设定时间间隔中的数据与标签，分别训练向量自回归模型与LSTM

【技术实现步骤摘要】
基于智能运维场景的健康度评价方法及装置


[0001]本专利技术涉及系统健康评价体系领域，尤其涉及一种基于智能运维场景的健康度评价方法及装置。

技术介绍

[0002]随着互联网快速的发展，智能运维系统业务能力的不断增强，系统朝着架构异构化，逻辑复杂化，以及指标多样化方向快速发展。然而对于系统的业务数据进行状态监控仍采用手工监控的方式，这对于操作人员有较高的经验与技术要求，且通常不能迅速发现异常并找到问题所在，导致从出现异常到异常修复的时间间隔比较长，严重影响业务的可靠稳定运行，并且系统整体的健康状况以及可靠性无法得到有效的评估。
[0003]由于各类业务系统内部存在的复杂的耦合关系，对于系统整体的健康度态势的评估，还存在评价手段单一，缺乏多维度，立体式评估方法，缺少深入分析和整体态势研判的能力。
[0004]现有技术存在的缺点如下：
[0005]1)通过手工监控的方式来分析异常情况评估系统健康度，效率较低。
[0006]2)对于无标签的数据，缺乏有效的模型分析指标之间的复杂关联性，难以定义系统的健康度。
[0007]3)基于阈值的方法产生海量误报，使得操作人员无法及时处置，同时使得健康度的设计缺乏鲁棒性。
[0008]4)对于系统的健康度评估策略缺乏多维度的考量，难以形成对整体系统的态势感知能力。
[0009]因此现有技术需要一种能够快速分析智能运维系统数据的方法，保证系统的实时性，同时需要一种可以捕获指标之间复杂关联性的模型，来提供健康度的先验知识。基于上述的基础上，使用包含复杂异常关联性的异常检测结果与专家知识的权重设计，实现对于智能运维场景的健康度评估。

技术实现思路

[0010]为了解决上述问题，本专利技术提供一种基于智能运维场景的健康度评价方法及装置，以实现对于智能运维场景的健康度评估。
[0011]本专利技术的
技术实现思路
包括：
[0012]一种基于智能运维场景的健康度评价方法，所述方法包括：
[0013]收集运维系统的日志数据和配置数据；
[0014]对所述日志数据和所述配置数据进行预处理，以构建业务关键信息数据库；其中，所述业务关键信息数据库中的数据包括：时间、配置id、配置目标和配置量；
[0015]基于配置id在各设定时间间隔中的数据与标签，分别训练向量自回归模型与LSTM
‑
AE模型，以获取每一配置id在预测时间的向量自回归模型异常分数和LSTM
‑
AE模型异
常分数；其中，所述标签包括：异常情况和指标之间的关联影响；
[0016]综合所述配置id在预测时间的向量自回归模型异常分数和LSTM
‑
AE模型异常分数，得到所述配置id在预测时间的异常分数；
[0017]基于各配置id在预测时间的异常分数，计算所述运维系统在预测时间的健康度。
[0018]进一步地，所述对所述日志数据和所述配置数据进行预处理，，以构建业务关键信息数据库，包括：
[0019]对所述日志数据和所述配置数据进行数据清洗；
[0020]应用差分滑动平均方法，完成清洗后数据中时序数据的缺失值的填充，得到时序数据；
[0021]对所述时序数据进行特征提取；所述特征包括：时间、配置id、配置目标和配置量；
[0022]基于所述特征，构建业务关键信息数据库。
[0023]进一步地，所述应用差分滑动平均方法，完成清洗后数据中时序数据的缺失值的填充，得到时序数据之前，还包括：
[0024]使用拉宾卡普方法，对配置进行分组。
[0025]进一步地，所述应用差分滑动平均方法，完成清洗后数据中时序数据的缺失值的填充，得到时序数据，包括：
[0026]根据时间序列的时间列进行差分计算；
[0027]对于不满足差分距离的时间数据插入时间值，以使所述不满足差分距离的时间数据满足时序递增要求；
[0028]根据滑动平均插值法，对不满足差分距离的时间数据进行填充。
[0029]进一步地，所述基于配置id在各设定时间间隔中的数据与标签，训练向量自回归模型，以获取每一配置id在预测时间的向量自回归模型异常分数，包括：
[0030]基于所述配置id在设定时间间隔t中的数据与标签训练向量自回归模型，得到该配置id在设定时间间隔t+1的预测值；
[0031]根据所述配置id在设定时间间隔t+1中的预测值与标签，调整所述向量自回归模型的参数，并基于所述配置id在设定时间间隔t+1中的数据与标签训练向量自回归模型，得到该配置id在设定时间间隔t+2的预测值；
[0032]获取所述配置id在预测时间的预测值，并计算预测时间的残差值；
[0033]计算训练数据残差的均值与训练数据残差的标准差；
[0034]计算指标异常分数＝|(预测值
‑
真实值)
‑
训练数据残差的均值|/训练数据残差的标准差；
[0035]计算总体异常分数＝预测时间的残差值与训练数据残差均值的马尔科夫距离；
[0036]基于所述指标异常分数与所述总体异常分数，得到所述配置id在预测时间的向量自回归模型异常分数。
[0037]进一步地，所述基于配置id在各设定时间间隔中的数据与标签，训练LSTM
‑
AE模型，以获取每一配置id在预测时间的LSTM
‑
AE模型异常分数，包括：
[0038]对所述配置id在设定时间间隔t中的数据进行编码器的特征压缩；
[0039]对压缩后的特征数据进行解码器的特征重构，并所述配置id在设定时间间隔t中的标签，调整所述编码器与所述解码器的参数；
[0040]基于训练好的编码器，对所述配置id在预测时间中的数据进行特征压缩；
[0041]基于训练好的解码器，对预测时间中的压缩数据进行特征重构，以得到重构值；
[0042]将所述重构值作为所述配置id在预测时间的LSTM
‑
AE模型异常分数。
[0043]进一步地，所述基于各配置id在预测时间的异常分数，计算所述运维系统在预测时间的健康度，包括：
[0044]基于专家知识，将所述配置id分类为对于系统影响较大的配置id和对于系统影响较小的配置id；
[0045]分别设置对于系统影响较大的配置id和对于系统影响较小的配置id的权重；
[0046]基于各配置id在预测时间的异常分数、异常的日志统计量时间、日志统计量的总时间、异常的配置量时间、配置量总时间以及所述权重，得到所述运维系统在预测时间的健康度f(t)，其中t表示预测时间。
[0047]进一步地，所述健康度其中其中其中，J
1i
表示第i个配置不可用对系统影响小，表示配置不可用对系统影响大时的权重，J
2i
表示第i个配置不可用对系统影响大，Time
EL
表示异常的日志统计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能运维场景的健康度评价方法，其特征在于，所述方法包括：收集运维系统的日志数据和配置数据；对所述日志数据和所述配置数据进行预处理，以构建业务关键信息数据库；其中，所述业务关键信息数据库中的数据包括：时间、配置id、配置目标和配置量；基于配置id在各设定时间间隔中的数据与标签，分别训练向量自回归模型与LSTM
‑
AE模型，以获取每一配置id在预测时间的向量自回归模型异常分数和LSTM
‑
AE模型异常分数；其中，所述标签包括：异常情况和指标之间的关联影响；综合所述配置id在预测时间的向量自回归模型异常分数和LSTM
‑
AE模型异常分数，得到所述配置id在预测时间的异常分数；基于各配置id在预测时间的异常分数，计算所述运维系统在预测时间的健康度。2.如权利要求1所述的方法，其特征在于，所述对所述日志数据和所述配置数据进行预处理，，以构建业务关键信息数据库，包括：对所述日志数据和所述配置数据进行数据清洗；应用差分滑动平均方法，完成清洗后数据中时序数据的缺失值的填充，得到时序数据；对所述时序数据进行特征提取；所述特征包括：时间、配置id、配置目标和配置量；基于所述特征，构建业务关键信息数据库。3.如权利要求2所述的方法，其特征在于，所述应用差分滑动平均方法，完成清洗后数据中时序数据的缺失值的填充，得到时序数据之前，还包括：使用拉宾卡普方法，对配置进行分组。4.如权利要求2所述的方法，其特征在于，所述应用差分滑动平均方法，完成清洗后数据中时序数据的缺失值的填充，得到时序数据，包括：根据时间序列的时间列进行差分计算；对于不满足差分距离的时间数据插入时间值，以使所述不满足差分距离的时间数据满足时序递增要求；根据滑动平均插值法，对不满足差分距离的时间数据进行填充。5.如权利要求1所述的方法，其特征在于，所述基于配置id在各设定时间间隔中的数据与标签，训练向量自回归模型，以获取每一配置id在预测时间的向量自回归模型异常分数，包括：基于所述配置id在设定时间间隔t中的数据与标签训练向量自回归模型，得到该配置id在设定时间间隔t+1的预测值；根据所述配置id在设定时间间隔t+1中的预测值与标签，调整所述向量自回归模型的参数，并基于所述配置id在设定时间间隔t+1中的数据与标签训练向量自回归模型，得到该配置id在设定时间间隔t+2的预测值；获取所述配置id在预测时间的预测值，并计算预测时间的残差值；计算训练数据残差的均值与训练数据残差的标准差；计算指标异常分数＝|(预测值
‑
真实值)
‑
训练数据残差的均值|...

【专利技术属性】
技术研发人员：杨嵘，谢程利，刘洋，郭承禹，王磊，邬宏伟，王凤梅，蒋卓君，刘庆云，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：