基于规则与模型增强的运维告警规则生成方法和系统技术方案

本发明专利技术提供了一种基于规则与模型增强的运维告警规则生成方法和系统，包括：规则库建立步骤：获取告警检测数据和操作命令，得到操作结果和告警检测规则；规则模型化步骤：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；模型检测强化步骤：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；新规则辅助生成步骤：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。本发明专利技术使用业务经验规则初始化机器学习模型，无需接触真实数据，提高了数据安全性，降低了部署成本。降低了部署成本。降低了部署成本。

【技术实现步骤摘要】
基于规则与模型增强的运维告警规则生成方法和系统


[0001]本专利技术涉及数据处理、智能运维
，具体地，涉及一种基于规则与模型增强的运维告警规则生成方法和系统。

技术介绍

[0002]在IT运维中，各类告警监控系统发挥着巨大的作用，触发告警即异常检测的方法一般包含规则和模型两类。基于规则的方法的特点是易于理解、误报率极低，传统的专家知识库等都属于这类方法，这类方法缺点是泛化性较差，面对不断推陈出新的系统，规则显得更新不够及时，会有较多漏报，且编写规则对人力消耗较大。基于模型的方法一般将异常检测作为分类问题处理，通过标注样本训练检测模型，加入新的训练样例模型即可更新，基于模型的方法优点是准确性和泛化性均较好，缺点是数据标注成本高、存在一定的误报、主流深度学习模型可解释性较差等。目前，主流的两类异常检测方法均无法做到可解释性、泛化性、准确性、人力成本之间较好平衡。
[0003]专利文献CN112218126A(申请号：CN202011084443.5)公开了一种基于终端的内容推荐效果反馈方法、系统及设备，该专利需要通过每一个推荐终端收集每一次反馈作为优化依据，而本专利技术仅需要转化效果的抽样统计值；该专利需要保持推荐终端与推荐系统之间的联系以获取反馈数据，而本专利技术仅需要图形界面填写两个抽样统计值即可；该专利的推荐模型为规则模型，而本专利技术为基于规则模型拟合的机器学习模型，具备更好的泛化、平滑特性。
[0004]专利文献CN106897912A(申请号：CN201710034167.3)公开了一种基于epsilon反馈算法的推荐系统冷启动方法。该专利需要记录用户的每次反馈并用于后续的模型更新，而本专利技术仅需要使用采样后的转化率来进行模型更新；该专利使用用户的行为反馈来进行模型的初始化与冷启动，而本专利技术是使用业务经验规则来初始化模型。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于规则与模型增强的运维告警规则生成方法和系统。
[0006]根据本专利技术提供的基于规则与模型增强的运维告警规则生成方法，包括：
[0007]规则库建立步骤：获取告警检测数据和操作命令，得到操作结果和告警检测规则；
[0008]规则模型化步骤：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；
[0009]模型检测强化步骤：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；
[0010]新规则辅助生成步骤：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。
[0011]优选的，所述规则库建立步骤包括：
[0012]步骤1.1：通过API接口接收操作命令和告警检测数据；
[0013]步骤1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；
[0014]步骤1.3：返回操作命令是否执行成功的反馈值和相应结果。
[0015]优选的，所述规则模型化步骤包括：
[0016]步骤2.1：通过API接口访问规则库模块并获取告警检测规则；
[0017]步骤2.2：获取原始监测数据；
[0018]步骤2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；
[0019]步骤2.4：初始化深度神经网络分类模型，输入原始监测数据并进行训练，得出该原始监测数据是否触发告警的分类结果、告警检测模型和标注后的原始监测数据。
[0020]优选的，所述模型检测强化步骤包括：
[0021]步骤3.1：初始化深度神经网络生成模型，输入随机数字向量，输出与单条原始监测数据同格式的数据；
[0022]步骤3.2：将生成的数据与原始监测数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数，得到训练后的深度神经网络生成模型；
[0023]步骤3.3：通过训练后深度神经网络生成模型生成伪告警检测数据，将伪告警检测数据与标注后的原始监测数据混合，构成告警增强训练数据；
[0024]步骤3.4：使用告警增强训练数据训练告警检测模型，获得增强告警检测模型。
[0025]优选的，所述新规则辅助生成步骤包括：
[0026]步骤4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出模型判定告警数据；
[0027]步骤4.2：从规则库读取告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；
[0028]步骤4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据
‑
规则判定告警数据；
[0029]步骤4.4：对疑似告警数据中的所有特征进行独热编码；
[0030]步骤4.5：计算疑似告警数据编码后的中心R，采用公式：r是独热编码的疑似告警数据，n是数据的条目数，使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R'；
[0031]步骤4.6：计算疑似告警数据中所有数据的独立编码与R'的余弦相似度，将余弦相似度作为数据的权重，得到带权的疑似告警数据，将带权的疑似告警数据与标注后的原始监测数据混合，构成新规则训练数据；
[0032]步骤4.7：初始化Lasso线性回归模型，使用新规则训练数据训练该模型；
[0033]步骤4.8：在Lasso线性回归模型中，将权重大于0的特征取出作为候选告警正向因子，将权重小于0的特征取出作为候选告警负向因子，输出两类候选告警因子。
[0034]根据本专利技术提供的基于规则与模型增强的运维告警规则生成系统，包括：
[0035]规则库建立模块：获取告警检测数据和操作命令，得到操作结果和告警检测规则；
[0036]规则模型化模块：根据告警检测规则和原始监测数据，得到告警检测模型和标注
后的原始监测数据；
[0037]模型检测强化模块：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；
[0038]新规则辅助生成模块：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。
[0039]优选的，所述规则库建立模块包括：
[0040]模块M1.1：通过API接口接收操作命令和告警检测数据；
[0041]模块M1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；
[0042]模块M1.3：返回操作命令是否执行成功的反馈值和相应结果。
[0043]优选的，所述规则模型化模块包括：
[0044]模块M2.1：通过API接口访问规则库模块并获取告警检测规则；
[0045]模块M2.2：获取原始监测数据；
[0046]模块M2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；
[0047]模块M2.4：初始化深度神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于规则与模型增强的运维告警规则生成方法，其特征在于，包括：规则库建立步骤：获取告警检测数据和操作命令，得到操作结果和告警检测规则；规则模型化步骤：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；模型检测强化步骤：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；新规则辅助生成步骤：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。2.根据权利要求1所述的基于规则与模型增强的运维告警规则生成方法，其特征在于，所述规则库建立步骤包括：步骤1.1：通过API接口接收操作命令和告警检测数据；步骤1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；步骤1.3：返回操作命令是否执行成功的反馈值和相应结果。3.根据权利要求2所述的基于规则与模型增强的运维告警规则生成方法，其特征在于，所述规则模型化步骤包括：步骤2.1：通过API接口访问规则库模块并获取告警检测规则；步骤2.2：获取原始监测数据；步骤2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；步骤2.4：初始化深度神经网络分类模型，输入原始监测数据并进行训练，得出该原始监测数据是否触发告警的分类结果、告警检测模型和标注后的原始监测数据。4.根据权利要求3所述的基于规则与模型增强的运维告警规则生成方法，其特征在于，所述模型检测强化步骤包括：步骤3.1：初始化深度神经网络生成模型，输入随机数字向量，输出与单条原始监测数据同格式的数据；步骤3.2：将生成的数据与原始监测数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数，得到训练后的深度神经网络生成模型；步骤3.3：通过训练后深度神经网络生成模型生成伪告警检测数据，将伪告警检测数据与标注后的原始监测数据混合，构成告警增强训练数据；步骤3.4：使用告警增强训练数据训练告警检测模型，获得增强告警检测模型。5.根据权利要求4所述的基于规则与模型增强的运维告警规则生成方法，其特征在于，所述新规则辅助生成步骤包括：步骤4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出模型判定告警数据；步骤4.2：从规则库读取告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；步骤4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据
‑
规则判定告警数据；步骤4.4：对疑似告警数据中的所有特征进行独热编码；
步骤4.5：计算疑似告警数据编码后的中心R，采用公式：r是独热编码的疑似告警数据，n是数据的条目数，使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R'；步骤4.6：计算疑似告警数据中所有数据的独立编码与R'的余弦相似度，将余弦相似度作为数据的权重，得到带权的疑似告警数据，将带权的疑似告警数据与标注后的原始监测数据混合，构成新规则训练数据；步骤4.7：初始化Lasso线性回归模型，使用新规则训练数据训练该模型；步骤4.8：在Lasso线性回归模型中，将权重大于0的特征取出作为候选告警正向因子，将权重小于0的特征取出作为候选告警负向因子，输出两类候选告警因子。6.一种基于规则与模型增强...

【专利技术属性】
技术研发人员：支凤麟，蔡晓华，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：