动态告警定级方法、装置、电子设备以及存储介质制造方法及图纸

本发明专利技术公开了一种动态告警定级方法、装置，电子设备以及计算机可读存储介质。上述方法包括以下步骤：使用告警的历史数据对排序模型进行训练，得到训练模型；以及使用所述训练模型对告警的在线数据进行排序，得到告警定级。本发明专利技术首创性的将动态告警定级问题建模成基于机器学习的排序问题，基于训练模型在线地、自适应地给出告警的严重性定级，定级准确性高，从而使得工程师能够根据告警定级优先处理严重告警，提高故障解决效率。

Dynamic alarm grading method, device, electronic equipment and storage medium

【技术实现步骤摘要】
动态告警定级方法、装置、电子设备以及存储介质
本申请涉及系统告警领域，尤其涉及一种动态告警定级方法、装置、电子设备以及计算机可读存储介质。
技术介绍
大型的在线服务系统由很多组件组成来支持大量的并发用户。为了保证服务质量和用户体验，需要从各个组件中收集各种监控数据，如指标，日志，调用链等，并手动设置多种告警规则，一旦监控数据违反了这些告警规则（例如CPU利用率超过80%，日志文件中出现fail关键字等）就会生成告警，并发送给工程师进行检查。如果告警比较严重，工程师会创建工单来进行排查和诊断。告警数据可以包含多个属性，例如告警时间、告警内容、告警类型、告警来源系统、告警来源机器、告警级别和告警关闭时间等。由于在线服务的复杂性和动态性，系统可能并发生成大量告警，超出工程师的处理能力。因此，实际中常采用手动方式定义定级规则，将告警分为不同优先级（例如P1-error，P2-warning，P3-info；CPU利用率超过90%是P1，超过70%是P2）。工程师主要关注最高级别的告警，即严重告警。然而即便如此，严重告警的触发量仍然很大。此外，手工定义和维护规则很难有统一标准切换非常消耗人力，基于规则的告警定级方法准确性不高，且无法适应系统的动态变化。
技术实现思路
为解决上述技术问题，本专利技术实施例提供一种准确的、自适应的告警定级算法，能够自动地对并发的大量告警进行严重性定级，优先把严重的告警推荐给工程师，从而有助于工程师快速发现潜在的故障，减少故障修复时间。本专利技术的一个方面在于，提供一种动态告警定级方法，所述方法包括以下步骤：使用告警的历史数据对排序模型进行训练，得到训练模型；以及使用所述训练模型对告警的在线数据进行排序，得到告警定级。可选的，所述历史数据包括工单、告警数据和指标数据；所述使用告警的历史数据对排序模型进行训练，得到训练模型的步骤包括：提取所述工单的标注；提取所述告警数据的告警特征，并提取所述指标数据的指标特征，将所述告警特征和指标特征组合得到特征向量；以及将所述标注和所述特征向量输入所述排序模型，对所述排序模型进行训练，得到所述训练模型。可选的，所述在线数据包括在线告警数据和在线指标数据；所述使用所述训练模型对告警的在线数据进行排序，得到告警定级的步骤包括：提取所述在线告警数据的告警特征，并提取所述在线指标数据的指标特征，将所述告警特征和所述指标特征组合得到在线特征向量；以及将所述在线特征向量输入所述训练模型，得到所述告警定级。可选的，所述告警特征包括以下特征中的至少一项：文本特征，文本熵，时序特征；其中，所述文本特征是采用基于学习的双词主题模型（BTM）获得的；所述文本熵是采用逆文档频率（IDF）计算得到的；所述时序特征包括告警的频率、周期、单位时间告警数量或告警间隔时间；所述指标特征是采用基于长短期记忆（LSTM）网络的多时间序列异常检测算法获得的。本专利技术的另一个方面在于，提供一种动态告警定级装置，所述装置包括：离线训练模块，用于使用告警的历史数据对排序模型进行训练，得到训练模型；以及在线排序模块，用于使用所述训练模型对告警的在线数据进行排序，得到告警定级。可选的，所述历史数据包括工单、告警数据和指标数据；所述离线训练模块包括：标注提取模块，用于提取所述工单的标注；特征向量提取模块，用于提取所述告警数据的告警特征，并提取所述指标数据的指标特征，将所述告警特征和指标特征组合得到特征向量；以及模型训练模块，用于将所述标注和所述特征向量输入所述排序模型，对所述排序模型进行训练，得到所述训练模型。可选的，所述在线数据包括在线告警数据和在线指标数据；所述在线排序模块包括：在线特征向量提取模块，用于提取所述在线告警数据的告警特征，并提取所述在线指标数据的指标特征，将所述告警特征和所述指标特征组合得到在线特征向量；以及定级模块，将所述在线特征向量输入所述训练模型，得到所述告警定级。可选的，所述告警特征包括以下特征中的至少一项：文本特征，文本熵，时序特征；其中，所述文本特征是采用基于学习的双词主题模型（BTM）获得的；所述文本熵是采用逆文档频率（IDF）计算得到的；所述时序特征包括告警的频率、周期、单位时间告警数量或告警间隔时间；所述指标特征是采用基于长短期记忆（LSTM）网络的多时间序列异常检测算法获得的。本专利技术的另一个方面在于，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器耦合连接的存储器；其中，所述存储器存储有计算机程序，所述计算机程序能够被所述至少一个处理器执行，以实现本专利技术所述的方法。本专利技术的另一个方面在于，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被执行时，能够实现本专利技术所述的方法。本专利技术利用历史数据中的工单和告警处置记录，自动给每条历史告警标注严重性分数，并且基于数据融合和特征融合的思想，从告警数据和指标数据中提取了一系列可解释的、有物理意义的特征来表征告警的严重性。本专利技术首创性的将动态告警定级问题建模成基于机器学习的排序问题，基于训练模型在线地、自适应地给出告警的严重性定级，定级准确性高，从而使得工程师能够根据告警定级优先处理严重告警，提高故障解决效率。附图说明图1是本专利技术实施例中动态告警定级方法的流程图；图2是本专利技术实施例中动态告警定级方法的流程图；图3是本专利技术实施例中动态告警定级方法的步骤S1的步骤流程图；图4是本专利技术实施例中动态告警定级方法的步骤S2的步骤流程图；图5a是本专利技术实施例中14个主题（Topic）对应的告警严重性分数（Severityscore）柱形图；图5b是本专利技术实施例中文本熵（Entropy）对应的告警严重性分数（Severityscore）折线图；图5c是本专利技术实施例中业务系统异常分数（MultivariateerrorofbusinessKPIs）和机器异常分数(MultivariateerrorofserverKPIs)对应的告警严重性分数（Severityscore）折线图；图6是本专利技术实施例中动态告警定级装置的结构图；图7是本专利技术实施例中离线训练模块的结构图；图8是本专利技术实施例中在线排序模块的结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的具体实施例进行详细的阐述。如图1所示，本专利技术的技术方案分为离线训练和在线排序两个阶段。在离线训练阶段，由于对于严重告警一般会创建工单，保存历史告警处理记录，因此可以根据历史数据中的工单来获取历史告警数据的严重性分数作为标注；基于数据融合和特征融合的思想，从历史数据的告警数据和指标数据中分别提取特征以获得特征向量，所述特征向量可以用来表征告警的异本文档来自技高网...

【技术保护点】
1.一种动态告警定级方法，其特征在于，所述方法包括以下步骤：/n使用告警的历史数据对排序模型进行训练，得到训练模型；以及/n使用所述训练模型对告警的在线数据进行排序，得到告警定级。/n

【技术特征摘要】
1.一种动态告警定级方法，其特征在于，所述方法包括以下步骤：
使用告警的历史数据对排序模型进行训练，得到训练模型；以及
使用所述训练模型对告警的在线数据进行排序，得到告警定级。


2.根据权利要求1所述的动态告警定级方法，其特征在于，
所述历史数据包括工单、告警数据和指标数据；
所述使用告警的历史数据对排序模型进行训练，得到训练模型的步骤包括：
提取所述工单的标注；
提取所述告警数据的告警特征，并提取所述指标数据的指标特征，将所述告警特征和指标特征组合得到特征向量；以及
将所述标注和所述特征向量输入所述排序模型，对所述排序模型进行训练，得到所述训练模型。


3.根据权利要求1所述的动态告警定级方法，其特征在于，
所述在线数据包括在线告警数据和在线指标数据；
所述使用所述训练模型对告警的在线数据进行排序，得到告警定级的步骤包括：
提取所述在线告警数据的告警特征，并提取所述在线指标数据的指标特征，将所述告警特征和所述指标特征组合得到在线特征向量；以及
将所述在线特征向量输入所述训练模型，得到所述告警定级。


4.根据权利要求2或3所述的动态告警定级方法，其特征在于，
所述告警特征包括以下特征中的至少一项：文本特征、文本熵、时序特征；其中，所述文本特征是采用基于学习的双词主题模型（BTM）获得的；所述文本熵是采用逆文档频率（IDF）计算得到的；所述时序特征包括告警的频率、周期、单位时间告警数量或告警间隔时间；
所述指标特征是采用基于长短期记忆（LSTM）网络的多时间序列异常检测算法获得的。


5.一种动态告警定级装置，其特征在于，所述装置包括：
离线训练模块，用于使用告警的历史数据对排序模型进行训练，得到训练模型；以及
在线排序模块，用于使用所述训练模型对告警的在线数据进行排序，得到告警定级。<...

【专利技术属性】
技术研发人员：赵能文，刘大鹏，隋楷心，张文池，
申请(专利权)人：北京必示科技有限公司，
类型：发明
国别省市：北京;11