数据处理系统中的警报管理技术方案

技术编号:37675748 阅读:14 留言:0更新日期:2023-05-26 04:40
提供了用于动态更新警报管理系统的几个方面,该警报管理系统使用主规则集来将数据处理系统中的警报与用于处理警报的自动机相匹配。一种方法包括使用包括由自动机成功处理的警报的训练数据集来训练机器学习模型以将警报与自动机相关联。然后应用机器学习模型将未匹配警报与自动机相关联,其中未匹配警报没有通过主规则集与自动机匹配。该方法还包括分析与未匹配警报的关联相关的机器学习模型的操作,以定义用于将未匹配警报与自动机匹配的新规则集,并输出新规则集用于审计新规则集中的每个规则。响应于审计的规则的批准,审计的规则被添加到主规则集中。则被添加到主规则集中。则被添加到主规则集中。

【技术实现步骤摘要】
【国外来华专利技术】数据处理系统中的警报管理

技术介绍

[0001]本专利技术总体上涉及数据处理系统中的警报管理,尤其涉及用于动态更新警报管理系统的方法和系统,所述警报管理系统将警报与用于处理警报的自动化过程相匹配。
[0002]当某些可检测的条件或其他事件发生时,在数据处理系统中生成警报,这对系统操作的整体管理很重要。在诸如计算机网络、数据中心、云计算系统和其他复杂IT基础设施的处理系统中,可能会生成大量这样的警报。这些警报包括对已发生事件的描述,必须进行适当的处理和处置,以缓解警报状况并维持可靠的系统运行。警报管理系统接收并处理警报,决定哪些可以由自动化流程(“自动机(automata)”)处理,哪些应该上报给系统工程师进行响应。自动机的使用允许警报管理系统每天管理数百万个警报。可以使用预定义的规则将警报与自动机相匹配,以基于警报描述来决定哪个(如果有的话)自动化工具适合于响应警报。
[0003]自动机通常在潜在敏感系统上以提升的权限运行。部署这些工具的规则集必须仔细构建,并且需要不断的人工检查和维护。随着处理系统的发展和基础设施的改变,警报也会随之改变。适应这种改变,同时确保自动机的有效和适当的使用提出了重大的挑战。

技术实现思路

[0004]本专利技术的一个方面提供了一种用于动态更新警报管理系统的计算机实现方法,该警报管理系统使用主规则集将数据处理系统中的警报与用于处理警报的自动化过程(“自动机”)相匹配。该方法包括使用训练数据集训练机器学习模型以将警报与自动机关联,该训练数据集包括由自动机成功处理的匹配警报。然后应用机器学习模型将未匹配警报与自动机关联,其中未匹配警报没有通过主规则集与自动机匹配。该方法还包括分析与未匹配警报的关联相关的机器学习模型的操作,以定义用于将未匹配警报与自动机匹配的新规则集。该方法还包括输出新规则集,用于审计新规则集中的每个规则。响应于审计的规则的批准,审计的规则被添加到主规则集中。
[0005]体现本专利技术的方法使警报管理系统能够在系统运行期间动态发展和改进。可以利用机器学习(ML)的能力来改善系统操作,同时克服ML模型的不可预测性与控制自动机部署的规则的透明度和审计需求之间的内在冲突。ML模型,在由匹配的自动机成功处理的警报上训练,不简单地用于将自动机分配给与主规则集不匹配警报。相反,这些警报会应用到模型中,并对这些特定警报的关联操作进行分析,以提取新规则集。然后,在将规则添加到主规则集之前,可以审计为不匹配警报派生的新规则集。这为警报管理系统的系统改进提供了优雅而强大的技术。随着处理系统的发展,系统可以不断适应以改进警报处理,扩展其自动响应能力并适应新警报。
[0006]体现本专利技术的方法可使用各种ML模型,甚至“黑盒”型模型,诸如神经网络,其不容易检查。在这些实施例中,分析模型操作的步骤可以使用独立于模型的解释技术来识别每个不匹配警报的一个或多个元素,这些元素对于获得该警报的关联结果是重要的。例如,ML模型通常为关联结果提供某种类型的置信值,该置信值估计关联准确度。例如,模型可以提
供一组概率,指示每个可能的关联结果或分类对于输入样本是正确的可能性。利用这些模型,分析模型操作的步骤可以包括,当应用模型来关联每个不匹配警报时,为初始关联结果计算初始置信度值,估计关联准确度。对于警报的不同元素(例如,特定字段或字符串),该元素然后被移除,并且该模型被重新应用于结果警报以计算初始关联结果的新置信度值。基于不同元素的初始置信度值和新置信度值之间的差异,警报的至少一个元素可以被识别为初始关联结果的重要元素。然后,新规则集的生成可以基于不匹配警报的重要元素。这提供了一种简单的规则提取技术,在选择ML模型时具有灵活性,甚至允许在需要时使用黑盒模型。
[0007]在优选实施例中,ML模型包括树集成模型。在这些实施例中,分析模型的操作的步骤可以包括基于通过树集成中的树的路径的特征,生成新树,定义新规则集,不匹配警报经由该路径与自动机关联。对不匹配警报的推理过程的分析可以利用树集成模型的结构来有效地生成新规则集。这些实施例可以利用模型的可检查性来获得比黑盒模型可实现的更复杂的规则集。规则集可以以各种方式生成,并且基于下面进一步详述的置信度和/或覆盖方面被有利地定制。
[0008]本专利技术的另一方面提供了一种计算机程序产品,包括包含程序指令的计算机可读存储介质,所述程序指令可由处理装置执行,以使处理装置实施如上所述的用于动态更新警报管理系统的方法。
[0009]本专利技术的另一方面提供了一种警报管理系统,其包括用于从数据处理系统接收警报的通信接口、存储用于处理警报的自动机和用于将警报与自动机匹配的主规则集的存储器,以及配置为实施上述方法的控制逻辑。
[0010]下文将参照附图,通过说明性和非限制性示例,对本专利技术的实施例进行更详细的描述。
附图说明
[0011]图1是根据本专利技术的实施例的用于实施警报管理系统方法的示例性计算设备的框图;
[0012]图2示出了根据本专利技术的实施例的警报管理系统的组件模块;
[0013]图3描绘了根据本专利技术的实施例的图2的警报管理系统的步骤流程图;
[0014]图4示出了根据本专利技术的实施例的警报管理系统中使用的树集成模型中的决策树的结构;
[0015]图5示出了根据本专利技术的实施例的分析过程的操作;
[0016]图6示出了根据本专利技术的实施例的替代分析过程的操作;和
[0017]图7指示了根据本专利技术的实施例的使用黑盒模型的分析过程的步骤。
具体实施方式
[0018]本专利技术可为系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质),用于使处理器执行本专利技术的各方面。
[0019]计算机可读存储介质可为有形设备,可保留和存储供指令执行设备使用的指令。
计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述设备的任何合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD

ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备,诸如穿孔卡或其上记录有指令的凹槽中的凸起结构,以及前述的任何合适的组合。如此处所使用的,计算机可读存储介质不应被解释为本身是瞬时信号,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,通过光纤电缆的光脉冲)、或通过导线传输的电信号。
[0020]本文所述的计算机可读程序指令可通过网络,例如互联网、局域网、广域网和/或无线网络,从计算机可读存储介质下载至相应计算/处理设备,或下载至外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于动态更新警报管理系统的计算机实现的方法,所述警报管理系统使用主规则集来将数据处理系统中的警报与用于处理所述警报的自动过程(“自动机”)相匹配,所述方法包括:由一个或多个处理器训练机器学习模型,以使用包括由所述自动机成功处理的匹配警报的训练数据集将所述警报与所述自动机相关联;由所述一个或多个处理器应用所述机器学习模型来将未匹配警报与所述自动机相关联,其中所述未匹配警报没有被所述主规则集匹配到所述自动机;由所述一个或多个处理器分析与不匹配警报的关联相关的机器学习模型的操作,以定义用于将所述不匹配警报与所述自动机匹配的新规则集;由所述一个或多个处理器输出所述新规则集,用于审计所述新规则集中的每个规则;以及响应于所述新规则集的审计的规则的批准,由所述一个或多个处理器将审计的规则添加到所述主规则集。2.根据权利要求1所述的计算机实现的方法,其中:所述机器学习模型包括树集成模型;并且分析所述机器学习模型的操作的步骤还包括:由所述一个或多个处理器基于通过所述树集成模型中的树的路径的特征生成新树,不匹配警报经由所述路径与自动机关联,其中所述新树定义所述新规则集。3.根据权利要求2所述的计算机实现的方法,还包括:由所述一个或多个处理器基于为每个路径计算的置信度值修剪所述路径,其中所述置信度值是关联准确度的估计;以及由所述一个或多个处理器基于未修剪路径的特征生成所述新树。4.根据权利要求2所述的计算机实现的方法,还包括:由所述一个或多个处理器基于经由相应路径与所述自动机关联的不匹配警报的数量来修剪路径;以及由所述一个或多个处理器基于未修剪路径的特征生成所述新树。5.根据权利要求2所述的计算机实现的方法,还包括:由所述一个或多个处理器基于为每个路径计算的置信度值和经由相应路径与所述自动机关联的不匹配警报的数量来修剪路径,其中所述置信度值是对关联准确度的估计;以及由所述一个或多个处理器基于未修剪路径的特征生成所述新树。6.根据权利要求2所述的计算机实现的方法,其中,分析所述机器学习模型的操作的步骤还包括:由所述一个或多个处理器基于显著性值从所述树集成模型的树中选择特征,每个显著性值指示用于将所述训练数据集中的警报与相应不匹配警报所关联的自动机之一关联的相关联特征的重要性;以及由所述一个或多个处理器基于所选择的特征生成所述新树。7.根据权利要求6所述的计算机实现的方法,还包括:由所述一个或多个处理器基于经由包括每个特征的路径与所述自动机关联的不匹配
警报的数量来修剪所选择的特征;以及由所述一个或多个处理器基于未修剪特征生成所述新树。8.根据权利要求6所述的计算机实现的方法,还包括:由所述一个或多个处理器基于为相应路径计算的置信度值来修剪所选择的特征,所述不匹配警报经由所述相应路径与所述自动机关联,并且所述相应路径包括所选择的特征中的相应所选择的特征,其中所述置信度值是对关联准确度的估计;以及由所述一个或多个处理器基于未修剪特征生成所述新树。9.根据权利要求6所述的计算机实现的方法,还包括:由所述一个或多个处理器基于经由包括每个特征的路径与所述自动机关联的不匹配警报的数量,并且基于为相应路径计算的置信度值,修剪所选择的特征,其中所述置信度值是对关联准确度的估计;以及由所述一个或多个处理器基于未修剪特征生成所述新树。10.根据权利要求1所述的计算机实现的方法,其中,分析所述机器学习模型的操作的步骤还包括:响应于应用所述机器学习模型来获得不匹配警报的关联结果,由所述一个或多个处理器使用模型独立解释技术来识别所述警报的至少一个元素作为所述关联结果的重要元素;以及由所述一个或多个处理器基于所述不匹配警报的至少一个元素生成所述新规则集。11.根据权利要求1所述的计算机实现的方法,其中,分析所述机器学习模型的操作的步骤还包括:当应用所述机器学习模型来关联每个不匹配警报时,由所述一个或多个处理器计算初始关联结果的初始置信度值,其中所述初始置信度值是关联准确度的估计;对于所述警报的不同元素,由所述一个或多个处理器移除所述元素,并将所述机器学习模型重新应用于所得警报,以计算所述初始关联结果的新置信度值;基于不同元素的初始置信度值和新置信度值之间的差异,由所述一个或多个处理器将所...

【专利技术属性】
技术研发人员:M
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1