一种告警误报检测方法、装置、设备及存储介质制造方法及图纸

技术编号:36692406 阅读:24 留言:0更新日期:2023-02-27 20:01
本申请公开了一种告警误报检测方法、装置、设备及存储介质,涉及机器学习技术领域,包括:利用基于当前感兴趣的特征维度确定的样本选取规则对历史告警日志进行处理;利用处理后得到的初始训练样本集对误报检测模型进行训练,并通过训练后得到的当前待优化训练模型对实时告警日志进行检测;根据当前日志检测结果对初始训练样本集进行更新,并基于更新后训练样本集对当前待优化训练模型进行模型训练,然后进行人工模型优化操作以得到当前待优化训练模型,重新跳转至通过当前待优化训练模型对实时告警日志进行检测的步骤。本申请通过结合人工核查和机器学习对误报检测模型进行增量训练以提升模型的泛化能力,进而实现降低误报并提升运行效率的效果。并提升运行效率的效果。并提升运行效率的效果。

【技术实现步骤摘要】
一种告警误报检测方法、装置、设备及存储介质


[0001]本专利技术涉及机器学习
,特别涉及一种告警误报检测方法、装置、设备及存储介质。

技术介绍

[0002]在安全领域异常检测场景下,由于大部分的检测方式是采取阈值、专家规则等方法,经常会发现存在告警数量过多的问题,告警数量过多导致的结果就是,分析人员无从下手去手动核查,导致真正的告警会被淹没在误报当中,从而极大的影响了威胁的真正定位和浪费了大量的人力来做告警的分析。如果不解决告警数量过多的问题,那么就无法发现真正的威胁,同时也会造成物质资源(平台系统等)和安全分析人力资源浪费,因此迫切需要解决安全告警数太多的问题。
[0003]当前的方法都是一个模型在自身基础上的迭代,训练集是固定的,输出的是一个固定的模型,较为固定的采取一些规则的方式对告警进行聚合,以减少告警出现的次数,但也仅仅是单纯的减少了告警的数量,由于实体较多,告警规则较多,那么依然会产生很多的告警,对于分析人员来说,还是无法逐一手动排查并核实每一个告警;另外,当前的方案并没有从告警是否为误报这个层面进行分析,无法正确的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种告警误报检测方法,其特征在于,包括:获取预设告警系统产生的历史告警日志,并利用预设人工标记规则以及基于当前感兴趣的特征维度确定的样本选取规则对所述历史告警日志进行处理以得到初始训练样本集;利用所述初始训练样本集基于预设模型训练规则对误报检测模型进行训练以得到当前待优化训练模型,并通过所述当前待优化训练模型对所述预设告警系统中产生的实时告警日志进行检测,得到相应的当前日志检测结果;根据所述当前日志检测结果对所述初始训练样本集进行更新得到更新后训练样本集,并基于第一迭代更新周期和所述更新后训练样本集对所述当前待优化训练模型进行模型训练以得到第一优化后训练模型;基于第二迭代更新周期对所述第一优化后训练模型进行人工模型优化操作以得到第二待优化训练模型,并将所述第二待优化训练模型作为当前待优化训练模型,重新跳转至所述通过所述当前待优化训练模型对所述预设告警系统中产生的实时告警日志进行检测的步骤。2.根据权利要求1所述的告警误报检测方法,其特征在于,所述获取预设告警系统产生的历史告警日志,并利用预设人工标记规则以及基于当前感兴趣的特征维度确定的样本选取规则对所述历史告警日志进行处理以得到初始训练样本集,包括:获取预设告警系统在第一预设时长期间产生的历史告警日志,并根据预设提取参数提取所述历史告警日志中相应参数的信息数据;对所述历史告警日志相应的所述信息数据进行汇总得到若干训练样本,并利用预设人工标记规则以及基于当前感兴趣的特征维度确定的样本选取规则对所述训练样本进行处理以得到初始训练样本集。3.根据权利要求1所述的告警误报检测方法,其特征在于,所述利用所述初始训练样本集基于预设模型训练规则对误报检测模型进行训练以得到当前待优化训练模型,包括:基于预设样本分配规则将所述初始训练样本集分为若干组训练集和相应的测试集,并利用若干种预设训练算法和所述若干组训练集对误报检测模型进行第一轮模型训练以得到若干种第一训练模型;利用所述若干种第一训练模型对相应的测试集进行检测得到相应的检测结果,并选择所述检测结果满足第一预设检测条件的第一预设数量个第一训练模型;对所述第一训练模型进行参数调优后利用所述若干组训练集进行第二轮模型训练以得到满足第二预设检测条件的所述当前待优化训练模型和所述当前待优化训练模型对应的优化模型参数。4.根据权利要求3所述的告警误报检测方法,其特征在于,所述根据所述当前日志检测结果对所述初始训练样本集进行更新得到更新后训练样本集,包括:获取对第二预设时长期间的历史告警日志检测得到的所述当前日志检测结果和相应的人工标记结果,并判断所述当前日志检测结果与相应的所述人工标记结果是否相同;所述第二预设时长是基于所述优化模型参数确定的;若是,则随机选取预设比例的所述历史告警日志并添加至所述初始训练样本集中以得到所述更新后训练样本集;若否,则基于所述人工标记结果将所述历史告警日志全部添加至所述初始训练样本集
中以得到所述更新后训练样本集。5.根据权利要求4所述的告警误报检测方法,其特征在...

【专利技术属性】
技术研发人员:丁雄何帅
申请(专利权)人:杭州安恒信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1