【技术实现步骤摘要】
本专利技术涉及日志处理领域，尤其涉及一种基于机器学习的告警日志聚合优化系统。
技术介绍
1、随着信息时代的发展，大量的日志数据会通过实时监控，分析后的数据入库到项目的系统中并进行统计分析。而为了便于网络工程师、安全专家、运维人员高效和快速的根据时间范围做出分析并定位当前环境下的问题，日志聚合就相当有必要了，因为不可能要求人工单纯对上亿的数据明显是不现实的。
2、告警日志聚合作为通用一种提高效率和降低噪音的管理策略。以下是告警日志聚聚合的一些背景现状：
3、1.日志聚合数量激增：随着it系统的规模和复杂性不断增加，监控系统产生的日志数量也越来越多。大量的重复、冗余和无关紧要的日志给运维人员带来了巨大的压力，因此日志聚合成为了必要的手段。
4、2.需要准确的上下文信息：仅通过单个日志往往难以获得问题的全貌和上下文信息。日志聚合能够将相关的日志进行整合，提供更准确的上下文信息，帮助运维团队更好地理解和分析问题。
5、3.提高故障处理效率：日志聚合可以帮助运维团队更快速、准确地定位和处理故障。通过聚合和过滤日志，运维人员可以更有针对性地解决问题，避免在海量的日志中迷失。
6、日志聚合作为一种应对日志泛滥和提高运维效率的策略，正在得到广泛的应用和关注。且为了应对越来越复杂的场景，简单的日志例如模糊匹配、精确匹配已经越来越不能满足需求(例如某个日志的多个属性，转换成对应数值后实际存在一种互相聚集的特征，如某个相近范围的ip,例11.10.21.x在特定的端口范围内88-91流量在1
7、现有技术一般存在以下缺陷：
8、1、在当前告警聚合的项目中，用户往往关注一定时间范围内的有着相似特征的数据，而这特征往往不是简单的聚合算法就能满足用户需求的，如某段时间某几个属性相同就聚合。
9、2、在告警聚合中，用户往往经常会修改自己关注的属性，如这段时间日志源ip、目的ip、日志类别、日志告警级别，过一段时间则是源ip、目的ip、事件类别，且他可能希望采用不同类型的机器学习模式(如：监督学习与非监督学习)，这就意味着在用户高度可自定义的情况下，提前机器训练好的模型就失效了，原模型不能复用。
10、3、基于上一点，告警聚合通常希望能在更改条件后快速的观察到更改后的结果，而大规模数据机器学习创建模型往往较慢，无法满足需求。
技术实现思路
1、为了解决上述问题，本专利技术提出一种基于机器学习的告警日志聚合优化系统，不仅能合理的将机器学习运用到日志告警聚合的案例中，还能用户在高度可自定义规则的情况下，解决临时训练模型的延时问题。
2、其中系统包括：
3、日志处理模块、机器学习模块、用户交互模块、任务管理模块和告警聚合模块；
4、所述机器学习模块，用于根据本地输入日志及用户设置的告警聚合字段进行机器学习训练，得到训练好的机器学习模型表；
5、所述任务管理模块，用于在特定情况启动所述机器学习模块；
6、所述日志处理模块，用于读取训练好的机器学习模型表和日志文件，并启用训练好的机器学习模型表中当前启用的模型，对日志文件进行打标处理，并将打标处理后的日志存入数据库；
7、所述告警聚合模块，根据设定的聚合范围聚合日志文件，生成告警；
8、所述用户交互模块，用于操作、修改告警规则、字段，查看告警数据。
9、本专利技术提供的有益效果是：可根据自己需求，任意指定关注字段让机器学习程序来辅助同一类日志的聚合，且能在非监督学习与监督学习间切换。安全日志和程序日志数据条数为20000条每秒的情况下，用户更新告警聚合字段且模式为非监督学习时，机器训练模型一分钟内生成完毕，并产生了新规则下生成的告警日志，且在之后的时间内聚合告警下的日志相似度逐渐上升，模型预测准确性变高。且在用户再次设置为先前使用的聚合字段后，用户感知到的机器学习的训练时间接近于0。
本文档来自技高网...【技术保护点】
1.一种基于机器学习的告警日志聚合优化系统，其特征在于：包括：
2.如权利要求1所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述机器学习模块工作的具体过程如下：
3.如权利要求1所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述任务管理模块工作的具体过程如下：
4.如权利要求3所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述热模型，具体指：通过用户交互模块设置的特别关心属性对应的机器学习模型。
5.如权利要求3所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述热模型的有效期为T日，T为预设值，在T日之后，热模型失效，不再在每日预设的时间点更新。
6.如权利要求3所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述告警聚合模块工作的具体过程如下：根据用户指定的时间范围，对具有相同标签的日志聚合出一条告警。
7.如权利要求1所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述机器学习训练，包括有监督学习和无监督学习。
【技术特征摘要】
1.一种基于机器学习的告警日志聚合优化系统，其特征在于：包括：
2.如权利要求1所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述机器学习模块工作的具体过程如下：
3.如权利要求1所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述任务管理模块工作的具体过程如下：
4.如权利要求3所述的一种基于机器学习的告警日志聚合优化系统，其特征在于：所述热模型，具体指：通过用户交互模块设置的特别关心属性对应的机器学习模型。
【专利技术属性】
技术研发人员：朱琪，梁忠辉，刘超，
申请(专利权)人：智网安云武汉信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。