一种流式的基于机器学习的攻击行为日志实时检测方法技术

本发明专利技术涉及一种流式的基于机器学习的攻击行为日志实时检测方法，包括日志收集模块、日志处理模块、模型离线训练模块、行为识别模块；所述日志收集模块将服务器的日志文件收集、存储，所述日志处理模块利用流式处理工具分析服务器的日志文件，所述行为识别模块利用模型离线训练模块训练的机器学习检测模型对攻击行为与正常行为进行比对识别。本发明专利技术的攻击行为日志实时检测方法基于日志实时收集+流式处理+机器学习的架构，可实现实时的计算分析，达到了日志分析的实时性，有利于更早的发现攻击行为。

A flow based real-time detection method for attack behavior log based on machine learning

【技术实现步骤摘要】
一种流式的基于机器学习的攻击行为日志实时检测方法
本专利技术涉及一种应用攻击行为检测方法，特别是涉及一种流式的基于机器学习的攻击行为日志实时检测方法。
技术介绍
每个web服务都会存在一些攻击行为，常见的owasptop10攻击，如sql注入、xss、代码执行、远程命令执行等，每一种攻击行为都有其特点。常见的攻击行为检测方法基于安全人员针对每一种攻击行为制定的大量检测规则，如果攻击者对攻击方式稍做变形，规则就很难匹配得到，很容易绕过检测。在面临未知的攻击方式时，这种检测方法一般也难以发挥关键作用，需要安全人员重新定制检测规则，不能保证实时性。由于每一个系统的访问请求都有一些自身的特征，而且开发人员的一些不规范的写法更是降低了检测的成功率，其单纯靠规则去匹配，误报率也会很高。
技术实现思路
本专利技术的目的是基于上述提出的常见攻击行为检测方法的缺陷，提出一种流式的基于机器学习的攻击行为实时检测方法，以避免上述的问题。本专利技术的目标是提供一个系统，通过训练好机器学习模型，使用流式处理工具对服务器的各类访问日志实时分析识别正常行为与异常行为，从而大幅提升攻击行为的检测成功率。为实现上述目的，本文档来自技高网...

【技术保护点】
一种流式的基于机器学习的攻击行为日志实时检测方法，其特征在于：包括日志收集模块，用于收集服务器的日志文件，并放到数据流中供日志处理模块使用；日志处理模块，用于从流式的数据流中读取数据，对日志文件实时分析；模型离线训练模块，用于提取历史日志特征，训练机器学习检测模型；行为识别模块，用于识别模型离线训练模块训练的机器学习检测模型收集的日志文件，并且识别攻击行为与正常行为；所述日志收集模块将服务器的日志文件收集、存储，所述日志处理模块利用流式处理工具分析服务器的日志文件，所述行为识别模块利用模型离线训练模块训练的机器学习检测模型对攻击行为与正常行为进行比对识别。

【技术特征摘要】
1.一种流式的基于机器学习的攻击行为日志实时检测方法，其特征在于：包括日志收集模块，用于收集服务器的日志文件，并放到数据流中供日志处理模块使用；日志处理模块，用于从流式的数据流中读取数据，对日志文件实时分析；模型离线训练模块，用于提取历史日志特征，训练机器学习检测模型；行为识别模块，用于识别模型离线训练模块训练的机器学习检测模型收集的日志文件，并且识别攻击行为与正常行为；所述日志收集模块将服务器的日志文件收集、存储，所述日志处理模块利用流式处理工具分析服务器的日志文件，所述行为识别模块利用模型离线训练模块训练的机器学习检测模型对攻击行为与正常行为进行比对识别。2.根据权利要求1所述的攻击行为日志实时检测方法，其特征在于：所述日志收集模块包括如下收集步骤：步骤201，通过程序实时监控、收集访问服务器的日志文件；步骤202，对日志文件进行处理传输，将日志文件以消息的形式传递给消息队列，通过消息队列把数据传输到所有所需位置并用于流式处理工具消费。3.根据权利要求1所述的攻击行为日志实时检测方法，其特征在于：所述日志处理模块包括如下处理步骤：步骤301，流式处理工具实...

【专利技术属性】
技术研发人员：黄建斌，汪龙宝，熊耀富，
申请(专利权)人：小花互联网金融服务深圳有限公司，
类型：发明
国别省市：广东,44