一种基于机器学习的IPS日志去重合并方法技术

本申请提供一种基于机器学习的IPS日志去重合并方法，包括以下步骤：A、数据收集与准备；B、数据特征处理；C、数据集划分；D、选择分类模型；E、模型训练；F、模型评估；G、模型测试与部署；H、日志去重和合并；I、模型优化，本发明专利技术采用的IPS日志去重合并方法通过机器学习技术拟合模型，能通过不断迭代优化准确率；能大量减少人工对日志的去重合并工作，降低了人工成本；本发明专利技术通过真实攻击收集的数据有更好的泛用性，同时该数据后期也可以用于其他项目的研究应用；本发明专利技术的模型具有多重标签，可以按要求更改合并去重的条件，提高了日志的去重合并效率。

【技术实现步骤摘要】

本申请涉及ips日志去重合，尤其涉及一种基于机器学习的ips日志去重合并方法。

技术介绍

1、随着信息化水平的提高，为了更好的防范网络攻击，中国农业银行引入了许多网络安全设备。这些设备中ips产生的告警日志数量较多，每月进行分析的时候工作量较大。观察发现同一攻击者发起的同类型攻击会产生大量的日志，原因主要为攻击目的ip不同(扫描遍历)、攻击路径不同(目录遍历)、攻击时间不同(重放攻击)、攻击源ip不同(秒拨ip)等原因导致。如果能将这些同类型的攻击告警合并起来，更便于管理员对该类攻击开展研究分析，也能形成更清晰的攻击者画像，因此，有必要设计一种基于机器学习的ips日志去重合并方法。

技术实现思路

1、本申请提供一种基于机器学习的ips日志去重合并方法，以解决现有技术分析工作量较大的问题，实现了通过机器学习技术拟合模型，能通过不断迭代优化准确率；能大量减少人工对日志的去重合并工作。

2、本申请提供一种基于机器学习的ips日志去重合并方法，包括以下步骤：

3、a、数据收集与准备；

<本文档来自技高网...

【技术保护点】

1.一种基于机器学习的IPS日志去重合并方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于机器学习的IPS日志去重合并方法，其特征在于，所述步骤A具体包括如下步骤：

3.根据权利要求1所述的一种基于机器学习的IPS日志去重合并方法，其特征在于，所述步骤B具体包括如下步骤：

4.根据权利要求1所述的一种基于机器学习的IPS日志去重合并方法，其特征在于，所述步骤C中数据集划分具体流程如下：

5.根据权利要求1所述的一种基于机器学习的IPS日志去重合并方法，其特征在于，所述步骤D中分类模型包括机器学习模型和深度学习模型，其中，机器...

【技术特征摘要】

1.一种基于机器学习的ips日志去重合并方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于机器学习的ips日志去重合并方法，其特征在于，所述步骤a具体包括如下步骤：

3.根据权利要求1所述的一种基于机器学习的ips日志去重合并方法，其特征在于，所述步骤b具体包括如下步骤：

4.根据权利要求1所述的一种基于机器学习的ips日志去重合并方法，其特征在于，所述步骤c中数据集划分具体流程如下：

5.根据权利要求1所述的一种基于机器学习的ips日志去重合并方法，其特征在于，所述步骤d中分类模型包括机器学习模型和深度学习模型，其中，机器学习模型选择支持向量机、随机森林、梯度提升决策树、xgboost、lightgbm集成学习模型或神经网络模型。

6.根据权利要求1所述的一种基于机器学习的ips日志去重合并方法，其特征在于，所述步骤e...

【专利技术属性】
技术研发人员：张泽阳，
申请(专利权)人：中国农业银行股份有限公司云南省分行，
类型：发明
国别省市：