The invention belongs to the field of network security, in particular to a mass multi-source heterogeneous log association analysis method. Step 1: preprocess the original data, eliminating the error log, multi-source heterogeneous logs normalization, security events generate formatted information; step 2: event based on the contents of each field, generating a feature description vector of this event; step 3: the classification of different storage equipment produced by different events; step 4: device event similarity calculation and comparison, determine whether the same kind of event, will be different in the event of a similar incident 22 merger, and eliminate duplication events; step 5: for the same file in the log in the merger, to reduce the number of generated events; at the same time all kinds of statistical analysis results; step 6 in the support and confidence of the relationship of events; step 7: report generation events statistical analysis and correlation analysis results. Through the analysis of the above methods, the log analysis results are more abundant, comprehensive and easy to understand, which improves the guiding significance of network security management.
【技术实现步骤摘要】
本专利技术属于网络安全
，是。
技术介绍
随着信息技术的发展，各企事业单位、党政军各级机构为了其自身内部网络安全需要，安装部署了网络安全管理系统，用于集中管理内部网络设备和各业务系统产生的事件，监测整体网络的运营态势。网络安全管理系统的主要功能是收集内部网络产生的安全事件并进行分析。收集的事件包括如下内容:防火墙日志信息、入侵检测日志信息、病毒日志信息、漏洞扫描日志信息源、主机操作日志信息、业务系统的用户操作日志信息、入侵防御日志信息、VPN日志信息、数据库操作日志信息等。目前，设备类日志格式并无统一的规范，导致设备日志结构各巳内部网络设备和业务系统所产生的事件数量，随着安全管理系统的运营，会变得异常庞大，对这些日志的分析也变得困难。由于各类事件数量非常大，目前市面常用的分析方法主要基于统计的方法，但是该方法存在以下不足:>设备之间存在功能交叉，针对同一行为会被不同设备分别上报，容易产生误报。>统计功能相对单一，分析不深入。
技术实现思路
本专利技术就是为了解决上述问题，提出，引入数据挖掘算法，对数据进行预处理，剔除重复事件，对事件进行聚合后再对事件进行深入分析。本专利技术结合各类事件的特点，对事件进行分类、聚合、不同设备间同类日志合并等处理后，基于数据挖掘算法进行分析，具体执行流程如图1所示。本专利技术方法的具体步骤如下:步骤1:对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息；步骤2:基于事件各个字段的内容，生成一个描述本事件的特征向量；步骤3:将不同设备所产生的事件分类存储；步骤4:不同...
【技术保护点】
一种海量多源异构日志关联分析方法，其特征在于，包括如下步骤：步骤1：对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息；步骤2：基于事件各个字段的内容，生成一个描述本事件的特征向量；步骤3：将不同设备所产生的事件分类存储；步骤4：不同设备的事件进行相似度计算并比较，判断是否属于同一类事件，通过基于相似度公式进行距离计算实现，若距离小于阈值，阈值大于0.9，即认为同类事件；对于不同设备上报同类事件，需要判断是否为一件事，如果是一件事需要剔除，剔除原则：|t1?t2|
【技术特征摘要】
1.一种海量多源异构日志关联分析方法，其特征在于，包括如下步骤: 步骤1:对原始数据进行预处理，剔除错误日志，多源异构日志归一化，生成格式化的安全事件信息； 步骤2:基于事件各个字段的内容，生成一个描述本事件的特征向量； 步骤3:将不同设备所产生的事件分类存储； 步骤4:不同设备的事件进行相似度计算并比较，判断是否属于同一类事件，通过基于相似度公式进行距离计算实现，若距离小于阈值，阈值大于0.9，即认为同类事件； 对于不同设备上报同类事件，需要判断是否为一件事，如果是一件事需要剔除，剔除原则:|t1-ta |<win...
【专利技术属性】
技术研发人员：高景生，王润高，孙宇，孙宝贵，沈艳林，
申请(专利权)人：中国航天科工集团第二研究院七〇六所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。