一种海量日志关联分析方法及系统技术方案

本发明专利技术公开了一种海量日志关联分析方法和系统，实现了根据入侵检测设备产生的海量日志，评估当前网络安全状况，并描述当前最应关注的攻击情况。所述方法包括：获取入侵检测设备的日志，通过计算入侵检测设备日志源地址和目的地址的分布状况，判断是否存在大规模网络安全事件；根据源地址、目的地址、事件类型三个参数上对入侵检测设备日志进行归并，检测出并报告异常地址、热点事件；统计并通过图形展示热点事件在指定时间段内的传播过程；对上述输出结果进行关联，给出当前网络安全状况的综合评价。所述系统包括熵模块单元、三元组模块单元、热点事件传播展示模块单元、综合关联分析模块单元。

【技术实现步骤摘要】

本专利技术涉及信息安全领域，具体涉及一种海量日志关联分析方法及系统。
技术介绍
Internet的飞速发展，为信息的传播和利用带来了极大的方便，同时也使人类 社会面临着信息安全的巨大挑战。为了缓解日益严重的安全问题，入侵检测设备(IDS: Intrusion Detection System)得到了越来越广泛的部署。IDS安装在被保护的网段中，其 监听网卡工作在混杂模式下，分析网段中所有的数据包，进行网络安全事件的实时检测和 响应。目前IDS普遍采用误用检测技术，其检测方法为首先对标识特定的入侵行为模式进 行编码，建立误用模式库，然后对实际检测过程中得到的事件数据进行过滤，检查是否包含 入侵行为的标识。如果检测到入侵行为，则产生一条对应的日志，其中包含了入侵行为发起 方地址(源地址)、入侵行为目标地址(目的地址)、入侵行为描述(事件类型)等信息。 入侵检测设备的大量引入一方面保护了信息系统的安全，另一方面也带来了新的 问题，概况起来主要体现在以下两个方面 1.连续运行的入侵检测设备会产生海量的日志，而真正有价值的报警信息被淹没 在海量日志中。由于报警量大、不相关报警多，安全管理人员的大部分精力被耗费在处理无 用信息上，很难了解系统的安全威胁状况。 2.现有的入侵检测设备大都是基于单个数据包进行检测的，体现在表现形式上， 入侵检测设备的报警信息为孤立的入侵事件。这样当出现大规模网络异常行为时，很难从 报警信息中直观获取异常行为的特点，难以从整体上评估当前的网络安全状况。
技术实现思路
本专利技术的目的在于克服现有技术中的上述缺陷，实现对海量日志的自动分析，给 出对当前网络安全状况的评价，以提高安全管理的效率。 根据本专利技术的目的，本专利技术提供了一种海量日志关联分析方法，其特征在于，该方 法包括以下步骤 A.用于进行熵检测的步骤读取所述入侵检测设备日志，计算所述入侵检测设备 日志的源地址和目的地址的熵分布值，判断是否存在大规模的网络安全事件，并输出判断 结果； B.用于进行三元组检测的步骤读取所述入侵检测设备日志，根据源地址、目的 地址、事件类型三个参数，对所述入侵检测设备日志进行归并，检测并报告异常地址或热点 事件，并输出检测结果； C.用于进行热点事件传播展示的步骤读取所述入侵检测设备日志，统计并展示 热点事件在指定时间段内的传播过程，并输出统计结果； D.用于进行综合关联分析的步骤根据上述三个步骤输出的判断结果、检测结 果、统计结果进行关联分析，给出当前网络安全状况的评价。 根据该方法，所述步骤A中利用指数加权移动平均算法检测所述入侵检测设备日志的源地址和目的地址的熵分布值，还更进一步地进行地址分布异常判断，具体包括以下步骤 Al.学习阶段根据设定的学习周期，建立源地址熵值、目的地址熵值的基线，所述基线包括所述熵值的正常值和波动范围； A2.实时检测阶段根据学习阶段建立的源地址熵、目的地址熵的基线，判断当前源地址熵值、目的地址熵值是否正常，从而判断所述入侵检测设备日志的地址分布是否异常，并根据当前的地址熵值动态更新基线。根据该方法，所述步骤B对所述入侵检测设备日志进行归并后，检测并报告与源地址、目的地址、事件类型三个参数相关的事件集合。优选地，出现7种攻击情况 Bl.单一方式攻击源地址、目的地址、事件类型均相同的事件集合； B2.多种方式攻击源地址、目的地址相同，事件类型任意的事件集合； B3.查找攻击目标源地址、事件类型相同，目的地址任意的事件集合； B4.遭受同种攻击目的地址、事件类型相同，源地址任意的事件集合； B5.主要攻击来源源地址相同，目的地址、事件类型任意的事件集合； B6.濒危受害目标目的地址相同，源地址、事件类型任意的事件集合； B7.热点事件排名事件类型相同，源地址、目的地址任意的事件集合。 根据该方法，所述步骤C中还包括根据步骤B中检测出并报告的热点事件中获取当前热点事件，然后以分钟为单位，计算出指定时间段内发出过这些事件的源地址的数量。 根据该方法，所述步骤C中进行展示的方式为图形显示。 根据该方法，所述步骤D给出当前网络安全状况的评价的内容包括源IP地址分布状况、目的IP地址分布状况、当前最活跃的攻击情况、当前的热点事件以及热点事件在过去一个设定时间段的传播过程。 本专利技术还提供了一种海量日志关联分析系统，通过获取海量的入侵检测设备日志，对所述入侵检测设备日志进行关联分析，其特征在于，该系统包括熵模块单元、三元组模块单元、热点事件传播展示模块单元、综合关联分析模块单元；其中 所述熵模块单元读取所述入侵检测设备日志，计算源地址和目的地址的熵分布值，判断是否存在大规模网络安全事件，并将判断结果输出给所述综合关联分析模块单元； 所述三元组模块单元读取入侵检测设备的日志，根据源地址、目的地址、事件类型三个参数，对所述入侵检测设备日志进行归并，检测并报告异常地址或热点事件，并将检测结果输出给所述综合关联分析模块单元； 所述热点事件传播展示模块单元读取入侵检测设备的日志，统计并展示热点事件在指定时间段内的传播过程，并将统计结果输出给所述综合关联分析模块单元； 所述综合关联分析模块单元接收上述三个模块单元输出的判断结果、检测结果、统计结果，并对这些结果进行关联分析，给出当前网络安全状况的评价。 根据该系统，所述热点事件传播展示模块单元进行展示的方式为图形显示。 根据该系统，所述综合关联分析模块单元给出当前网络安全状况的评价的内容包括源IP地址分布状况、目的IP地址分布状况、当前最活跃的攻击情况、当前的热点事件以及热点事件在过去一个设定时间段的传播过程。 根据该系统，所述三元组模块单元将其检测结果同时输出到所述热点事件传播展 示模块单元，所述热点事件传播展示模块单元接收到所述检测结果之后，获得当前的热点事件在指定时间段内的传播过程。 本专利技术的海量日志关联分析方法和系统具有以下优点 1、通过计算入侵检测设备日志的源地址和目的地址的熵分布值，能够检测出引起地址分布异常的大规模网络安全事件，如网络扫描、分布式拒绝服务攻击等。 2、根据源地址、目的地址、事件类型三个参数进行归并，能够检测出多种攻击情况，能够在发生大规模网络安全事件时能够检测出攻击源、攻击目标和事件类型。 3、通过观测和展示热点事件的传播过程，便于网络管理员判断该热点事件的发展趋势，从而制定出合理的应对措施。 为了进一步说明本专利技术的原理及特性，以下结合附图和具体实施方式对本专利技术进 行详细说明。附图说明 图1是按照本专利技术一个实施方式的海量日志关联分析系统的结构示意图； 图2是按照本专利技术一个实施方式的检测地址熵分布值的示意流程图。具体实施例方式下面结合附图详细描述本专利技术的具体实施方式。 图1是按照本专利技术一个实施方式的海量日志关联分析系统的结构示意图。在按照 该实施方式的海量日志关联分析系统100中，包括熵模块单元101、三元组模块单元102、热 点事件传播展示模块单元103、综合关联分析模块单元104。 熵模块单元101用于读取一个指定时间段内的入侵检测设备日志，然后计算入侵检测设备日志的源地址和目的地址的熵分布值，判断是否存在大规模网络安全事件，然后向综合关联分析模块单元104输出当前网络安全事件地址分布状况的判断结果。 三本文档来自技高网...

【技术保护点】
一种海量日志关联分析方法，通过获取海量的入侵检测设备日志，对所述入侵检测设备日志进行关联分析，其特征在于，该方法包括以下步骤：Ａ．用于进行熵检测的步骤：读取所述入侵检测设备日志，计算所述入侵检测设备日志的源地址和目的地址的熵分布值，判断是否存在大规模的网络安全事件，并输出判断结果；Ｂ．用于进行三元组检测的步骤：读取所述入侵检测设备日志，根据源地址、目的地址、事件类型三个参数，对所述入侵检测设备日志进行归并，检测并报告异常地址或热点事件，并输出检测结果；Ｃ．用于进行热点事件传播展示的步骤：读取所述入侵检测设备日志，统计并展示热点事件在指定时间段内的传播过程，并输出统计结果；Ｄ．用于进行综合关联分析的步骤：根据上述三个步骤输出的判断结果、检测结果、统计结果进行关联分析，给出当前网络安全状况的评价。

【技术特征摘要】
一种海量日志关联分析方法，通过获取海量的入侵检测设备日志，对所述入侵检测设备日志进行关联分析，其特征在于，该方法包括以下步骤A.用于进行熵检测的步骤读取所述入侵检测设备日志，计算所述入侵检测设备日志的源地址和目的地址的熵分布值，判断是否存在大规模的网络安全事件，并输出判断结果；B.用于进行三元组检测的步骤读取所述入侵检测设备日志，根据源地址、目的地址、事件类型三个参数，对所述入侵检测设备日志进行归并，检测并报告异常地址或热点事件，并输出检测结果；C.用于进行热点事件传播展示的步骤读取所述入侵检测设备日志，统计并展示热点事件在指定时间段内的传播过程，并输出统计结果；D.用于进行综合关联分析的步骤根据上述三个步骤输出的判断结果、检测结果、统计结果进行关联分析，给出当前网络安全状况的评价。2. 根据权利要求1所述的一种海量日志关联分析方法，其特征在于，所述步骤A中利用指数加权移动平均算法检测所述入侵检测设备日志的源地址和目的地址的熵分布值，而且更进一步地进行地址分布异常判断，具体包括以下步骤Al.学习阶段根据设定的学习周期，建立源地址熵值、目的地址熵值的基线，所述基线包括所述源地址熵值、目的地址熵值的正常值和波动范围；A2.实时检测阶段根据学习阶段建立的源地址熵、目的地址熵的基线，判断当前的源地址熵值、目的地址熵值是否正常，从而判断所述入侵检测设备日志的地址分布是否异常，并根据当前的地址熵值动态更新基线。3. 根据权利要求1所述的一种海量日志关联分析方法，其特征在于，所述步骤B对所述入侵检测设备日志进行归并后，检测并报告与源地址、目的地址、事件类型三个参数相关的事件集合。4. 根据权利要求1所述的一种海量日志关联分析方法，其特征在于，所述步骤C中还包括根据步骤B中检测并报告的热点事件中获取当前热点事件，然后以分钟为单位，计算出指定时间段内发出过这些事件的源地址的数量。5. 根据权利要求1或4所述的一种海量日志关联分析方法，其特征在于，所述步骤C中...

【专利技术属性】
技术研发人员：周涛，吴恩平，郝春光，力立，林宝晶，
申请(专利权)人：北京启明星辰信息技术股份有限公司，北京启明星辰信息安全技术有限公司，上海市计算机病毒防范服务中心，
类型：发明
国别省市：11[中国|北京]