数据处理的方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理的方法及装置，涉及防火墙技术领域，解决了大量攻击爆发时，警报日志丢失影响对网络攻击事件的分析以及对网络安全评估的问题。本发明专利技术的方法包括：获取预设时段内的原始警报日志，原始警报日志为记录对某一网络进行攻击的行为数据；将原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇；将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，攻击图是由多个初始警报簇构成的展示预设时段内网络攻击过程的连通图；分别将多个最终警报簇中包含的警报日志进行合并，得到新的警报日志，以将新的警报日志替换原始警报日志。本发明专利技术应用于警报日志处理的过程中。

【技术实现步骤摘要】
数据处理的方法及装置
本专利技术涉及防火墙
，尤其涉及一种数据处理的方法及装置。
技术介绍
在互联网时代，用户为了保护内部网络的安全，通常会在内部网络与外部网络之间使用防火墙为内部网络构造保护屏障来保护内部网络免受非法用户的攻击。当防火墙监控到非法攻击时，除进行防御攻击外，还会及时地进行报警告知用户，并生成警报日志存储在日志数据库中，以便于在攻击后对网络攻击事件进行分析以及对网络的安全进行评估。由于每一次的攻击都会进行报警，即使是连续相同的警报也会被重复生成警报日志记录在日志数据库中，因此日志数据数据库中保存有大量的警报日志。然而存储警报日志的空间是有限的，当大量的攻击爆发时，报警数量剧增，防火墙没有充足的空间来保存全部的警报日志，造成一些关键警报日志的丢弃。当攻击过后需要通过警报日志对网络攻击事件进行分析以及对网络的安全进行评估时，由于没有完整的警报日志，所以很难对发生的网络攻击事件进行全面准确的分析以及对网络安全进行正确的评估。
技术实现思路
鉴于上述问题，本专利技术提供一种数据处理的方法及装置，用以解决大量攻击爆发时，警报日志丢失影响对网络攻击事件的分析以及对网络安全评估的问题。为解决上述技术问题，第一方面，本专利技术提供了一种数据处理的方法，所述方法包括：获取预设时段内的原始警报日志，所述原始警报日志为记录对某一网络进行攻击的行为数据；将所述原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇；将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，所述攻击图是由多个初始警报簇构成的展示所述预设时段内网络攻击过程的连通图；分别将所述多个最终警报簇中包含的警报日志进行合并，得到新的警报日志，以将新的警报日志替换所述原始警报日志。可选的，在将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合之前，所述方法还包括：将所述多个初始警报簇按照预设关联规则进行关联分析，所述预设关联规则是依据警报类别以及警报之间的因果关系设置的；将具有关联关系的初始警报簇，以初始警报簇作为顶点，以因果关系作为边，生成所述攻击图，所述攻击图为有向无环连通图。可选的，所述将所述原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇，包括：将所有的原始警报日志的集合确定为树型结构的根节点；采用自顶向下的策略，按照原始警报日志的警报名称、源网间协议IP地址以及目的IP地址三个制约条件依次对原始警报日志进行分裂；将分裂后的树型结构中每个叶子节点确定为一个初始警报簇。可选的，将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，包括：选取只包含有一个原始警报日志的原始警报簇，确定为单条警报簇；判断由同一警报名称分裂得到的所有单条警报簇中是否存在位于同一攻击图中的单条警报簇；若存在，则将位于同一攻击图中的单条警报簇聚合；将聚合后的单条警报簇以及包含多个原始警报日志的原始警报簇确定为最终警报簇。可选的，所述方法还包括：当按照源IP地址进行分裂时，若分裂后的同一源IP地址对应的原始警报日志只有一条，则将分裂后的同一警报名称下的所有单条原始警报日志融合为一个新的节点；并且，以新的节点按照目的IP地址进行分裂；当按照源IP地址进行分裂时，若分裂后的同一源IP地址对应的原始警报日志包含多条原始警报日志，则将多条原始警报日志的集合直接作为节点按照目的IP地址进行分裂。可选的，将所述多个初始警报簇按照预设关联规则进行关联分析，包括：将所述多个初始警报簇输入到业务规则引擎中，使所述多个初始警报簇与预设关联规则进行匹配，所述业务规则引擎中定义了预设关联规则；若匹配成功，建立攻击片段，每个攻击片段中包含至少两个具有因果关系的初始警报簇；所述生成有向无环连通图，包括：将所有的攻击片段组成攻击场景集；获取所述攻击场景集中的初始警报簇作为所述攻击图的顶点；遍历所述攻击场景集，依次为所述顶点添加有向边后生成有向无环连通图。第二方面，本专利技术提供了一种数据处理的装置，所述装置包括：获取单元，用于获取预设时段内的原始警报日志，所述原始警报日志为记录对某一网络进行攻击的行为数据；第一聚合单元，用于将所述原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇；第二聚合单元，用于将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，所述攻击图是由多个初始警报簇构成的展示所述预设时段内网络攻击过程的连通图；合并单元，用于分别将所述多个最终警报簇中包含的警报日志进行合并，得到新的警报日志，以将新的警报日志替换所述原始警报日志。可选的，所述装置还包括：关联分析单元，用于在将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合之前，将所述多个初始警报簇按照预设关联规则进行关联分析，所述预设关联规则是依据警报类别以及警报之间的因果关系设置的；生成单元，用于将具有关联关系的初始警报簇，以初始警报簇作为顶点，以因果关系作为边，生成所述攻击图，所述攻击图为有向无环连通图。可选的，所述第一聚合单元，包括：第一确定模块，用于将所有的原始警报日志的集合确定为树型结构的根节点；分裂模块，用于采用自顶向下的策略，按照原始警报日志的警报名称、源网间协议IP地址以及目的IP地址三个制约条件依次对原始警报日志进行分裂；第二确定模块，用于将分裂后的树型结构中每个叶子节点确定为一个初始警报簇。可选的，第二聚合单元包括：选取模块，用于选取只包含有一个原始警报日志的原始警报簇，确定为单条警报簇；判断模块，用于判断由同一警报名称分裂得到的所有单条警报簇中是否存在位于同一攻击图中的单条警报簇；聚合模块，用于若存在，则将位于同一攻击图中的单条警报簇聚合；第三确定模块，用于将聚合后的单条警报簇以及包含多个原始警报日志的原始警报簇确定为最终警报簇。可选的，所述装置还包括：融合单元，用于当按照源IP地址进行分裂时，若分裂后的同一源IP地址对应的原始警报日志只有一条，则将分裂后的同一警报名称下的所有单条原始警报日志融合为一个新的节点；所述分裂模块，还用于以新的节点按照目的IP地址进行分裂；所述分裂模块，还用于当按照源IP地址进行分裂时，若分裂后的同一源IP地址对应的原始警报日志包含多条原始警报日志，则将多条原始警报日志的集合直接作为节点按照目的IP地址进行分裂。可选的，所述关联分析单元包括：输入模块，用于将所述多个初始警报簇输入到业务规则引擎中，使所述多个初始警报簇与预设关联规则进行匹配，所述业务规则引擎中定义了预设关联规则；建立模块，用于若匹配成功，建立攻击片段，每个攻击片段中包含至少两个具有因果关系的初始警报簇；所述生成单元，包括：组成模块，用于将所有的攻击片段组成攻击场景集；获取模块，用于获取所述攻击场景集中的初始警报簇作为所述攻击图的顶点；生成模块，用于遍历所述攻击场景集，依次为所述顶点添加有向边后生成有向无环连通图。借由上述技术方案，本专利技术提供的数据处理的方法及装置，将原始警报日志进行了两次分类聚合，然后将原始警报日志分为多个最终警报簇，最后将最终警报簇中的原始警报日志进行合并，这样将原始警报日志进行分类合并后，可以将原始警报日志中的重复的警报日志或者属于同类可以聚合的警报本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：获取预设时段内的原始警报日志，所述原始警报日志为记录对某一网络进行攻击的行为数据；将所述原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇；将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，所述攻击图是由多个初始警报簇构成的展示所述预设时段内网络攻击过程的连通图；分别将所述多个最终警报簇中包含的警报日志进行合并，得到新的警报日志，以将新的警报日志替换所述原始警报日志。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取预设时段内的原始警报日志，所述原始警报日志为记录对某一网络进行攻击的行为数据；将所述原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇；将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，所述攻击图是由多个初始警报簇构成的展示所述预设时段内网络攻击过程的连通图；分别将所述多个最终警报簇中包含的警报日志进行合并，得到新的警报日志，以将新的警报日志替换所述原始警报日志。2.根据权利要求1所述的方法，其特征在于，在将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合之前，所述方法还包括：将所述多个初始警报簇按照预设关联规则进行关联分析，所述预设关联规则是依据警报类别以及警报之间的因果关系设置的；将具有关联关系的初始警报簇，以初始警报簇作为顶点，以因果关系作为边，生成所述攻击图，所述攻击图为有向无环连通图。3.根据权利要求1所述的方法，其特征在于，所述将所述原始警报日志按照原始警报日志的核心属性进行第一次分类聚合，得到多个初始警报簇，包括：将所有的原始警报日志的集合确定为树型结构的根节点；采用自顶向下的策略，按照原始警报日志的警报名称、源网间协议IP地址以及目的IP地址三个制约条件依次对原始警报日志进行分裂；将分裂后的树型结构中每个叶子节点确定为一个初始警报簇。4.根据权利要求3所述的方法，其特征在于，将多个初始警报簇按照攻击图中的关联关系进行第二次分类聚合，得到多个最终警报簇，包括：选取只包含有一个原始警报日志的原始警报簇，确定为单条警报簇；判断由同一警报名称分裂得到的所有单条警报簇中是否存在位于同一攻击图中的单条警报簇；若存在，则将位于同一攻击图中的单条警报簇聚合；将聚合后的单条警报簇以及包含多个原始警报日志的原始警报簇确定为最终警报簇。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：当按照源IP地址进行分裂时，若分裂后的同一源IP地址对应的原始警报日志只有一条，则将分裂后的同一警报名称下的所有单条原始警报日志融合为一个新的节点；并且，以新的节点按照目的IP地址进行分裂；当按照源IP地址进行分裂时，若分裂后的同一源IP地址对应的原始警报日志包含多条原始警报日志，则将多条原始警报日志的集合直接作为节点按照目的IP地址进行分裂。6.根据权利要求2所述的方法，其特征在于，将所述多个初始警报簇按照预设关联...

【专利技术属性】
技术研发人员：刘芳宁，李拓，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21