一种日志记录合并方法和系统技术方案

本发明专利技术公开了一种日志记录合并方法和系统；方法包括：对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；建立类型参数和合并规则的对应关系；读取日志记录，并使用日志记录的类型参数所对应的合并规则对日志记录进行合并处理。系统包括：存储模块，用于保存合并规则、及日志记录的类型参数与合并规则的对应关系；合并模块，用于读取日志记录，并使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理。本发明专利技术能对日志记录进行合并，减少记录的数量，并且能够有针对性的进行合并，使合并后的日志比原始记录具有更强的分析价值。

【技术实现步骤摘要】

本专利技术涉及网络安全
，特别是涉及一种日志记录合并方法和系统。
技术介绍
网络上经常发生危害网络安全的事件，这些事件发生时，往往不是孤立 的，它是由若干次相关联的网络行为构成。这些网络行为在网络安全设备中 体现为日志记录。在现有的网络安全设备中，对日志记录的处理，通常是直 接显示日志记录，或者通过对原始日志记录进行分析，以此得出某种结i仑。网络安全设备在实际运行中，产生大量原始日志记录，以供查询显示和 后期分析。但是这些日志记录数据量很大，在未经处理直接存储的话，对数 据管理和数据分析都带来很大的压力，尤其在某些恶意代码爆发期间，所产 生的日志记录可能导致网络安全设备的效能降低，甚至无法设备继续工作。现有技术中提供了一种日志统计方法和系统，其方法是基于数据库实现的，首先将日志的统计维度保存到字典表中；然后定期按照统计维度，执行 统计操作，以生成中间结果；最后的统计使用中间结果进行统计，达到加速统计的效果。现有技术中还提供了 一种管理日志的方法及系统，该方法是一种加速查 询的日志管理方法。其方法为管理系统将具有同一关键字段的原始日志记 录映射成一条合并记录作为搜索数据源；在查询时，根据查询条件查找到所 述搜索数据源中与所述查询条件对应的合并记录，根据所述合并记录获取与 所述查询条件对应的原始日志记录。在以上两个专利中，均使用统计/合并后的中间结果来加速相应的操作， 但是这种统计/合并的操作是针对所有的日志，均采用相同的操作来完成，无法适应针对不同内容的日志，采用不同的合并方法。而且其统计/合并后 的中间结果只能用来加速统计或者查询，其本身并不能替代原始日志，无法解决大量数据的管理问题。
技术实现思路
针对以上不足，本专利技术要解决的技术问题是提供一种日志记录合并方法 和系统，该方法和系统能够在基本保存原始数据的有用信息的情况下，对曰 志数据进行合并，以减少日志的数据量。为了解决上述技术问题，本专利技术提供一种日志记录合并方法，包括a、 对日志记录中包含的参数进行分类，其中至少包括类型参数；所述 类型参数用于表示曰志中所记录的事件的类型；b、 建立类型参数和合并规则的对应关系；c、 读取日志记录，并使用日志记录的类型参数所对应的合并规则对曰志记录进行合并处理。进一步的，步骤a中，日志记录中包含的参数还包括地址信息参数；步骤b中，所述合并规则包括以下五种中的任一种或其任意组合平行型，合并参数包括类型参数和地址信息。聚合型，合并参数包括类型参数和目的地址信息。辐射型，合并参数包括类型参数和源地址信息。混合型，合并参数为类型参数和任一地址信息。独立型，日志记录独立成为一条合并记录；所述合并参数是指在合并时用于划分日志记录归类的参数。进一步的，不同的合并规则对应于不同的合并参数；所述合并参数是指 在合并时用于划分日志记录归类的参数；步骤c具体包括cl 、按时间顺序读取日志记录；c2、根据日志记录的类型参数确定其所对应的合并规则； c3、将日志记录合并到具备相同合并参数的合并记录里。 进一步的，步骤c3具体包括根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相 同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分 放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记 录作为一个新的合并记录并力文入合并队列。进一步的，步骤a中，日志记录中包含的参数还包括地址信息参数；步骤c3中还包括对于新的合并记录，在合并记录中增加下列参数中的一个或其任意组 合事件发生次数、源、目的IP/MAC地址的统计数，源、目的端口统计数、 合并记录的开始时间、结束时间、IP/MAC地址列表、端口列表；每合并一个日志记录，就将其所合并到的合并记录的事件发生次数 参数加一；当日志记录中合并参数之外的IP地址无法在IP地址列表中找到 时，将其添加到合并记录中的IP地址列表；当日志记录中合并参数之外的 端口无法在端口列表中找J到时，将其添加到合并记录中的端口列表。进一步的，步骤a中，日志记录中包含的参数还包括时间参数；步骤c中还包括，对合并记录进行时间判断，判断方法为以下两种中的 任一种第一种是将系统当前的时间和最近一次处理的日志记录的时间参数进 行比较，如果时间参数之差大于系统超时阀值，则认为原先所有的合并记录 均已完成，终结原先所有的合并记录参与以后的合并，保存后从合并队列中第二种将各合并记录中的最大时间参数和当前日志记录的时间参数进 行比较，如果有大于超时阀值的，说明本次按该合并规则合并的事件已结束， 终结此合并记录参与以后的合并，保存后从合并队列中删除。本专利技术还提供了一种日志记录合并系统，包括存储模块及合并模块； 所述存储模块用于保存合并规则、及日志记录的类型参数与合并规则的所述合并模块用于读取日志记录，并使用日志记录的类型参数所对应的 合并规则，对日志记录进行合并处理。进一步的，所述存储模块保存的合并规则包括以下五种中的任一种或其 任意组合 '平行型，合并参数包括类型参数和地址信息。聚合型，合并参数包括类型参数和目的地址信息。辐射型，合并参数包括类型参数和源地址信息。混合型，合并参数为类型参数和任一地址信息。独立型，日志记录独立成为一条合并记录；所述合并参数是指在合并时用于划分日志记录归类的参数。数；所述合并参数是指在合并时用于划分日志记录归类的参数；所述合并模块使用日志记录的类型参数所对应的合并规则，对日志记录 进行合并处理是指合并模块根据日志记录的类型参数确定其所对应的合并 规则，将日志记录合并到具备相同合并参数的合并记录里。进一步的，合并模块将日志记录合并到具备相同合并参数的合并记录里 是指合并模块根据合并规则，提取日志记录中的合并参数，在合并队列中查 找具备相同合并参数的合并记录，然后将该日志记录中合并参数部分删去， 其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将 该曰志记录作为一个新的合并记录并》文入合并队列；所述存储模块还包括用于保存合并队列的緩存。进一步的，所述合并模块还用于在新的合并记录中增加下列参数中的一 个或其任意组合事件发生的次数、源、目的IP/MAC地址的统计数、源、目的端口统计数、合并记录的开始时间、结束时间、端口列表、IP/MAC地 址列表；还用于在每合并一个日志记录时，将所合并到的合并记录的事件 发生次数参数加一；还用于当日志记录中合并参数之外的IP/MAC地址无 法在IP/MAC地址列表中找到时，将其添加到合并记录中的IP/MAC地址列 表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加 到合并记录中的端口列表。进一步的，所述合并模块还用于对合并记录进行以下两种中任一种时间判断第一种是合并模块将当前日志记录的时间参数和上一次处理的日志记 录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则终结原先 所有的合并记录参与以后的合并，从合并队列中删除；第二种是合并模块将合并记录中的最大时间参数和当前日志记录的时 间参数进行比较，如果大于超时阀值，则终结此合并记录参与以后的合并， 从合并队列中删除；所述存储模块还用于保存超时阈值或系统超时阈值并存储进所述存储模块。本专利技术在基本上不损失日志记录的有用信息的情况下，对日志记录进行 合本文档来自技高网...

【技术保护点】
一种日志记录合并方法，其特征在于，包括：　ａ、对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；　ｂ、建立类型参数和合并规则的对应关系；　ｃ、读取日志记录，并使用日志记录的 类型参数所对应的合并规则对日志记录进行合并处理。

【技术特征摘要】
1、一种日志记录合并方法，其特征在于，包括a、对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；b、建立类型参数和合并规则的对应关系；c、读取日志记录，并使用日志记录的类型参数所对应的合并规则对日志记录进行合并处理。2、 如权利要求1所述的日志记录合并方法，其特征在于步骤a中， 曰志记录中包含的参数还包括地址信息参数；步骤b中，所述合并规则包括以下五种中的任一种或其任意组合平行型，合并参数包括类型参数和地址信息。聚合型，合并参数包括类型参数和目的地址信息。辐射型，合并参数包括类型参数和源地址信息。混合型，合并参数为类型参数和任一地址信息。独立型，日志记录独立成为一条合并记录；所述合并参数是指在合并时用于划分日志记录归类的参数。3、 如权利要求1所述的日志记录合并方法，其特征在于，不同的合并 规则对应于不同的合并参数；所述合并参数是指在合并时用于划分日志记录 归类的参数；步骤c具体包括c 1 、按时间顺序读取日志记录；c2、根据日志记录的类型参数确定其所对应的合并规则； c3、将日志记录合并到具备相同合并参数的合并记录里。4、 如权利要求3所述的日志记录合并方法，其特征在于，步骤c3具体 包括根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相 同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记 录作为一个新的合并记录并放入合并队列。5、 如权利要求4所述的日志记录合并方法，其特征在于步骤a中， 曰志记录中包含的参数还包括地址信息参数；步骤c3中还包括对于新的合并记录，在合并记录中增加下列参数中的一个或其任意组 合事件发生次数、源、目的IP/MAC地址的统计数，源、目的端口统计数、 合并记录的开始时间、结束时间、IP/MAC地址列表、端口列表；每合并一个日志记录，就将其所合并到的合并记录的事件发生次数 参数加一；当日志记录中合并参数之外的IP地址无法在IP地址列表中找到 时，将其添加 >到合并记录中的IP地址列表；当日志记录中合并参数之外的 端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。6、 如权利要求3所述的日志记录合并方法，其特征在于，步骤a中， 日志记录中包含的参数还包括时间参数；步骤c中还包括，对合并记录进行时间判断，判断方法为以下两种中的 任一种第一种是将系统当前的时间和最近一次处理的日志记录的时间参数进 行比较，如果时间参数之差大于系统超时阀值，则认为原先所有的合并记录 均已完成，终结原先所有的合并记录参与以后的合并，保存后从合并队列中第二种将各合并记录中的最大时间参数和当前日志记录的时间参数进 行比较，如果有大于超时阀值的，说明本次按该合并规则合并的事件已结束， 终结此...

【专利技术属性】
技术研发人员：邱勇良，
申请(专利权)人：北京安天电子设备有限公司，
类型：发明
国别省市：11[中国|北京]