本发明专利技术提供了一种日志聚合方法及装置，该方法包括：根据网络设备生成的日志的种类，将所述日志中需要输出的字段内容封装在结构体中；获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据所述结构体的长度及字段内容在链表中进行查询；若判断获知链表的节点中已存储有与该日志的结构体的长度及字段内容均相同的结构体，则将该日志的重复次数加1；若判断获知该日志的重复次数大于或等于预设的重复阈值，则将该日志中需要输出的字段内容输出，并将该日志的重复次数清零。与现有技术相比本发明专利技术提供的日志聚合方法对日志的格式和类型没有限制，能够适用于各类日志，从而能够对日志进行更好的聚合，优化日志性能。
【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种日志聚合方法及装置，该方法包括：根据网络设备生成的日志的种类，将所述日志中需要输出的字段内容封装在结构体中；获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据所述结构体的长度及字段内容在链表中进行查询；若判断获知链表的节点中已存储有与该日志的结构体的长度及字段内容均相同的结构体，则将该日志的重复次数加1；若判断获知该日志的重复次数大于或等于预设的重复阈值，则将该日志中需要输出的字段内容输出，并将该日志的重复次数清零。与现有技术相比本专利技术提供的日志聚合方法对日志的格式和类型没有限制，能够适用于各类日志，从而能够对日志进行更好的聚合，优化日志性能。【专利说明】曰志聚合方法及装置
本专利技术属于计算机
，特别涉及一种日志聚合方法及装置。
技术介绍
网络设备、系统及服务程序等，在运作时都会产生一个叫Log的事件记录，这里的Log也即日志。每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。网络设备根据防护领域的不同记录的日志多种多样，有实时性较强的攻击日志，也有普通的流量探测和记录日志。普通的流量记录日志往往不具备实时性，但又不可缺少，例如会话日志。会话日志记录了网络安全设备处理的流量信息，主要包括五元组，出接口，入接口等信息。如果流量较大，记录的日志量也是巨大的，且这些日志中存在许多同样的日志。为了防止同样的日志重复输出，这种情况下，就出现了对重复日志进行聚合的日志聚合技术。现有的日志聚合技术，大多需要根据日志类型以及日志中的有效字段(比如IP地址等)进行hash key计算，从而对根据hash key的链表查询结果对在同一链表中日志进行摩人 口 ο然而，这种聚合方案只适合特定日志格式或类型，例如含有例如IP地址等字段的日志格式或类型，限制了能够聚合的日志的类型。且现有的日志聚合技术，在日志重复次数达到重复阈值时才将该日志输出，如果没有达到重复阈值，则可能出现日志延迟输出或者一直不输出的情况。
技术实现思路
本专利技术的目的是，提供一种适用于各类格式及类型的日志、且保证日志能够正常输出的日志聚合方法。为了达到上述目的，本专利技术提供了一种日志聚合方法及装置。第一方面，本专利技术提供了一种日志聚合方法，包括:根据网络设备生成的日志的种类，将所述日志中需要输出的字段内容封装在结构体中；获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据所述结构体的长度及字段内容在链表中进行查询；若判断获知链表的节点中已存储有与该日志的结构体的长度及字段内容均相同的结构体，则将该日志的重复次数加I;若判断获知该日志的重复次数大于或等于预设的重复阈值，则将该日志中需要输出的字段内容输出，并将该日志的重复次数清零。优选地，所述方法还包括:若判断获知链表的节点中没有存储与该日志的结构体的长度及字段内容均相同的结构体，则创建新节点，在所述新节点中存储该日志的结构体，并将所述新节点加入链表。优选地，所述方法还包括:若判断获知链表的节点当前时间节点与上一次输出字段内容的时间节点的间隔大于或等于预设的超时时间且当前节点的状态为空闲，则判断该节点存储的日志的重复次数；若判断获知所述日志的重复次数大于0，则将该节点存储的日志中需要输出的字段内容输出。优选地，所述方法还包括:若判断获知所述日志的重复次数等于0，则删除该节点。优选地，所述获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据所述结构体的长度及字段内容在链表中进行查询的步骤具体包括:获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容；计算所述结构体的长度以及字段内容的哈希关键词；根据所述哈希关键词在链表中进行查询。第二方面，本专利技术提供了一种日志聚合装置，包括:结构化模块，用于根据网络设备生成的日志的种类，将所述日志中需要输出的字段内容封装在结构体中；查询模块，用于获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据所述结构体的长度及字段内容在链表中进行查询；处理模块，用于若判断获知链表的节点中已存储有与该日志的结构体的长度及字段内容均相同的结构体，则将该日志的重复次数加I;所述处理模块，还用于若判断获知该日志的重复次数大于或等于预设的重复阈值，则将该日志中需要输出的字段内容输出，并将该日志的重复次数清零。优选地，其特征在于，所述处理模块，还用于若判断获知链表的节点中没有存储与该日志的结构体的长度及字段内容均相同的结构体，则创建新节点，在所述新节点中存储该日志的结构体，并将所述新节点加入链表。优选地，所述处理模块，还用于若判断获知链表的节点当前时间节点与上一次输出字段内容的时间节点的间隔大于或等于预设的超时时间且当前节点的状态为空闲，则判断该节点存储的日志的重复次数；所述处理模块，还用于若判断获知所述日志的重复次数大于0，则将该节点存储的日志中需要输出的字段内容输出。优选地，所述处理模块，还用于若判断获知所述日志的重复次数等于0，则删除该节点。优选地，所述查询模块还用于:获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容；计算所述结构体的长度以及字段内容的哈希关键词；根据所述哈希关键词在链表中进行查询。本专利技术提供的日志聚合方法中通过将日志封装为结构体，再利用结构体中的长度和内容在链表中查找重复日志，并在重复日志次数超过预设阈值时将日志输出，与现有技术相比对日志的格式和类型没有限制，能够适用于各类日志，从而能够对日志进行更好的聚合，优化日志性能。【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些示例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的日志聚合方法实施例流程图；图2是图1中步骤S102方法流程图；图3是本专利技术提供的日志聚合方法实施例流程图；图4是本专利技术提供的一种优选地日志聚合方法实施例流程图；图5是本专利技术提供的日志聚合装置实施例结构示意图。【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。第一方面，本专利技术提供了一种日志聚合方法实施例，如图1所示，包括:S101、根据网络设备生成的日志的种类，将日志中需要输出的字段内容封装在结构体中；S102、获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据结构体的长度及字段内容在链表中进行查询；S103、若判断获知链表的节点中已存储有与该日志的结构体的长度及字段内容均相同的结构体，则将该日志的重复次数加I;S104、若判断获知该日志的重复次数大于或等于预设的重复阈值，则将该日志中需要输出的字段内容输出，并将该日志的重复次数清零。本专利技术实施例提供的日志聚合方法中通过将日志封装为结构体，再利用结构体中的长度和内容在链表中查找重复日志，并在重复日志次数超过预设阈值时将日志输出，与现有技术相比对日志的格式和类型没本文档来自技高网...
【技术保护点】
一种日志聚合方法，其特征在于，包括：根据网络设备生成的日志的种类，将所述日志中需要输出的字段内容封装在结构体中；获取日志被封装之后的结构体的长度，以及封装在结构体内的字段内容，根据所述结构体的长度及字段内容在链表中进行查询；若判断获知链表的节点中已存储有与该日志的结构体的长度及字段内容均相同的结构体，则将该日志的重复次数加1；若判断获知该日志的重复次数大于或等于预设的重复阈值，则将该日志中需要输出的字段内容输出，并将该日志的重复次数清零。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘仙凤，
申请(专利权)人：汉柏科技有限公司，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。