一种日志处理的方法和装置制造方法及图纸

本申请提供一种日志处理的方法和装置。一种日志处理的方法，应用于日志存储服务器，包括：获取本地未压缩的日志；判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；若命中，则基于对应的处理策略对所述未压缩的日志进行处理。本申请相比于现有技术，可以减轻日志存储服务器的存储压力。

【技术实现步骤摘要】
一种日志处理的方法和装置
本申请涉及网络安全领域，特别涉及一种日志处理的方法和装置。
技术介绍
出于网络安全的考虑，需要对用户上网产生的一些网络日志(下文称为日志)进行存储，以便在发生网络安全事件后进行追查。根据《网络安全法》的规定，相关日志的留存时间不得少于六个月。在实际网络环境中，一般可以通过日志存储服务器对这些日志进行存储。由于日志实时产生，且数量大，会占据大量的存储空间，很容易导致日志存储服务器的存储空间不足。现有技术中，可以对日志进行压缩后再存储，以减少其对存储空间的占用量。然而，对于存储空间较小的日志存储服务器来说，当接收到大量的日志时，采用压缩的方式也难以存储六个月的日志。
技术实现思路
有鉴于此，本申请提供一种日志处理的方法和装置。具体地，本申请是通过如下技术方案实现的：一种日志处理的方法，应用于日志存储服务器，包括：获取本地未压缩的日志；判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；若命中，则基于对应的处理策略对所述未压缩的日志进行处理。一种日志处理的装置，应用于日志存储服务器，包括：获取单元，用于获取本地未压缩的日志；第一判断单元，用于判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；第二判断单元，用于若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；第一处理单元，用于若命中，则基于对应的处理策略对所述未压缩的日志进行处理。本申请所述日志处理的方法，获取本地未压缩的日志后，可以判断是否设置有日志存储规则，若是，则按照日志存储规则中的处理策略对所述未压缩的日志进行处理，使得有价值的日志被存储，而无价值的日志被删除，能够大大提升存储空间的利用率，避免了存储空间的资源浪费。附图说明图1是本申请一示例性实施例示出的一种日志处理的方法的应用场景示意图；图2是本申请一示例性实施例示出的一种日志处理的方法的流程示意图；图3是本申请一示例性示出的一种日志处理的装置的一结构示意图；图4是本申请一示例性实施例示出的一种日志日处理的装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。图1是本申请一示例性实施例示出的一种日志处理方法的应用场景示意图。请参考图1，图1中存在若干台被管理设备，这些被管理设备可以具有不同的功能。例如，一些被管理设备可以负责检测网络病毒、网络攻击，则这部分被管理设备会产生与访问行为相关的日志。再例如，一些被管理设备可以负责对用户上网行为进行审计，则这部分被管理设备会产生与审计结果相关的日志。这些被管理设备需要将各自生成的日志发送给日志存储服务器，由日志存储服务器对这些日志进行存储。由于日志的数量十分大，很容易导致日志存储服务器的存储空间不足。基于此，本申请提供了一种日志处理的方法，能够减轻日志存储服务器储存空间的压力。请参考图2，图2是本申请一示例性实施例示出的一种日志处理的方法的流程示意图。所述日志处理的方法可以应用于日志存储服务器，也可以应用于日志存储服务器集群。所述日志处理的方法可以包括以下步骤：步骤102，获取本地未压缩的日志。本申请中，日志存储服务器上存储的日志包括未压缩日志和已压缩日志，其中，已压缩日志为经过处理后长时期存储于本地的日志；未压缩日志为被管理设备发送的尚未处理的日志。本例中，可以在日志存储服务器上为所述已压缩日志和未压缩日志分配相同大小的存储空间；优选地，也可以在日志存储服务器上为所述已压缩日志和未压缩日志分配不同大小的存储空间，具体可根据实际情况进行设置，本申请对此不作特殊限制。本步骤中，需要获取本地未压缩的日志，以对所述未压缩的日志进行处理。在一个例子中，可以周期性地获取本地未压缩的日志，获取周期可以人为设置。例如，获取周期为5小时，则可以每隔5小时获取本地未压缩的日志。在另一个例子中，还可以在预设的时间点获取本地未压缩的日志。例如，预设的时间点可以是日志存储服务器业务量较小、服务器压力较小的时间点，比如每周二凌晨2:00、每周五凌晨2:00等等。当然，也可以其他方式获取本地未压缩的日志，本申请对此不作特殊限制。步骤104，判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系。本申请中，获取本地未压缩的日志后，需要对所述日志进行处理，以确定是否要长期存储所述日志。在一个例子中，若未设置有日志存储规则，则可以对接收到的日志进行压缩，并存储压缩后的日志。压缩的方法参照现有技术，本申请对此不作特殊限制。在另一个例子中，若设置有日志储存规则，则可以按照日志存储规则对所述未压缩的日志进行处理。下面对日志存储规则进行详细说明：日志存储规则包括了日志特征和处理策略之间的映射关系。优选地，日志特征可以为IP地址、IP网段。仍以图1所示应用场景为例，假设被管理设备负责对用户上网行为进行审计，则被管理设备会搜集用户上网产生的相关日志，这些日志中会携带用户所使用终端设备的IP地址。根据所述IP地址可以确定日志是由哪个用户上网产生的，则可以将日志存储规则中的日志特征设置为IP地址、IP网段。当然，在其他应用场景下，日志特征也可以为：端口号、指定字段等其他信息。日志存储规则中的处理策略可以为存储策略，也可以为删除策略，即对匹配上述日志特征的日志进行存储或删除。本申请中，可以将存储策略对应的日志存储规则称为白名单规则，将删除策略对应的日志存储规则称为黑名单规则。当然，处理策略也可以为：存储预设时长后再删除、发送给其他设备存储等其他形式，本申请对此不作特殊本文档来自技高网...

【技术保护点】
1.一种日志处理的方法，其特征在于，应用于日志存储服务器，所述方法包括：/n获取本地未压缩的日志；/n判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；/n若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；/n若命中，则基于对应的处理策略对所述未压缩的日志进行处理。/n

【技术特征摘要】
1.一种日志处理的方法，其特征在于，应用于日志存储服务器，所述方法包括：
获取本地未压缩的日志；
判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；
若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；
若命中，则基于对应的处理策略对所述未压缩的日志进行处理。


2.根据权利要求1所述方法，其特征在于，当所述日志存储规则中的处理策略均为存储策略时，所述基于对应的处理策略对所述未压缩的日志进行处理，包括：
对所述未压缩的日志进行压缩，并存储压缩后的日志；
所述方法还包括：
若所述未压缩的日志未命中所述日志存储规则，删除所述未压缩的日志。


3.根据权利要求1所述方法，其特征在于，当所述日志存储规则中的处理策略均为删除策略时，所述基于对应的处理策略对所述未压缩的日志进行处理，包括：
删除所述未压缩的日志；
所述方法还包括：
若所述未压缩的日志未命中所述日志存储规则，对所述日志进行压缩，并存储压缩后的日志。


4.根据权利要求1所述方法，其特征在于，所述方法还包括：
若未设置日志存储规则，则对所述未压缩的日志进行压缩，并存储压缩后的日志。


5.根据权利要求1所述方法，其特征在于，所述判断是否设置有日志存储规则，包括：
判断所述未压缩的日志在本地的存储时长是否达到预设的时长阈值；
在所述存储时长达到所述时长阈值的情况下，判断是否设置有日...

【专利技术属性】
技术研发人员：陈丽萍，葛奇维，
申请(专利权)人：杭州迪普科技股份有限公司，
类型：发明
国别省市：浙江;33