一种日志速率调整方法及装置制造方法及图纸

本申请提供了一种日志速率调整方法及装置。该方法为：获取相同日志类型的多台设备在当前采集周期内分别上报的日志的日志速率并计算日志总速率；若日志总速率大于所述日志类型的总速率阈值，则基于所述总速率阈值计算所述日志类型的阈值平均速率；针对每台设备，若该设备的日志速率小于所述阈值平均速率，则保持当前日志速率不变；并根据所述日志速率和所述阈值平均速率计算该设备的补偿偏差；若该设备的日志速率不小于所述阈值平均速率，则基于日志速率小于所述阈值平均速率的各台设备的补偿偏差，计算所述日志类型的总补偿偏差；根据所述总补偿偏差，调大该设备的日志速率。调大该设备的日志速率。调大该设备的日志速率。

【技术实现步骤摘要】
一种日志速率调整方法及装置


[0001]本申请涉及网络安全
，尤其涉及一种日志速率调整方法及装置。

技术介绍

[0002]随着大数据技术的快速发展，海量日志数据常被用于各类业务场景下的业务分析及展示。海量的日志数据分析模型主要由以下三部分组成：日志采集、异构日志归一化(日志解析)、业务分析。由于日志采集与异构日志归一化不涉及具体复杂业务分析，只聚焦于采集与归一化功能，因此它们的处理性能通常高于具体业务分析模块。虽然在借助缓存或者消息中间件技术的情况下可以缓解这种处理性能不对等的情况，但是在持续大数据量的情况下，业务分析仍然可能因处理性能跟不上导致整个平台处于不可用状态。针对这种情形，平台需做出自我保护机制，例如通常平台的保护机制是在数据量达到性能瓶颈时，对日志数据进行限速处理。
[0003]现有技术在对日志数据进行限速处理时，通常会忽略日志类型，采用日志类型的无差别随机丢弃方案，该丢弃方案在日志采集阶段实现，即，收集到原始数据不做任何信息处理，直接根据速率大小无差别随机丢弃，例如，计算上一个采集周期内日志的上报速率是否大于阈值，若大于阈值则在下一个采集周期内将超过该阈值部分的日志全部丢弃。该方法由于忽略了日志类型进行无差别随机丢弃，会导致存在以下问题：当上报不同日志类型数量分布不均匀时，例如类型A的数量<类型B的数量<<类型C的数量(<<表示远小于)，平台对于日志的关注程度为类型A的关注程度>类型B的关注程度>>类型C的关注程度(>>表示远大于)，则这种情况下类型C对应的日志可能被大量保留而更为重要的类型A和类型B分别对应的日志则被丢弃。
[0004]现有技术还采用了基于日志类型的全丢弃方案，实现过程如下：日志采集阶段进行全量日志采集，在日志归一化阶段时，将需要屏蔽的日志类型对应的所有日志全部丢弃，只留下对业务重要程度比较高的日志，例如采集到的日志全集C(c1、c2、c3)，设置需要屏蔽的日志类型为c1，则在归一化解析过程中，直接将属于c1类型的日志全部丢弃。这种方法，虽然丢弃了低相关性类型的日志，使得在后续业务分析时不再有任何c1类型的日志占用资源，但是当相关性比较高的日志速率超出平台承受范围时，依然会导致平台处于不可用状态；此外，若相关性高的日志上报速率远低于平台的承受能力时，甚至极端情况下无日志上报，则此时平台中需要处理的日志较少甚至无任何日志，从而导致平台的日志处理资源的浪费。
[0005]因此，如何进行日志处理，避免现有的日志处理方式所导致的重要信息的丢失或日志处理资源的浪费是值得考虑的技术问题之一。

技术实现思路

[0006]有鉴于此，本申请提供一种日志速率调整方法及装置，用以通过对各日志类型的日志速率进行调整处理，以按照调整后的日志速率对日志进行处理，解决现有的日志处理
方式所导致的重要信息的丢失或日志处理资源的浪费。
[0007]具体地，本申请是通过如下技术方案实现的：
[0008]根据本申请的第一方面，提供一种日志速率调整方法，包括：
[0009]获取相同日志类型的多台设备在当前采集周期内分别上报的日志的日志速率并计算日志总速率；
[0010]若日志总速率大于所述日志类型的总速率阈值，则基于所述总速率阈值计算所述日志类型的阈值平均速率；
[0011]针对每台设备，若该设备的日志速率小于所述阈值平均速率，则保持当前日志速率不变；并根据所述日志速率和所述阈值平均速率计算该设备的补偿偏差；
[0012]若该设备的日志速率不小于所述阈值平均速率，则基于日志速率小于所述阈值平均速率的各台设备的补偿偏差，计算所述日志类型的总补偿偏差；根据所述总补偿偏差，调大该设备的日志速率。
[0013]根据本申请的第二方面，提供一种日志速率调整装置，包括：
[0014]获取模块，用于获取相同日志类型的多台设备在当前采集周期内分别上报的日志的日志速率并计算日志总速率；
[0015]计算模块，用于若日志总速率大于所述日志类型的总速率阈值，则基于所述总速率阈值计算所述日志类型的阈值平均速率；
[0016]速率调整模块，用于针对每台设备，若该设备的日志速率小于所述阈值平均速率，则保持当前日志速率不变；并根据所述日志速率和所述阈值平均速率计算该设备的补偿偏差；
[0017]所述速率调整模块，还用于若该设备的日志速率不小于所述阈值平均速率，则基于日志速率小于所述阈值平均速率的各台设备的补偿偏差，计算所述日志类型的总补偿偏差；根据所述总补偿偏差，调大该设备的日志速率。
[0018]根据本申请的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的计算机程序，处理器被计算机程序促使执行本申请实施例第一方面所提供的方法。
[0019]根据本申请的第四方面，提供一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例第一方面所提供的方法。
[0020]本申请实施例的有益效果：
[0021]通过将日志总速率和总速率阈值进行比较，以及将各台设备的日志速率与阈值平均速率进行比较，实现了动态调整各日志类型下各台设备的日志速率，并按照调整后的日志速率处理日志，以达到精准的日志控制的目的，避免了粗放式日志处理方式所导致的重要信息的丢失等情况的发生。
附图说明
[0022]图1是本申请实施例提供的一种日志速率调整方法的流程示意图；
[0023]图2是本申请实施例提供的一种日志速率调整方法的应用场景示意图；
[0024]图3是本申请实施例提供的一种日志速率调整装置的结构示意图；
[0025]图4是本申请实施例提供的一种实施日志速率调整方法的电子设备的硬件结构示意图。
具体实施方式
[0026]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如本申请的一些方面相一致的装置和方法的例子。
[0027]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。
[0028]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志速率调整方法，其特征在于，包括：获取相同日志类型的多台设备在当前采集周期内分别上报的日志的日志速率并计算日志总速率；若日志总速率大于所述日志类型的总速率阈值，则基于所述总速率阈值计算所述日志类型的阈值平均速率；针对每台设备，若该设备的日志速率小于所述阈值平均速率，则保持当前日志速率不变；并根据所述日志速率和所述阈值平均速率计算该设备的补偿偏差；若该设备的日志速率不小于所述阈值平均速率，则基于日志速率小于所述阈值平均速率的各台设备的补偿偏差，计算所述日志类型的总补偿偏差；根据所述总补偿偏差，调大该设备的日志速率。2.根据权利要求1所述的方法，其特征在于，不同的日志类型对应的总速率阈值不同；所述方法，还包括：确定日志总速率小于总速率阈值的第一目标日志类型，并根据所述第一目标日志类型的日志总速率和总速率阈值，确认所述第一目标日志类型对应的总速率余量；确定日志总速率不小于总速率阈值的第二目标日志类型；根据所述总速率余量调整所述第二目标日志类型的总速率阈值。3.根据权利要求1所述的方法，其特征在于，根据所述总补偿速率，调大该设备的日志速率，包括：确定日志速率不小于阈值平均速率的各台设备的日志速率的和值；确定该设备的日志速率与所述和值的比值；确定所述比值与所述总补偿速率的乘积值；将所述日志类型的阈值平均速率与所述乘积值的和值确定为该设备调整后的日志速率。4.根据权利要求2所述的方法，其特征在于，根据所述总速率余量调整所述第二目标日志类型的总速率阈值，包括：确定日志总速率不小于总速率阈值的日志类型的数量；确定所述总速率余量与所述数量之间的比值；将第二目标日志类型对应的总速率阈值与所述比值之间的和值确定为所述第二目标日志类型调整后的总速率阈值。5.根据权利要求2所述的方法，其特征在于，根据所述总速率余量调整所述第二目标日志类型的总速率阈值，包括：确定第二目标日志类型分别对应的总速率阈值的比值；根据所述比值和所述总速率余量，调整所述第二目标日志类型的总速率阈值。6.根据权利要求1所述的方法，其特征在于，根据所述日志速率和所述阈值平均速率计算该设备的补偿偏差，包括：将所述阈值平均速率与所述日志速率的差值确定为该设备的补偿偏差。7.根据权利要求1所述的方法，其特征在于，基于日志速率小于所述阈值平均...

【专利技术属性】
技术研发人员：陶勇森，
申请(专利权)人：新华三信息安全技术有限公司，
类型：发明
国别省市：