日志流的处理方法、系统、终端设备及存储介质技术方案

本发明专利技术公开了一种日志流的处理方法、系统、终端设备及存储介质。该方法包括：监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。本发明专利技术在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失。使日志数据不易丢失。使日志数据不易丢失。

【技术实现步骤摘要】
日志流的处理方法、系统、终端设备及存储介质


[0001]本专利技术涉及流量监测
，尤其涉及一种日志流的处理方法、系统、终端设备及存储介质。

技术介绍

[0002]随着网络技术的发展，数据流量变得越来越庞大，流经防火墙等设备的流量也成几何倍数增长，造成防火墙的流量数据过大，日志过多，严重影响防火墙的正常运行。目前大都使用限速的方式对日志流量进行控制，当日志流量过大时，无差别丢弃过载日志，导致关键信息丢失。

技术实现思路

[0003]本专利技术实施例的主要目的在于提供一种日志流的处理方法、系统、终端设备及存储介质，在大流量日志场景下，提高了日志过滤的有效性，使日志数据不易丢失。
[0004]为实现上述目的，本专利技术实施例提供一种日志流的处理方法，所述日志流的处理方法包括：
[0005]监测日志流的流量速率；
[0006]基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；
[0007]通过所述日志流对应的归并算法对所述日志流的日志进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志流的处理方法，其特征在于，所述方法包括如下步骤：监测日志流的流量速率；基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法，其中，所述归并算法包括一档归并算法、二档归并算法；通过所述日志流对应的归并算法对所述日志流的日志进行归并。2.根据权利要求1所述的日志流的处理方法，其特征在于，所述速率判决阈值包括一档速率阈值、二档速率阈值，所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤包括：当所述流量速率高于所述一档速率阈值，低于所述二档速率阈值时，确定所述日志流对应的归并算法为所述一档归并算法；当所述流量速率高于所述二档速率阈值时，确定所述日志流对应的归并算法为所述二档归并算法。3.根据权利要求2所述的日志流的处理方法，其特征在于，若确定所述日志流对应的归并算法为所述一档归并算法，则所述通过所述日志流对应的归并算法对所述日志流的日志进行归并的步骤包括：对所述日志流的日志进行三元组归并；检测所述日志流三元组归并后的速率回差，得到第一速率回差；若所述第一速率回差低于一档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并；或对所述日志流的日志不进行归并。4.根据权利要求2
‑
3中任一项所述的日志流的处理方法，其特征在于，若确定所述日志流对应的归并算法为所述二档归并算法，则所述通过所述日志流对应的归并算法对所述日志流的日志进行归并的步骤包括：对所述日志流的日志进行一元组归并；检测所述日志流一元组归并后的速率回差，得到第二速率回差；若所述第二速率回差低于二档速率回差，则返回执行步骤：对所述日志流的日志进行一元组归并；若所述第二速率回差高于所述二档速率回差，则返回执行步骤：对所述日志流的日志进行三元组归并。5.根据权利要求1所述的日志流的处理方法，其特征在于，所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并算法的步骤之前包括：根据所述日志流对应的设备的性能设置所述速率判决阈值；所述基于所述流量速率、速率判决阈值，确定所述日志流对应的归并...

【专利技术属性】
技术研发人员：胡德志，郝永哲，
申请(专利权)人：深圳融安网络科技有限公司，
类型：发明
国别省市：