基于自适应时间窗口的日志消息去重制造技术

本文描述了用于基于自适应时间窗口的日志消息去重的示例技术。在示例中，消息值是从接收到的日志消息获得的。进一步地，在时间窗口中接收到的具有消息值的日志消息的数目被计数。在时间窗口到期时，其中消息值被获得的日志消息和计数的数目被传输。其中日志消息的后续计数要被执行的时间窗口的长度是基于各种参数来确定的。种参数来确定的。种参数来确定的。

【技术实现步骤摘要】
基于自适应时间窗口的日志消息去重

技术介绍

[0001]日志消息可以由计算设备生成以提供关于计算设备的操作的信息，诸如计算设备的部件中的故障或计算设备中的扫描操作的结果。日志消息可以被传输给后端计算设备(也称为后端设备)以进行处理并采取补救行为。
附图说明
[0002]以下详细描述参考附图，其中：
[0003]图1示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的系统。
[0004]图2示出了根据本主题的示例实现的具有用于执行基于自适应时间窗口的日志消息去重的系统的网络环境。
[0005]图3(a)示出了根据本主题的示例实现的字典。
[0006]图3(b)示出了根据本主题的示例实现的字典。
[0007]图3(c)示出了根据本主题的示例实现的字典。
[0008]图4示出了根据本主题的示例实现的在时间窗口期间和在时间窗口到期时执行的方法。
[0009]图5示出了根据本主题的示例实现的用于确定第二时间窗口的长度的方法。
[0010]图6示出了根据本主题的示例实现的用于确定第二时间窗口的长度的方法。
[0011]图7示出了根据本主题的示例实现的用于传输标记消息的方法。
[0012]图8示出了根据本主题的示例实现的用于处理不同优先级的日志消息的方法。
[0013]图9示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的方法。
[0014]图10示出了根据本主题的示例实现的用于计数和传输与第二优先级(SP)日志消息相对应的标记消息的方法。
[0015]图11示出了根据本主题的示例实现的实现用于执行基于自适应时间窗口的日志消息去重的非暂态计算机可读介质的计算环境。
具体实施方式
[0016]在计算设备处生成的日志消息可以被发送给后端设备以进行进一步处理。例如，当计算设备的相同操作状态在不同时间出现时，多个日志消息可能是冗余的或随时间重复的。冗余的日志消息的处理浪费了后端设备的计算资源，并且还可能延迟独特的日志消息的处理。此外，有时，例如由于部件中的故障或由于网络连接的丢失，日志消息可能在计算设备中以高速率生成。日志消息以高速率到达后端设备可能会压垮后端设备，从而导致日志消息的处理进一步延迟。
[0017]进一步地，在一些情况下，日志消息将由计算设备进行转换，以使它们可以由后端设备处理。因此，如果日志消息以高速率生成，则几轮转换将在短时间段内执行，从而导致
计算设备处的大量资源消耗。在冗余日志消息的情况下，这种资源消耗是浪费的。
[0018]为了防止将冗余日志消息传输给后端设备，去重技术通常被利用，该技术涉及丢弃在特定持续时间内接收到的冗余消息。然而，这种技术在随机持续时间的泛洪场景(其中日志消息非常频繁地生成)或空闲场景中可能无效。
[0019]本主题涉及基于自适应时间窗口的日志消息去重。即使在泛洪场景中，本主题也防止了将冗余消息传输给后端设备。
[0020]根据示例实现，消息值是从传入的日志消息获得的。消息值可以是日志消息的全部或一部分，或者可以从日志消息的全部或一部分导出。在示例中，从冗余日志消息获得的消息值可以是相同的。进一步地，具有特定消息值的传入日志消息的数目可以被计数。为了执行计数，存储多个消息值的字典和与每个消息值相关联的计数可以被利用。随后，消息值可以被获得的日志消息以及与消息值相关联的计数可以被传输给后端设备。
[0021]由于与多个冗余日志消息相对应的单个日志消息被传输，因此后端设备接收到的冗余消息的数目减少。进一步地，每个日志消息可能不会被转换以由后端设备处理。因此，在日志消息的转换中花费的资源可以被减少。与多个冗余日志消息相对应的单个日志消息的传输导致去重。
[0022]计数可以在第一时间窗口中执行。进一步地，日志消息和计数的传输可以在第一时间窗口到期时被执行。计数然后可以在第二时间窗口中被重启。在示例中，除了日志消息和计数之外，指示传入日志消息的时间分布的度量也可以被传输给后端设备。度量可以包括例如第一时间窗口的长度(即，持续时间)、与第一消息值相对应的日志消息被接收的第一时间窗口内的最后时间戳、与第一消息值相对应的日志消息的平均到达间隔时间以及指示时间分布的直方图。度量可以有助于后端设备推断生成日志消息的根本原因并采取校正行为。因此，度量的传输防止了由于去重而造成的信息丢失。
[0023]在示例实现中，第二时间窗口的长度(即，持续时间)可以基于在第一时间窗口中接收到的日志消息的数目和在第一时间窗口中获得的不同消息值的数目来确定。例如，如果日志消息的数目与不同消息值的数目的比率小于阈值，则第二时间窗口的长度可以被设置为比第一时间窗口的长度大的长度。这是因为小的比率值指示更多日志消息被传输给后端设备，并且时间窗口长度的增大可能会减少所传输的日志消息的数目。因此，通过这种方式计算第二时间窗口的长度控制了传输给后端设备的日志消息的数目。
[0024]在示例中，第二时间窗口的长度可以基于日志消息在第一时间窗口中被接收的第一速率和日志消息在第一时间窗口之前的第零时间窗口中被接收的第二速率来计算。第一速率和第二速率可以指示泛洪场景的存在，因此，基于速率设置第二时间窗口的长度防止了大量冗余消息的传输。
[0025]以下描述参考附图。在可能的情况下，相同的附图标记在附图和以下描述中被用于表示相同或类似的部分。尽管在本描述中描述了多个示例，但是修改、变更和其他实现是可能的，并且旨在在本文中被涵盖。
[0026]图1示出了根据本主题的示例实现的用于执行基于自适应时间窗口的日志消息去重的系统100。系统100可以被实现为计算设备，诸如台式计算机、膝上型计算机、服务器等。系统100包括处理器102和被耦合到处理器102的存储器104。处理器102也可以被称为硬件处理器102。
[0027]处理器102可以被实现为微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路系统和/或可以基于操作指令来操纵信号的任何设备。在其他能力中，处理器102可以取得并执行存储器104中所包括的计算机可读指令。计算机可读指令包括指令106、指令108、指令110、指令112和指令114。处理器102的功能可以通过使用专用硬件以及能够执行机器可读指令的硬件来提供。
[0028]存储器104可以包括任何非暂态计算机可读介质，包括易失性存储器(例如RAM)和/或非易失性存储器(例如EPROM、闪存、忆阻器等)。存储器104也可以是外部存储器单元，诸如闪存驱动器、光盘驱动器、外部硬盘驱动器等。
[0029]除了处理器102和存储器104之外，系统100还可以包括(多个)接口和系统数据(图1中未示出)。(多个)接口可以包括各种基于指令的接口和硬件接口，其允许与用户以及与其他通信和计算设备(诸如网络实体、web服务器、外部储存库和外围设备)进行交互。系统数据可以用作用于存储数据的储存库，这些数据可以由指令取得、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：处理器；以及存储器，被耦合到所述处理器并且存储指令，所述指令由所述处理器可执行以：在第一时间窗口中接收日志消息；从每个日志消息获得消息值；对在所述第一时间窗口中接收到的日志消息的数目进行计数，第一消息值从所述日志消息被获得；在所述第一时间窗口到期时，将从其所述第一消息值被获得的日志消息、以及所计数的所述数目传输给后端设备；以及确定其中日志消息的后续计数要被执行的第二时间窗口的长度，所述确定基于在所述第一时间窗口中接收到的日志消息的数目、以及在所述第一时间窗口中获得的不同消息值的数目。2.根据权利要求1所述的系统，其中为了确定所述第二时间窗口的所述长度，所述指令可执行以：计算在所述第一时间窗口中接收到的日志消息的所述数目与在所述第一时间窗口中获得的不同消息值的所述数目的比率；响应于所述比率小于第一阈值，将所述第二时间窗口的所述长度设置为大于所述第一时间窗口的长度；以及响应于所述比率大于第二阈值，将所述第二时间窗口的所述长度设置为小于所述第一时间窗口的所述长度，所述第二阈值大于所述第一阈值。3.根据权利要求1所述的系统，其中，为了确定所述第二时间窗口的所述长度，所述指令可执行以：计算在所述第一时间窗口中接收到的日志消息的所述数目与在所述第一时间窗口中获得的不同消息值的所述数目的比率；基于所述比率和在所述第一时间窗口中获得的所述不同消息值来计算第一因数；将第二因数计算为日志消息在所述第一时间窗口中被接收的速率与日志消息在所述第一时间窗口之前的第零时间窗口中被接收的速率的比率；以及基于所述第一时间窗口的所述长度、所述第一因数和所述第二因数的乘积，来确定所述第二时间窗口的所述长度。4.根据权利要求1所述的系统，其中所述指令可执行以：在所述第一时间窗口到期时，传输指示与所述第一时间窗口中的所述第一消息值相对应的传入日志消息的时间分布的度量，所述度量包括所述第一时间窗口的长度、其中与所述第一消息值相对应的日志消息被接收的所述第一时间窗口内的最后时间戳、以及与所述第一消息值相对应的日志消息的平均到达间隔时间。5.根据权利要求1所述的系统，其中所述存储器存储要存储多个消息值的字典，所述多个消息值包括所述第一消息值，其中，为了对接收到的日志消息的所述数目进行计数，所述第一消息值从所述日志消息被获得，所述指令由所述处理器可执行以：将从每个日志消息值获得的所述消息值与所述字典中的所述消息值进行比较；以及响应于所获得的所述消息值与所述第一消息值相匹配，递增与所述字典中的所述第一
消息值相关联的计数。6.根据权利要求5所述的系统，其中，响应于从所述日志消息获得的所述消息值与所述字典中的每个消息值不匹配，所述指令可执行以：将所述日志消息传输给所述后端设备；将从所述日志消息获得的所述消息值添加到所述字典；以及将与所添加的所述消息值相关联的计数设置为1。7.根据权利要求5所述的系统，其中，响应于所述第一时间窗口到期，所述指令可执行以：从所述字典逐出所述第一消息值；或者重置与所述第一消息值相关联的所述计数。8.一种方法，包括：在第一时间窗口中接收第一优先级FP日志消息，其中每个FP日志消息具有第一优先级；从每个FP日志消息获得FP消息值；确定与第一字典中的多个不同的FP消息值中的每个FP消息值相关联的计数，其中与FP消息值相关联的计数指示接收到的FP日志消息的所述数目，所述FP消息值从所述FP日志消息被获得；在所述第一时间窗口到期时，将与在所述第一时间窗口中获得的每个FP消息值相对应的日志消息和与所述FP消息值相关联的所述计数传输给后端设备，其中与FP消息值相对应的日志消息是从其所述FP消息值可获得的日志消息；以及确定FP日志消息的后续计数要被执行的第二时间窗口的长度，所述确定基于所述第一时间窗口的长度、在所述第一时间窗口中接收到的FP日志消息的数目、以及在所述第一时间窗口中获得的不同FP消息值的数目。9.根据权利要求8所述的方法，包括：在所述第一时间窗口到期时，重置与来自所述第一字典的所述多个不同的FP消息值相关联的计数，其中，在所述第二时间窗口中，所述方法包括：标识所述第一字典中的FP消息值，在持续时间中没有与FP消息值相对应的日志消息被接收，其中所述持续时间的长度等于所述第二时间窗口的所述长度；以及从所述第一字典逐出所标识的所述FP消息值。10.根据权利要求9所...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：