一种日志处理方法及装置制造方法及图纸

本发明专利技术提供一种日志处理方法及装置，该方法包括：监控应用程序在预设监控周期内产生的日志量；若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。应用本发明专利技术实施例可以避免应用程序短时间内产生大量日志导致的日志存储空间不足，提高系统稳定性。

A Log Processing Method and Device

The invention provides a log processing method and device, which includes: monitoring the amount of log generated by the application program in the preset monitoring period; if the amount of log generated by the application program in the preset monitoring period exceeds the preset threshold, the log acquisition suppression is carried out to reduce the amount of log collected. The embodiment of the invention can avoid the insufficiency of the log storage space caused by the large number of logs generated by the application program in a short time, and improve the stability of the system.

【技术实现步骤摘要】
一种日志处理方法及装置
本专利技术涉及网络通信
，尤其涉及一种日志处理方法及装置。
技术介绍
诊断日志(本文中简称日志)是协助分析系统故障，保障系统可维护的基本手段。日志通常保存在持久文件、持久数据库等媒介中。卸载系统时，会删除全部日志。由于随着系统持续运行，日志会持续增加。因此，需要周期性地清理所保存的日志。若无法及时清理日志，则可能会出现磁盘空间不足导致系统崩溃的问题。若在定时清理期间，即上一次清理动作之后，下一次清理动作启动之前，短时间出现大量日志，则也可能导致磁盘空间不足，进而导致系统崩溃。
技术实现思路
本专利技术提供一种日志处理方法及装置，以解决日志处理方案中应用程序在短时间内产生大量日志导致日志存储空间不足的问题。根据本专利技术实施例的第一方面，提供一种日志处理方法，包括：监控应用程序在预设监控周期内产生的日志量；若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。根据本专利技术实施例的第一方面，提供一种日志处理方法，应用于日志处理系统中的任一日志监控器，所述日志处理系统中包括多个容器，各容器中均部署有所述日志监控器，所述方法包括：监控自身所属容器中的应用程序在预设监控周期内产生的日志量；若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。根据本专利技术实施例的第三方面，提供一种日志处理装置，包括：监控单元，用于监控应用程序在预设监控周期内产生的日志量；判断单元，用于判断所述应用程序在预设监控周期内产生的日志量是否超过预设阈值；处理单元，用于若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。根据本专利技术实施例的第四方面，提供一种日志处理装置，应用于日志处理系统中的任一日志监控器，所述日志处理系统中包括多个容器，各容器中均部署有所述日志监控器，所述装置包括：监控单元，用于监控所述日志处理器所属容器中的应用程序在预设监控周期内产生的日志量；判断单元，用于判断所述应用程序在预设监控周期内产生的日志量是否超过预设阈值；处理单元，用于若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。应用本专利技术公开的技术方案，通过监控应用程序在预设监控周期内产生的日志量，并当应用程序在预设监控周期内产生的日志量超过预设阈值时，进行日志采集抑制，以减少采集的日志量，在日志采集阶段对日志量进行了控制，避免了应用程序短时间内产生大量日志导致的日志存储空间不足，提高了系统稳定性。附图说明图1是本专利技术实施例提供的一种日志处理方法的流程示意图；图2是本专利技术实施例提供的一种具体应用场景的架构示意图；图3是本专利技术实施例提供的一种图2所示应用场景下的日志处理方法的流程示意图；图4是本专利技术实施例提供的另一种具体应用场景的架构示意图；图5是本专利技术实施例提供的一种图4所示应用场景下的日志处理方法的流程示意图；图6是本专利技术实施例提供的一种日志处理装置的结构示意图；图7是本专利技术实施例提供的一种日志处理装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术实施例中的技术方案，并使本专利技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术实施例中技术方案作进一步详细的说明。请参见图1，为本专利技术实施例提供的一种日志处理方法的流程示意图，如图1所示，该日志处理方法可以包括：步骤101、监控应用程序在预设监控周期内产生的日志量。本专利技术实施例中，为了避免应用程序在短时间内产生大量日志导致日志存储空间不足，可以对应用程序产生的日志量进行监控，并当应用程序产生的日志量过大时候，减少需要存储的日志量。相应地，在本专利技术实施例中，可以监控应用程序在预设监控周期(可以根据实际场景设定，如1s、2s等)内产生的日志量。在一个示例中，日志量可以包括但不限于日志字节数或/和日志报文数。在该示例中，考虑到应用程序产生的日志可以包括文件类型的日志或/和报文类型的日志。对于文件类型的日志，可以通过统计日志字节数确定日志量；对于报文类型的日志，一方面可以统计日志字节数，另一方面，可以统计报文数量(本文中称为日志报文数)。步骤102、若应用程序在预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。本专利技术实施例中，为了避免应用程序在短时间内产生大量日志导致日志存储空间不足，可以在日志采集阶段对日志量进行控制。相应地，在本专利技术实施例中，若应用程序在预设监控周期内产生的日志量超过预设阈值(可以根据实际场景设定)，则可以进行日志采集抑制，以减少采集的日志量，进而，可以减少需要存储的日志量。在一个示例中，上述应用程序在预设监控周期内产生的日志量超过预设阈值，可以包括：应用程序在预设监控周期内产生的日志字节数超过预设字节数阈值。在该示例中，可以根据应用程序产生的文件类型的日志或/和报文类型的日志统计应用程序产生的日志字节数，并确定应用程序在预设监控周期内产生的日志字节数是否超过预设字节数阈值。其中，若应用程序在预设监控周期内产生的日志字节数超过预设字节数阈值，则可以进行日志采集抑制，以减少采集的日志量。在另一个示例中，上述应用程序在预设监控周期内产生的日志量超过预设阈值，可以包括：应用程序在预设监控周期内产生的日志报文数超过预设报文数阈值。在该示例中，可以根据应用程序产生的报文类型的日志统计应用程序产生的日志报文数，并确定应用程序在预设监控周期内产生的日志报文数是否超过预设报文数阈值。其中，若应用程序在预设监控周期内产生的日志报文数超过预设报文数阈值，则可以进行日志采集抑制，以减少采集的日志量。需要说明的是，在本专利技术实施例中，也可以同时对应用程序在预设监控周期内的产生的日志字节数和日志报文数进行监控，并当应用程序在预设监控周期内产生的日志字节数超过预设字节数阈值，或，日志报文数超过预设报文数阈值时，进行日志采集抑制；或者，可以当应用程序在预设监控周期内产生的日志字节数超过预设字节数阈值，且日志报文数超过预设报文数阈值时，进行日志采集抑制，其具体实现在此不做赘述。此外，在本专利技术实施例中，若应用程序在预设监控周期内产生的日志量未超过预设阈值，则日志监控器不会进行日志采集抑制，应用程序产生的日志由日志处理器处理后，存储至日志存储器。其中，日志处理器可以为运行在物理服务器或物理服务器上运行的容器内的一个进程。日志处理器根据日志配置对接收到的日志进行处理，如将接收到的日志存储至指定日志存储器。举例来说，可以在日志配置中配置syslog服务器的IP地址、文件目录、socket服务端端口号等等，以及指定日志级别或日志类型与日志存储器的对应关系，从而，日志处理器可以根据日志配置以及日志级别或日志类型将接收到的日志存储至对应的日志存储器。例如，假设日志配置中指定日志类型A和日志类型B的日志需要存储至syslog服务器，并配置了syslog服务器的IP地址，日志处理器接收到日志类型A和日志类型B的日志时，可以根据syslog服务器的IP地址将其发送至syslog服务器。此外，日志处理器还可以配置有日志清理策略。对于存储到本地的日志，由日志处理器做定时清理，删除过旧日志等等本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，包括：监控应用程序在预设监控周期内产生的日志量；若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：监控应用程序在预设监控周期内产生的日志量；若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。2.根据权利要求1所述的方法，其特征在于，所述日志量包括日志字节数或/和日志报文数；所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，包括：所述应用程序在所述预设监控周期内产生的日志字节数超过预设字节数阈值；或/和，所述应用程序在所述预设监控周期内产生的日志报文数超过预设报文数阈值。3.根据权利要求1所述的方法，其特征在于，所述进行日志采集抑制，包括：提高当前生效日志级别；丢弃所述应用程序产生的级别低于当前生效日志级别的日志。4.根据权利要求3所述的方法，其特征在于，所述提高当前生效日志级别之后，还包括：若所述应用程序在所述预设监控周期内产生的日志量未超过所述预设阈值时，降低当前生效日志级别。5.根据权利要求1所述的方法，其特征在于，所述监控应用程序在预设监控周期内产生的日志量，包括：分别监控各应用程序在预设监控周期内产生的日志量；所述若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，包括：对于任一应用程序，若该应用程序在预设监控周期内产生的日志量超过预设阈值，则针对该应用程序进行日志采集抑制。6.一种日志处理方法，其特征在于，应用于日志处理系统中的任一日志监控器，所述日志处理系统中包括多个容器，各容器中均部署有所述日志监控器，所述方法包括：监控自身所属容器中的应用程序在预设监控周期内产生的日志量；若所述应用程序在所述预设监控周期内产生的日志量超过预设阈值，则进行日志采集抑制，以减少采集的日志量。7.根据权利要求6所述的方法，其特征在于，各容器中均运行单个应用程序。8.一种日志处理装置，其特征在于，包括：监控单元，用于监控应用程序在预设监控周期...

【专利技术属性】
技术研发人员：雒雪芳，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：浙江,33