日志信息处理方法技术

本发明专利技术公开了一种日志信息处理方法，包括如下步骤：以追加方式持续地向日志文件中写入日志信息；根据设定的定时间隔检测日志文件的大小；判断日志文件的大小是否达到设定的阈值；如果日志文件的大小达到阈值，新建一个增量文件副本，同步向增量文件副本中写入日志信息；对日志文件进行备份生成日志文件副本；清空日志文件；停止向增量文件副本中写入日志信息。通过上述实施方式，能够持续写入日志信息且不会丢失日志信息。

【技术实现步骤摘要】
日志信息处理方法
本专利技术涉及文件处理
，尤其涉及一种日志信息处理方法。
技术介绍
日志(log)主要用来储存和记录系统运行情况和用户使用情况的详细信息，这些信息是查看系统运行状态和排查问题的主要依据。例如，某个软件中应用程序出现崩溃情况，那么可以从程序事件日志中找到相应的记录，从而帮助相关技术人员分析并解决问题。以线上系统日志信息为例，日志信息可以用来对线上业务运行过程的记录和运行程序的监控，通过分析记录的日志信息可以为出现和可能出现的错误进行提示、警告，还可以统计业务信息，为业务逻辑改进和应用程序升级提供可靠的依据。目前，针对Linux系统的持续写入应用日志的截断及备份，主要有logrorate滚动日志、shell/python等语言脚本、split大文件切分等处理方式。但不管哪种处理方式，在不触发应用重载日志的情况下（很多应用也不支持或不方便重载日志），基本都会先用copy/split对文件进行备份或切分处理，然后利用truncate对日志文件进行截断清空操作，而在这两步操作之间，在日志持续写入的情况下，就存在日志丢失的可能。
技术实现思路
本专利技术为解决上述技术问题提供一种日志信息处理方法，能够持续写入日志信息且不会丢失日志信息。为解决上述技术问题，本专利技术提供一种日志信息处理方法，包括如下步骤：以追加方式持续地向日志文件中写入日志信息；根据设定的定时间隔检测所述日志文件的大小；判断所述日志文件的大小是否达到设定的阈值；如果所述日志文件的大小达到阈值，新建一个增量文件副本，同步向所述增量文件副本中写入日志信息；对所述日志文件进行备份生成日志文件副本；清空所述日志文件；停止向所述增量文件副本中写入日志信息。进一步地，在停止向所述增量文件副本中写入日志信息的步骤之后，包括：对比所述日志文件副本和所述增量文件副本的日志信息并去除重复的日志信息进而获得完整的日志信息；对所述完整的日志信息进行备份生成备份文件；删除所述日志文件副本和所述增量文件副本。进一步地，在对所述完整的日志信息进行备份生成备份文件的步骤之后，包括：归档所述备份文件；根据设定的规则清理相应所述备份文件。进一步地，在归档所述备份文件的步骤之中，包括：新建三个文件夹，分别为重要程度依次增加的info文件夹、warning文件夹以及fatal文件夹；查找所述备份文件中日志信息的日志关键字段，并根据所述日志关键字段的类型将备份文件存储至相应文件夹中；其中，如果所述备份文件中包含fatal类日志关键字段，则将所述备份文件存储至所述fatal文件夹；如果所述备份文件中仅包含warning类日志关键字段，则将所述备份文件存储至所述warning文件夹;如果所述备份文件中不包含fatal类日志关键字段和warning类日志关键字段，则将所述备份文件存储至所述info文件夹。进一步地，在根据设定的规则清理相应所述备份文件的步骤之中，包括：定时检测磁盘的已用空间；其中，所述info文件夹、所述warning文件夹以及所述fatal文件夹建立于同一所述磁盘下；判断所述磁盘的已用空间是否达到设定的阈值；如果所述磁盘的已用空间达到阈值，则根据所述备份文件的重要程度和生成时间顺序对相应所述备份文件进行删除或转移；其中，优先删除重要程度低且生成时间早的所述备份文件，而保留重要程度高且生成时间近的所述备份文件。进一步地，在查找所述备份文件中日志信息的日志关键字段的步骤中，包括：如果查找到所述备份文件中日志信息包含fatal类日志关键字段，则触发告警；在根据所述备份文件的重要程度和生成时间顺序对相应所述备份文件进行删除或转移的步骤之中，包括：在所述磁盘仅保留重要程度高且时间近的所述备份文件、且所述磁盘的已用空间仍达到阈值，则触发告警。进一步地，所述触发告警的方式包括触发邮件、微信、短信以及电话中任意一种的通讯服务。进一步地，在根据设定的定时间隔检测所述日志文件的大小的步骤之中，所述定时间隔是一个固定值，或者所述定时间隔是一个可自适应调整的变化值。进一步地，所述定时间隔是一个可自适应调整的变化值时，对所述定时间隔的自适应调整的步骤包括如下：设定一初始化值、一最小值以及一最大值，所述初始化值介于所述最小值和所述最大值之间；将所述定时间隔赋值为初始化值；根据设定的所述定时间隔检测所述日志文件的大小；判断所述日志文件的大小是否达到设定的阈值；在判断所述日志文件的大小是否达到设定的阈值的步骤中，如果所述日志文件的大小达到阈值，判断所述日志文件的大小是否达到n倍阈值；如果所述日志文件的大小达到n倍阈值，将所述定时间隔赋值为（1/n）×本次所述定时间隔；判断所述定时间隔是否大于最大值；如果所述定时间隔小于等于最大值，则进入根据设定的所述定时间隔检测所述日志文件的大小的步骤；如果所述定时间隔大于最大值，则将所述定时间隔赋值为最大值，进而进入根据设定的所述定时间隔检测所述日志文件的大小的步骤；在判断所述日志文件的大小是否达到设定的阈值的步骤中，如果所述日志文件的大小小于阈值，判断所述日志文件的大小是否小于等于m倍阈值；如果所述日志文件的大小小于等于m×阈值，将所述定时间隔赋值为(1/m)×本次所述定时间隔；判断所述定时间隔是否小于最小值；如果所述定时间隔大于等于最小值，则进入根据设定的所述定时间隔检测所述日志文件的大小的步骤；如果所述定时间隔小于最小值，则将所述定时间隔赋值为最小值，进而进入根据设定的所述定时间隔检测所述日志文件的大小的步骤；其中，n>1,0<m<1。为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器配置为执行如上述任一项实施例所述的日志信息处理方法中的步骤。本专利技术的日志信息处理方法，具有如下有益效果：通过以追加方式持续向日志文件中写入日志信息，并在日志文件的大小达到设定的阈值时，新建一增量文件副本并同步向增量文件副本中写入日志信息，并在备份日志文件及清空日志文件之后才停止向增量文件副本中写入日志，能够实现日志信息的持续写入且不会丢失日志信息。而且对备份作业过程对运行中的应用程序完全无影响。此外，通过对备份文件进行归档管理、以及及时清除，能够有效利用存储空间。附图说明图1是本专利技术日志信息处理方法第一实施例的流程图。图2是本专利技术日志信息处理方法第二实施例的流程图。图3是本专利技术日志信息处理方法第三实施例的流程图。图4是本专利技术日志信息处理方法第四实施例的流程图。具体实施方式下面结合附图和实施方式对本专利技术进行详细说明。本专利技术提供一种日志信息处理方法。该日志信息处理方法包括如下步骤：步骤S1，采用追加方式持续地向日志文件中写入日志信息。步骤S2，根据设定的定时间隔检测日志文件的大小。步骤S3，判断日志文件的大小是否达到设定的阈值。在步骤S3中，如果日志文件的大小达到阈值，则进入步骤S4；而如果日志文件的大小未达到阈值，则进入步骤S2。步骤S4，新建一个增量文件副本，并同步向增量文件副本中写入日志信息。在步骤S4中，同步写入到增量文件副本中的日志信息与写入到日志文件中的日志信息是相同的，也即在日志文件大小达到阈值时，通过进行文件截断操作，以将写不进去日志文件或在日志文件中无法得到保存等状本文档来自技高网...

【技术保护点】
1.一种日志信息处理方法，其特征在于，包括如下步骤：以追加方式持续地向日志文件中写入日志信息；根据设定的定时间隔检测所述日志文件的大小；判断所述日志文件的大小是否达到设定的阈值；如果所述日志文件的大小达到阈值，新建一个增量文件副本，同步向所述增量文件副本中写入日志信息；对所述日志文件进行备份生成日志文件副本；清空所述日志文件；停止向所述增量文件副本中写入日志信息。

【技术特征摘要】
1.一种日志信息处理方法，其特征在于，包括如下步骤：以追加方式持续地向日志文件中写入日志信息；根据设定的定时间隔检测所述日志文件的大小；判断所述日志文件的大小是否达到设定的阈值；如果所述日志文件的大小达到阈值，新建一个增量文件副本，同步向所述增量文件副本中写入日志信息；对所述日志文件进行备份生成日志文件副本；清空所述日志文件；停止向所述增量文件副本中写入日志信息。2.根据权利要求1所述的日志信息处理方法，其特征在于，在停止向所述增量文件副本中写入日志信息的步骤之后，包括：对比所述日志文件副本和所述增量文件副本的日志信息并去除重复的日志信息进而获得完整的日志信息；对所述完整的日志信息进行备份生成备份文件；删除所述日志文件副本和所述增量文件副本。3.根据权利要求2所述的日志信息处理方法，其特征在于，在对所述完整的日志信息进行备份生成备份文件的步骤之后，包括：归档所述备份文件；根据设定的规则清理相应所述备份文件。4.根据权利要求2所述的日志信息处理方法，其特征在于，在归档所述备份文件的步骤之中，包括：新建三个文件夹，分别为重要程度依次增加的info文件夹、warning文件夹以及fatal文件夹；查找所述备份文件中日志信息的日志关键字段，并根据所述日志关键字段的类型将备份文件存储至相应文件夹中；其中，如果所述备份文件中包含fatal类日志关键字段，则将所述备份文件存储至所述fatal文件夹；如果所述备份文件中仅包含warning类日志关键字段，则将所述备份文件存储至所述warning文件夹;如果所述备份文件中不包含fatal类日志关键字段和warning类日志关键字段，则将所述备份文件存储至所述info文件夹。5.根据权利要求4所述的日志信息处理方法，其特征在于，在根据设定的规则清理相应所述备份文件的步骤之中，包括：定时检测磁盘的已用空间；其中，所述info文件夹、所述warning文件夹以及所述fatal文件夹建立于同一所述磁盘下；判断所述磁盘的已用空间是否达到设定的阈值；如果所述磁盘的已用空间达到阈值，则根据所述备份文件的重要程度和生成时间顺序对相应所述备份文件进行删除或转移；其中，优先删除重要程度低且生成时间早的所述备份文件，而保留重要程度高且生成时间近的所述备份文件。6.根据权利要求5所述的日志信息处理方法，其特征在于：在查找所述备份文件中日志信息的日志关键字段的步骤中，包括：如果...

【专利技术属性】
技术研发人员：胡万勇，
申请(专利权)人：深圳小云字符信息科技有限公司，
类型：发明
国别省市：广东,44