日志处理方法、装置、系统及介质制造方法及图纸

本公开提供了一种日志处理方法。所述方法包括扫描磁盘中的日志文件，其中，应用程序将运行过程中生成的日志文件存储到所述磁盘中；在扫描发现第一日志文件有更新时，读取所述第一日志文件中的增量日志内容，所述增量日志内容为所述第一日志文件中未被读取过的内容；所述增量日志内容包括N条日志，N为大于等于1的整数；所述第一日志文件为所述应用程序在运行过程中生成的任意一个日志文件；以及对所述增量日志内容中的每一条所述日志建立索引，以得到与N条所述日志分别对应的N个索引。本公开还提供了一种日志处理装置、系统及介质。

【技术实现步骤摘要】
日志处理方法、装置、系统及介质
本公开涉及计算机
和大数据领域，更具体地，涉及一种日志处理方法、装置、系统及介质。
技术介绍
网络设备、系统及服务程序等，在运行时都会产生一个或多个日志文件，用于进行事件记录；日志文件中的每一条日志都记载着日期、时间、使用者及动作等相关操作的描述。现有技术中进行日志处理时首先由应用程序将运行记录写入磁盘中的日志文件中，然后由日志采集服务对这些日志文件中的内容进行采集并对日志进行分类，然后再转发给日志存储服务，接着由日志存储服务将日志进行存储并为每一条日志建立对应的索引，最后再由日志分析服务提供实时分析日志、检索等服务，并以此判断应用的运行状况。在实现本公开构思的过程中，专利技术人发现现有技术中至少存在如下问题：现有技术中进行日志处理的过程中需要将日志从磁盘读取后再由日志存储服务二次存储。而且，当应用程序根据自己的日志管理策略删除一些过期日志文件时，日志存储服务中仍然存储有这些过期的日志文件，会造成存储资源的浪费。
技术实现思路
有鉴于此，本公开实施例提供了一种基于本文档来自技高网...

【技术保护点】
1.一种日志处理方法，包括：/n扫描磁盘中的日志文件，其中，应用程序将运行过程中生成的日志文件存储到所述磁盘中；/n在扫描发现第一日志文件有更新时，读取所述第一日志文件中的增量日志内容，所述增量日志内容为所述第一日志文件中未被读取过的内容；所述增量日志内容包括N条日志，N为大于等于1的整数；所述第一日志文件为所述应用程序在运行过程中生成的任意一个日志文件；以及/n对所述增量日志内容中的每一条所述日志建立索引，以得到与N条所述日志分别对应的N个索引。/n

【技术特征摘要】
1.一种日志处理方法，包括：
扫描磁盘中的日志文件，其中，应用程序将运行过程中生成的日志文件存储到所述磁盘中；
在扫描发现第一日志文件有更新时，读取所述第一日志文件中的增量日志内容，所述增量日志内容为所述第一日志文件中未被读取过的内容；所述增量日志内容包括N条日志，N为大于等于1的整数；所述第一日志文件为所述应用程序在运行过程中生成的任意一个日志文件；以及
对所述增量日志内容中的每一条所述日志建立索引，以得到与N条所述日志分别对应的N个索引。


2.根据权利要求1所述的方法，其中，所述读取所述第一日志文件中的增量日志内容包括：
获取用于记录此前对所述第一日志文件进行读取的结束位置的第一偏移量；以及
从所述第一偏移量开始读所述第一日志文件，以读取所述增量日志内容。


3.根据权利要求2所述的方法，其中，所述从所述第一偏移量开始读所述第一日志文件，以读取所述增量日志内容包括：
分批读取所述第一日志文件，其中，在每一批次中执行以下操作，直到完整读取所述增量日志内容，包括：
从所述第一偏移量开始读所述第一日志文件；
在本批次读取结束时记录本批次读取的结束位置的第二偏移量；以及
以所述第二偏移量更新所述第一偏移量。


4.根据权利要求1所述的方法，其中，所述对所述增量日志内容中的每一条所述日志建立索引包括：
从所述增量日志内容中解析得到N条所述日志；
对每条所述日志进行分类，得到每条所述日志的分类信息；以及
基于每条所述日志的分类信息，建立每条所述日志的...

【专利技术属性】
技术研发人员：杨毅，刘利辉，李洪业，孙启兵，
申请(专利权)人：工银科技有限公司，
类型：发明
国别省市：河北;13