基于自定义字段的日志系统、日志存储方法和查询方法技术方案

本发明专利技术公开了一种基于自定义字段的日志系统、日志存储方法和查询方法，包括：日志索引存储表，其中包括至少一个预留字段；自定义字段映射表，存储自定义字段名称、日志来源和预留字段之间的映射关系；日志格式匹配表，存储日志内容格式和日志来源之间的映射关系，日志内容格式由日志内容中的一部分内容和自定义字段名称构成；自定义字段提取器，用于通过日志格式匹配表从日志内容中提取出自定义字段名称和字段值；日志索引存储器，用于将日志存储于日志索引存储表，并根据自定义字段映射表将字段值存储于预留字段中；日志查询器，依据自定义字段映射表获得与自定义字段名称相对应的预留字段，并利用预留字段在日志索引存储表中进行日志查询。表中进行日志查询。表中进行日志查询。

【技术实现步骤摘要】
基于自定义字段的日志系统、日志存储方法和查询方法


[0001]本专利技术涉及计算机
，特别涉及一种基于自定义字段的日志系统、日志存储方法和查询方法。

技术介绍

[0002]日志系统作为互联网公司必备的基础系统，是开发人员所必备的，它是开发人员用于了解系统运行状况、进行问题排查的重要系统。
[0003]开发人员将需要关注的应用日志接入到日志系统中，就可以登陆日志系统的前端界面上进行日志查询和搜索等操作。日志系统除了提供上述基本功能外，还会提供诸如日志分析、自定义结构化字段等高级功能。
[0004]“自定义字段功能”对于多用户的日志系统来说，能够满足每个用户对自己需要关心的字段进行查询统计的需求。
[0005]现有的一种常用日志系统的索引结构如下表：
[0006]应用id文件路径ip地址日志内容
[0007]在一个具体实例中，索引表中的一条日志内容的相关信息如下：
[0008][0009]在此基础上，在索引表中增加“自定义字段”position(职位)字段后，对应的索引结构变为下表所示：
...

【技术保护点】

【技术特征摘要】
1.一种基于自定义字段的日志系统，其特征在于，包括：日志索引存储表，用于存储日志来源和日志内容，其中，所述日志索引表中包括至少一个预留字段；自定义字段映射表，用于存储自定义字段名称、所述日志来源和所述预留字段之间的映射关系；日志格式匹配表，用于存储日志内容格式和所述日志来源之间的映射关系；自定义字段提取器，用于在接收到日志时，从所述日志格式匹配表中获得与所接收到的日志的日志来源相对应的日志内容格式，并通过所获得的日志内容格式和所接收到的日志的日志内容，提取出自定义字段名称和与所提取出的自定义字段名称相对应的字段值；日志索引存储器，用于将所接收到的日志存储于所述日志索引存储表，并根据所述自定义字段映射表的映射关系将所述自定义字段提取器所提取出的字段值存储于与自定义字段名称相对应的预留字段中；日志查询器，用于在接收到包含有自定义字段名称的日志查询请求时，依据所述自定义字段映射表获得与所述自定义字段名称相对应的预留字段，并根据所获得的预留字段在所述日志索引存储表中进行日志查询；其中，所述日志内容格式由所述日志内容中的一部分内容和所述自定义字段名称构成，其中，所述自定义字段名称在所述日志内容格式中的位置与所述自定义字段的字段值在所述日志内容中的位置相对应。2.根据权利要求1所述的基于自定义字段的日志系统，其特征在于，所述自定义字段提取器包括：日志格式提取器，用于在接收到日志时，从所述日志格式匹配表中获得与所接收到的日志的日志来源相对应的日志内容格式；字符替换器，用于在所述日志格式提取器所获得的日志内容格式中的自定义字段替换为正则表达式中的贪婪匹配符号；日志匹配器，用于将替换为贪婪匹配符号后的日志内容格式与作为正则表达式与所接收到的日志的日志内容进行匹配，以获得所述日志内容中位于所述贪婪匹配符号所在位置的内容，并将所获得的内容作为与所述日志内容格式中的自定义字段名称相对应的字段值。3.根据权利要求2所述的基于自定义字段的日志系统，其特征在于：在所述日志内容格式中，所述自定义字段名称由自定义字符标记。4.根据权利要求3所述的基于自定义字段的日志系统，其特征在于：所述字符替换器，用于依据所述自定义字符...

【专利技术属性】
技术研发人员：董旭，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：