日志处理方法、装置、设备、介质和程序产品制造方法及图纸

技术编号:43476665 阅读:17 留言:0更新日期:2024-11-29 16:51
本申请实施例提供一种日志处理方法、装置、设备、介质和程序产品,涉及人工智能技术中的自然语言处理技术,该方法包括:通过应用服务器的应用框架上的采集模块,在应用服务器运行过程,根据配置的日志采集周期,从应用服务器的操作系统采集基础配置类型字段的值,从应用框架采集框架类型字段的值,从业务逻辑代码中采集业务逻辑类型字段的值,形成一条结构化日志,对结构化日志进行结构化存储。利用应用框架上的采集模块直接采集结构化日志,不会产生任何的日志中间文件,节省了日志数据的存储资源,且避免了复杂的日志解析过程和结构化提取过程,提高了日志分析的效率,采集的日志数据更加全面准确,提高了日志分析的准确性。

【技术实现步骤摘要】

本申请实施例涉及人工智能(artificial intelligence,ai)领域,尤其涉及一种日志处理方法、装置、设备、介质和程序产品


技术介绍

1、日志是一种用于对应用程序或操作系统的问题和异常进行分析和处理的重要工具,日志中记录有应用程序或系统相关的日期、时间、事件类型和消息等信息。在游戏运行过程中,通常需要获取后台的游戏服务器的日志文件,基于该日志文件对游戏进行开发、管理、优化等。

2、传统的日志处理方法包括以下步骤:从游戏服务器采集日志数据,采集的日志数据为文本文件形式,然后对采集的日志数据进行存储、传输、数据分析等操作。日志数据可以存储在数据库中,在需要对日志数据进行分析时,从数据库中读取文本形式的日志数据,通过预先编写的日志分析程序对日志数据进行解析、数据提取操作,得到日志的结构化信息,然后对结构化信息进行分析。

3、传统的日志处理方法中日志存储和传输的数据量大,从而需要消耗大量的存储和传输资源,另外,日志分析过程中,日志的解析、提取等过程也需要消耗大量的处理资源,从而导致日志处理效率低,处理成本高。

...

【技术保护点】

1.一种日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采集模块包括第一采集单元、第二采集单元和第三采集单元;

3.根据权利要求1所述的方法,其特征在于,所述基础配置类型字段包括以下至少一个字段:部署环境字段和互联网协议IP地址;

4.根据权利要求1-3任一项所述的方法,其特征在于,所述预处理包括以下处理中的至少一种:日志格式的规划范处理、去重处理、过滤处理、分类处理。

5.根据权利要求4所述的方法,其特征在于,当所述业务逻辑类型字段包括自定义字段时,所述预处理还包括分词处理;

>6.根据权利要求1...

【技术特征摘要】

1.一种日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采集模块包括第一采集单元、第二采集单元和第三采集单元;

3.根据权利要求1所述的方法,其特征在于,所述基础配置类型字段包括以下至少一个字段:部署环境字段和互联网协议ip地址;

4.根据权利要求1-3任一项所述的方法,其特征在于,所述预处理包括以下处理中的至少一种:日志格式的规划范处理、去重处理、过滤处理、分类处理。

5.根据权利要求4所述的方法,其特征在于,当所述业务逻辑类型字段包括自定义字段时,所述预处理还包括分词处理;

6.根据权利要求1-3任一项所述的方法,其特征在于,所述结构化日志存储在远端服务器;

7.根据权利要求6所述的方法,其特征在于,所述将所述多条结构化日志通过一条写入请求写入所述远端服务器之前,还包括:

8...

【专利技术属性】
技术研发人员:李建勇
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1