日志数据处理方法、装置、电子设备、介质及产品制造方法及图纸

本申请提供一种日志数据处理方法、装置、电子设备、介质及产品，涉及数据分析领域。所述方法包括：从数据库中获取日志数据，对所述日志数据进行解析处理，得到所述日志数据对应的级别信息；根据所述级别信息，确定所述日志数据对应的目标处理方案；通过所述目标处理方案对所述日志数据进行处理。以上方案，通过确定日志数据对应的目标处理方案，可以针对性处理日志数据，从而提升日志数据处理准确度，提升数据库优化的准确度。数据库优化的准确度。数据库优化的准确度。

【技术实现步骤摘要】
日志数据处理方法、装置、电子设备、介质及产品


[0001]本申请涉及数据分析领域，尤其涉及一种日志数据处理方法、装置、电子设备、介质及产品。

技术介绍

[0002]随着数据库技术的快速发展以及用户使用的数据量的急剧增长，当前数据库中存储有海量数据并且用户对数据库进行频繁的操作，为了维护数据库的正常工作以及分析用户对数据库的操作记录，需要对数据库进行监控。
[0003]用户对数据库执行操作会产生日志，在相关技术中，通过分布式搜索和分析引擎(Elasticsearch)可以实时获取数据库日志，通过对数据库日志进行分析，可以实时监控数据库的工作状态。
[0004]然而，分布式搜索和分析引擎仅能对日志进行简单分析，分析结果不能用于全面监控数据库，影响分析的准确度。

技术实现思路

[0005]本申请提供一种日志数据处理方法、装置、电子设备、介质及产品，用于准确处理日志数据。
[0006]第一方面，本申请提供一种日志数据处理方法，包括：从数据库中获取日志数据，对所述日志数据进行解析处理，得到所述日志数据对应的级别信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据处理方法，其特征在于，包括：从数据库中获取日志数据，对所述日志数据进行解析处理，得到所述日志数据对应的级别信息；根据所述级别信息，确定所述日志数据对应的目标处理方案；通过所述目标处理方案对所述日志数据进行处理。2.根据权利要求1所述的方法，其特征在于，根据所述级别信息，确定所述日志数据对应的目标处理方案，包括：确定所述级别信息对应的目标管线；通过所述目标管线，确定所述日志数据对应的目标处理方案，其中所述目标管线用于传输所述日志数据。3.根据权利要求2所述的方法，其特征在于，通过所述目标管线，确定所述日志数据对应的目标处理方案，包括：确定所述目标管线对应的目标规则；通过所述目标规则，确定所述日志数据的目标类型；将所述目标类型对应的处理方案，确定为所述目标处理方案。4.根据权利要求3所述的方法，其特征在于，所述级别信息包括：错误、警告以及关键；通过所述目标处理方案对所述日志数据进行处理，包括：针对级别信息为错误的日志数据，从所述数据库中查找该日志数据对应的错误的原因；针对级别信息为警告的日志数据，从所述数据库中查找该日志数据对应的警告的原因；针对级别信息为关键的日志数据，对该日志数据进行解析处理，得到该日志数据对应的数据操作记录，将所述数据操作记录存入所述数据库。5.根据权利要求4所述的方法，其特征在于，所述从数据库中获取日志数据，包括：通过日志数据采集器，从对应的数据库节点获取所述日志数据，其中所述日志数据采集器与数据库节点一一对应；根据所述日志数据来源的数据库节点，对所述日志数据添加对应的节点标签。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据所述级别信息，对所述日志数据添加对应的级别标签；确定所述级别标签以及所述节点标签对应的目标索引；将处理后的日志数据存入所述目标索引。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述方法还包括：将所述处理后的日志数据进行统计处理，得到统计结果；根据所述统计结果，生成统计图表。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：获取用户输入的统计接口；根据所述统计接口以及所述统计结果，生成应用程序编程接口，所述应用程序编程接口用于用户查询所述处理后的日志数据。9.一种日志数据处理装置，其特征在于，包括：
获取模块，用于从数据库中获取日志数据，对所述日志数据进行解析处理，得到所述日志数据对应的级别信息；确定模块，用于根据所述级别信息，确定所述日志数据对应的目标处理方案；处理模块，用于通过所述目标处理方案对所述日志数据进行处理。10.根据权利要求9所述的装置，其特征在于，所述确定模块，具体用于确定所述级别信息对应的目标管线；所述确定模块，具体还用于通过所述目标...

【专利技术属性】
技术研发人员：王一洲，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：