一种数据库日志统计方法、系统及相关装置制造方法及图纸

本申请提供一种数据库日志统计方法，包括：获取日志数据并存入循环缓冲区；在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据，并存至目标数据库。本申请利用基于Disruptor并发框架结构的循环缓冲区进行数据库日志数据的获取、解析和存储，利用Disruptor高吞吐和低延迟的特点，实现了数据高效的传输，减少日志数据在其他中间存储环境的占用时间，使得数据可以快速在不同的数据源之前进行数据操作。本申请还提供一种数据库日志统计系统、计算机可读存储介质和电子设备，具有上述有益效果。

【技术实现步骤摘要】
一种数据库日志统计方法、系统及相关装置
本申请涉及数据库领域，特别涉及一种数据库日志统计方法、系统及相关装置。
技术介绍
当前存储系统的日志分析采集会产生大量的格式不一的日志，比如:syslog、json、xml、csv等等，为将数据ETL化(Extract-Transform-Load，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)，需要对其进行大量的抽取、清洗、转换函数操作，最后入库到存储系统，为了方便查询，还需要将其索引、分类，对日志管理要求较高。相关技术中在日志数据的处理速度及准确性方面会大降低，并且无法满足数据源多种多样的变化，由于日志数据的处理入库过程较慢，进一步导致相应的日志数据存储紊乱，造成日志后续查询分析过程缓慢，不利于实现日志分析，给日志审计过程带来困难，影响用户基于日志数据的统计效率。
技术实现思路
本申请的目的是提供一种数据库日志统计方法、系统、计算机可读存储介质和电子设备，能够提高日志的处理入库效率。为解决上述技术问题，本申请提本文档来自技高网...

【技术保护点】
1.一种数据库日志统计方法，其特征在于，包括：/n获取日志数据并存入循环缓冲区；其中，所述循环缓冲区为基于Disruptor并发框架结构的循环缓冲区；/n在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据，并存至目标数据库。/n

【技术特征摘要】
1.一种数据库日志统计方法，其特征在于，包括：
获取日志数据并存入循环缓冲区；其中，所述循环缓冲区为基于Disruptor并发框架结构的循环缓冲区；
在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据，并存至目标数据库。


2.根据权利要求1所述的数据库日志统计方法，其特征在于，在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据包括：
在所述循环缓冲区中对所述日志数据进行字段映射，得到数据字段；
对所述数据字段调用应用字典解析，得到预设格式的日志数据。


3.根据权利要求1所述的数据库日志统计方法，其特征在于，将所述日志数据存至目标数据库后还包括：
所述目标数据库的逻辑主库将所述日志数据解析为第二预设格式，并发送至逻辑备库；
所述逻辑备库将所述日志数据重做并保存。


4.根据权利要求1所述的数据库日志统计方法，其特征在于，包括：
在所述目标数据库中创建分区表，并配置所述分区表的分区键和分区策略；
其中，所述分区策略包括范围分区和列表分区。


5.根据权利要求4所述的数据库日志统计方法，其特征在于，包括：
在所述分区表中添加GIN扩展索引，以便利用所述GIN扩展索引在所述分区表中检索所...

【专利技术属性】
技术研发人员：李亮，范渊，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33