一种海量数据的日志聚合查询方法技术

本发明专利技术公开了一种海量数据的日志聚合查询方法，包括：日志采集：从服务器采集不同类型日志数据；将日志中的数据字段采用动静结合字段进行处理，得到处理后的数据；将处理后的数据采用冷热分离模型分析后，得到冷、热数据，并将冷、热数据分流入库；先通过热数据库进行日志查询，再通过冷数据库进行日志查询。本发明专利技术由于采用了动静结合字段处理与冷热分离模型后，将日志数据分流，查询时，用户直接从热数据中查询，大大缩小查询范围，量级减少，提高了整体的查询速度。

【技术实现步骤摘要】

本专利技术涉及日志处理领域，尤其涉及一种海量数据的日志聚合查询方法。

技术介绍

1、随着信息时代的发展，大量的日志数据会通过实时监控，分析后的数据会进行统计分析，通过不同的维度去发现和解决生产中的问题。如何高效和快速的根据时间范围做出分析，能够灵活地切换维度去分析，获取相应数据的时间十分快速，这些问题逐渐成为市场上比较关注的点。市场上目前比较常见的日志：

2、1.安全日志：记录应用程序的操作、错误、异常、性能指标等信息，用于追踪和排查应用程序问题。

3、2.应用程序日志：记录应用程序的操作、错误、异常、性能指标等信息，用于追踪和排查应用程序问题。

4、3.系统日志：记录操作系统的事件、错误、警告等信息，包括登录信息、服务启停、资源利用情况等。

5、4.数据库日志：记录数据库操作、查询、事务等信息，有助于追踪和调试数据库相关的问题。

6、5.服务器日志：记录服务器硬件和操作系统的性能指标、错误、事件等信息，包括cpu、内存、磁盘利用率、网络流量等。

7、6.用户日志：记录用户在系统中的操本文档来自技高网...

【技术保护点】

1.一种海量数据的日志聚合查询方法，其特征在于：包括：

2.如权利要求1所述的一种海量数据的日志聚合查询方法，其特征在于：所述动静结合字段，具体指，将数据字段分为固定字段和动态列字段。

3.如权利要求2所述的一种海量数据的日志聚合查询方法，其特征在于：所述固定字段具体为可以被聚合的字段。

4.如权利要求2所述的一种海量数据的日志聚合查询方法，其特征在于：所述动态列字段为用户自定义的特征字段。

5.如权利要求4所述的一种海量数据的日志聚合查询方法，其特征在于：步骤S3中，所述冷热分离模型具体指：

6.如权利要求5所述的一种海量数据...

【技术特征摘要】

1.一种海量数据的日志聚合查询方法，其特征在于：包括：

2.如权利要求1所述的一种海量数据的日志聚合查询方法，其特征在于：所述动静结合字段，具体指，将数据字段分为固定字段和动态列字段。

3.如权利要求2所述的一种海量数据的日志聚合查询方法，其特征在于：所述固定字段具体为可以被聚合的字段。

4.如权利要求2所述的一种海量数据的日志聚合查询方法，其特征在于：所述动态列字段为用户自定义的特征字段。

5.如权利...

【专利技术属性】
技术研发人员：陈铭，梁忠辉，刘超，
申请(专利权)人：智网安云武汉信息技术有限公司，
类型：发明
国别省市：