一种动态日志分析方法及系统技术方案

本发明专利技术公开了一种动态日志分析方法，包括：基于K8S集群，搭建配置中心，并在配置中心内定义Flink解析任务的脚本和资源文件以及数据处理脚本；接收日志数据分析请求，并对所述日志数据分析请求进行分析，确定日志数据分析要求以及日志数据资源；根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据；根据所述日志数据分析要求，调用Flink解析任务的脚本和资源文件，对所述标准日志数据进行解析，形成日志分析结果并输出所述日志分析结果。本发明专利技术实现了可视化的、灵活的、可动态更新的日志分析流程配置。析流程配置。析流程配置。

【技术实现步骤摘要】
一种动态日志分析方法及系统


[0001]本专利技术涉及计算机领域，具体来说，涉及一种动态日志分析方法及系统。

技术介绍

[0002]日志在软硬件系统里无处不在，也是大数据的关键来源。日志的种类、样式、来源非常多，包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的产品产生的日志。要管理诸多类型的日志，就需要一套统一的日志系统，对日志进行采集、加工、存储、查询、分析、可视化、告警以及消费投递，将日志的生命周期进行闭环。日志分析是很重要的一环，能够实现对日志数据的清洗、过滤、分流、脱敏、计算等功能。云计算的不断发展，对日志系统的要求进一步提高，云原生场景下采集日志的动态性、复杂性进一步提高，对分析系统的实时性、稳定性、可靠性要求提高。
[0003]目前，现有的日志分析工具一般采用的是ELK和Loki，其中，ELK（ElasticSearch、LogStash、Kibana），ElasticSearch是一个接近实时的分布式全文分析搜索引擎，并将每一个字段都编入索引文档导向，所有的对象全部是文档高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas），配合Kibana能实现日志数据的可视化，包括日志检索、各维度图表展示等功能。LogStash是强大的数据处理工具，能够格式化数据，并按标准化格式输出。ELK有非常多的生态和写入工具、安装、配置等都有较多工具可以使用。然而，ELK架构相对复杂，组件多，不能灵活利用计算资源，部署和维护比较复杂，学习成本也高。
[0004]而Loki是近几年兴起的轻量级日志采集分析方案，采用prometheus一样的标签来作为索引，通过标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。与ELK相比，消耗的成本更低，具有成本效益。在日志的收集以及可视化上可以连用grafana，实现在日志上的筛选以及查看上下行的功能。但是目前功能比较单一，只针对日志的查看，筛选有好的表现，对于数据的处理以及清洗没有ELK强大，ELK可以组合各种技术进行日志的大数据处理，但是Loki在复杂的数据处理方面无能为力。此外，Loki不存储全文索引，查询全部依赖于Labels；同时，Loki没有认证功能，需要依赖第三方系统实现用户的管理和权限认证等功能。
[0005]也就是说，现有的日志分析具有架构固定，扩缩容困难，无法动态更改分析流程或分析流程参数的问题，每次修改日志分析流程或日志分析参数均需要重启服务，会导致分析服务断开，对用户体验不友好，而且架构复杂，学习成本高，同时计算资源利用率不高，分析任务无法细粒度控制。
[0006]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0007]针对相关技术中的问题，本专利技术提出一种动态日志分析方法及系统，以解决现有相关技术所存在的上述技术问题。
[0008]本专利技术的技术方案是这样实现的：根据本专利技术的一方面，提供了一种动态日志分析方法。
[0009]该动态日志分析方法，包括：基于K8S集群，搭建配置中心，并在配置中心内定义Flink解析任务的脚本和资源文件以及数据处理脚本；接收日志数据分析请求，并对所述日志数据分析请求进行分析，确定日志数据分析要求以及日志数据资源；根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据；根据所述日志数据分析要求，调用Flink解析任务的脚本和资源文件，对所述标准日志数据进行解析，形成日志分析结果并输出所述日志分析结果。
[0010]其中，所述数据处理脚本包括：数据过滤脚本、字段处理脚本、数据类型转换脚本、日期转换脚本、日志切分脚本、日志条件判断脚本、数据分流脚本。
[0011]其中，根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据包括：根据所述日志数据分析要求，调取所述数据过滤脚本，对所述日志数据中不满足所述日志数据分析要求的数据进行过滤；根据所述日志数据分析要求，调取所述字段处理脚本，对所述日志数据中数据字段进行修改，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述数据类型转换脚本，对所述日志数据中数据类型进行转换，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述日期转换脚本，对所述日志数据中的日期进行转换，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述日志切分脚本，对所述日志数据中的数据进行字符切分，形成与所述日志数据分析要求对应的日志数据；根据所述日志数据分析要求，调取所述日志条件判断脚本，对所述日志数据中的数据进行数据条件判断，形成不同数据条件的日志数据；根据所述日志数据分析要求，调取所述数据分流脚本，对形成不同数据条件的日志数据进行数据流分流。
[0012]此外，该动态日日志分析方法还包括：对所述日志数据和所述日志数据分析结果进行统计，形成统计结果。
[0013]另外，该动态日日志分析方法还包括：对所述日志数据、所述日志数据分析结果、所述统计结果进程进行结构化存储，并配置链接方式、认证方式以及用户名和密码。
[0014]根据本专利技术的另一方面，提供了一种动态日志分析系统。
[0015]该动态日志分析系统，包括：配置中心搭建模块，用于基于K8S集群，搭建配置中心，并在配置中心内定义Flink解析任务的脚本和资源文件以及数据处理脚本；日志分析模块，用于接收日志数据分析请求，并对所述日志数据分析请求进行分析，确定日志数据分析要求以及日志数据资源；
数据处理模块，用于根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据；日志分析模块，用于根据所述日志数据分析要求，调用Flink解析任务的脚本和资源文件，对所述标准日志数据进行解析，形成日志分析结果并输出所述日志分析结果。
[0016]其中，所述数据处理脚本包括：数据过滤脚本、字段处理脚本、数据类型转换脚本、日期转换脚本、日志切分脚本、日志条件判断脚本、数据分流脚本。
[0017]其中，根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据包括：根据所述日志数据分析要求，调取所述数据过滤脚本，对所述日志数据中不满足所述日志数据分析要求的数据进行过滤；根据所述日志数据分析要求，调取所述字段处理脚本，对所述日志数据中数据字段进行修改，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述数据类型转换脚本，对所述日志数据中数据类型进行转换，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述日期转换脚本，对所述日志数据中的日期进行转换，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述日志切分脚本，对所述日志数据中的数据进行字符切分，形成与所述日志数据分析要求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态日志分析方法，其特征在于，包括：基于K8S集群，搭建配置中心，并在配置中心内定义Flink解析任务的脚本和资源文件以及数据处理脚本；接收日志数据分析请求，并对所述日志数据分析请求进行分析，确定日志数据分析要求以及日志数据资源；根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据；根据所述日志数据分析要求，调用Flink解析任务的脚本和资源文件，对所述标准日志数据进行解析，形成日志分析结果并输出所述日志分析结果。2.根据权利要求1所述的一种动态日志分析方法，其特征在于，所述数据处理脚本包括：数据过滤脚本、字段处理脚本、数据类型转换脚本、日期转换脚本、日志切分脚本、日志条件判断脚本、数据分流脚本。3.根据权利要求2所述的一种动态日日志分析方法，其特征在于，根据所述日志数据分析要求，调取所述数据处理脚本，对所述日志数据资源进行处理，形成标准日志数据包括：根据所述日志数据分析要求，调取所述数据过滤脚本，对所述日志数据中不满足所述日志数据分析要求的数据进行过滤；根据所述日志数据分析要求，调取所述字段处理脚本，对所述日志数据中数据字段进行修改，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述数据类型转换脚本，对所述日志数据中数据类型进行转换，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述日期转换脚本，对所述日志数据中的日期进行转换，促使所述日志数据满足所述日志数据分析要求；根据所述日志数据分析要求，调取所述日志切分脚本，对所述日志数据中的数据进行字符切分，形成与所述日志数据分析要求对应的日志数据；根据所述日志数据分析要求，调取所述日志条件判断脚本，对所述日志数据中的数据进行数据条件判断，形成不同数据条件的日志数据；根据所述日志数据分析要求，调取所述数据分流脚本，对形成不同数据条件的日志数据进行数据流分流。4.根据权利要求3所述的一种动态日日志分析方法，其特征在于，还包括：对所述日志数据和所述日志数据分析结果进行统计，形成统计结果。5.根据权利要求4所述的一种动态日日志分析方法，其特征在于，还包括：对所述日志数据、所述日志数据分析结果、所述统计结果进程进行结构化存储，并配置链接方式、认证方式以及用户名和密码。6.一种动态日志分析系统，其特征在于，包括：配置中心搭建模块，用于...

【专利技术属性】
技术研发人员：林萍萍，王西光，张娇，章云鹏，
申请(专利权)人：林萍萍山东未来网络研究院紫金山实验室工业互联网创新应用基地，
类型：发明
国别省市：