一种基于ClickHouse的高可用Kong网关日志分析方法及系统技术方案

本发明专利技术公开了一种基于ClickHouse的高可用Kong网关日志分析方法及系统，包括：Kong网关利用Kafka组件确定获取的原始日志信息对应的第一主题，并将原始日志信息传入对应的第一主题中；基于Flume的source组件实时消费所述第一主题，以确定第二主题；编写ClickHouse的config.xml，进行ClickHouse的Kafka引擎表的创建，进行所述第二主题的配置，以实时消费所述第二主题中的数据，并在ClickHouse集群中各个节点创建本地表、每个本地表对应的分布式表和对应Kafka引擎表的物化视图；在ClickHouse中使用SQL脚本语句，对存储在分布式表的数据按实际需求进行聚合和分析。本发明专利技术在ClickHouse的基础上，将Kafka、Flume、Zookeeper等组件进行合理地搭配组合，使Kong网关实时产生的数据能够在第一时间完成采集、存储与分析，帮助使用者及时看到数据分析结果。果。果。

【技术实现步骤摘要】
一种基于ClickHouse的高可用Kong网关日志分析方法及系统


[0001]本专利技术涉及日志分析
，并且更具体地，涉及一种基于ClickHouse的高可用Kong网关日志分析方法及系统。

技术介绍

[0002]ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS)，使用C++语言编写，主要用于在线分析处理查询(OLAP)，能够使用SQL查询实时生成分析数据报告。表现方面，ClickHouse拥有业界极佳的查询性能，通过对列式存储和压缩算法的创新应用显着降低了对存储的需求；可扩展性方面，ClickHouse在生产环境中经过实际检验，具有从单服务器部署扩展到数千个节点集群的线性水平可扩展性；可靠性方面，ClickHouse部署具有一流的可用性，不存在单点故障，同时架构支持多主节点之间相互复制，能够在多种区域配置中有效执行；安全性方面，ClickHouse具有企业级安全功能和故障安全机制，可防止数据因应用程序错误或者人为因素遭到破坏而导致丢失。
[0003]Kong网关拥有久经考验的开源技术，目前在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ClickHouse的高可用Kong网关日志分析方法，其特征在于，所述方法包括：Kong网关利用Kafka组件确定获取的原始日志信息对应的第一主题，并将所述原始日志信息传入对应的第一主题中；基于Flume的source组件实时消费所述第一主题，以确定第二主题；编写ClickHouse的config.xml，进行ClickHouse的Kafka引擎表的创建，进行所述第二主题的配置，以实时消费所述第二主题中的数据，并在ClickHouse集群中各个节点创建本地表、每个本地表对应的分布式表和对应Kafka引擎表的物化视图；在ClickHouse中使用SQL脚本语句，对存储在分布式表的数据按实际需求进行聚合和分析。2.根据权利要求1所述的方法，其特征在于，所述基于Flume的source组件实时消费所述第一主题，以确定第二主题，包括：基于Flume的source组件实时消费拥有所述原始日志信息的第一主题，利用interceptor拦截器对原始数据进行清洗和格式转换，再基于内存类型的channel组件和sink组件输出至另一个拥有处理后数据的第二主题。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述物化视图中使用JSONExtract、arrayMap、JSONExtractArrayRaw和JSONExtractRaw函数搭配Tuple数据类型解析Json格式的kafka数据。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在启用物化视图后，ClickHouse集群Kafka引擎表数据更新后，实时将更新的数据写入分布式表进行存储。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用Zookeeper进行各分布式集群服务的统一协调、配置与管理。6.一种基于ClickHouse的高可用Kong网关日志分析系统，其特征在于，...

【专利技术属性】
技术研发人员：张皓，林文辉，王志刚，马兰，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：