一种基于jlogstash的Clickhouse数据写入插件方法技术

本发明专利技术公开了一种基于jlogstash的Clickhouse数据写入插件方法，包括以下步骤：根据指定的关键词进行数据的分类，每一类数据对应Clickhouse数据库的每一张表；判断Clickhouse数据库中是否存在该数据库、数据表，若不存在，进行创建操作；对写入的数据进行字段的校验，若发现有新增的字段，便会触发Clickhouse数据库表字段新增操作；生产者线程将校验好的数据投递到对应的处理者线程中，等待处理者线程消费；消费者线程每次消费数据后，会对Clickhouse集群进行健康性检测；在消费者线程消费数据时，受到时间和条数的两种限制，则启动写入Clickhouse流程。本发明专利技术能够实现字段的增加或减少做到自动的修改表字段操作，有效提高数据的写入流程的速度，实现不规则数据的写入。则数据的写入。

【技术实现步骤摘要】
一种基于jlogstash的Clickhouse数据写入插件方法


[0001]本专利技术涉及数据写入插件
，具体来说，涉及一种基于jlogstash 的Clickhouse数据写入插件方法。

技术介绍

[0002]实时日志、性能数据采集分析作为掌握公司业务运作情况、故障问题查找分析的一个重要手段，在现在的众多实现方案中，使用最多的莫过于ELK 方案。ELK方案基于Logstash,Elasicsearch,Kibana作为技术栈，来实现数据采集分析展示的功能。本公司基于开源的Logstash项目开发了自己的 jlogstash框架，使用Java作为开发语言，同时将性能提升到原版(Ruby版本)的五倍左右。
[0003]在数据展示的同时，我们还需要将采集到的数据进行分析处理，此时 Elasticsearch的性能便成为了我们的瓶颈，为此我们引入了Clickhouse这个 OLAP数据库。Clickhouse是一个列导向数据库，采用了Local attachedstorage作为存储方案，IO性能因此大幅提升；采用SQL作为开发语言，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于jlogstash的Clickhouse数据写入插件方法，其特征在于，包括以下步骤：(1)根据指定的关键词进行数据的分类，每一类数据对应Clickhouse数据库的每一张表；(2)判断Clickhouse数据库中是否存在该数据库、数据表，若不存在，进行创建操作，同时会预先准备相关的表数据信息，若该关键词在预置好的数据中存在相对应的信息，便会读取预置信息进行创建；(3)对写入的数据进行字段的校验，本地会缓存一份数据库的表字段信息，每一条信息都会与其进行字段的校验，若发现有新增的字段，便会触发Clickhouse数据库表字段新增操作；(4)生产者线程将校验好的数据投递到对应的处理者线程中，等待处理者线程消费；(5)消费者线程每次消费数据后，会对Clickhouse...

【专利技术属性】
技术研发人员：钱奕辰，
申请(专利权)人：杭州云掣科技有限公司，
类型：发明
国别省市：