一种Clickhouse冷热集群的数据转储方法及系统技术方案

本发明专利技术涉及一种ClickHouse冷热集群的数据转储方法及系统，具体包括：建立与ClickHouse冷热集群及其配置服务系统的连接，并建立与消息队列的连接，从配置服务系统获取ClickHouse冷热集群的存储元数据，设置冷热数据策略，根据冷热数据策略生成数据查询语句，使用数据查询语句从ClickHouse冷热集群中采集数据，存入消息队列，根据消息队列中的数据生成批量数据插入语句，使用批量数据插入语句对ClickHouse冷热集群中指定的库表进行转储。本发明专利技术的方法能够将数据按照冷热数据进行分类并存储到不同集群，通过预设冷热数据策略，适配多种的业务场景，借助冷热数据转储装置的实时、高效、精准的特点，提供高性能的数据库查询服务。询服务。询服务。

【技术实现步骤摘要】
一种Clickhouse冷热集群的数据转储方法及系统


[0001]本专利技术属于数据库管理
，具体涉及一种ClickHouse冷热集群的数据转储方法及系统。

技术介绍

[0002]随着大数据时代的到来，数据分析技术也日新月异，以ClickHouse为代表的列式存储数据库应运而生，凭借优秀的性能，目前已经被广泛应用在OLAP相关领域，同时与其他分布式的MPP数据库一样支持横向扩展。
[0003]在现有技术方案中，为提供性能高、稳定性强的ClickHouse存储服务，往往采用昂贵的、性能强的服务器建设ClickHouse存储集群。但是实际场景中的服务器，其性能规格都是参差不齐的，如何充分利用各类服务器资源建设性能强稳定性高的ClickHouse存储服务成为业界普遍关注的问题。
[0004]针对如何充分利用各类服务器资源建设稳定性强、性能高的ClickHouse存储服务的问题，目前尚未提出较全面且高效的解决方案，目前大多数方案也更多的只是关注ClickHouse高可用性，却忽略了高性能和存储成本。
[0005]在冷热集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ClickHouse冷热集群的数据转储方法，应用于ClickHouse冷热集群，其特征在于，具体包括：建立与ClickHouse冷热集群及其配置服务系统的连接，并建立与消息队列的连接；从所述配置服务系统获取所述ClickHouse冷热集群的存储元数据；设置冷热数据策略；根据所述冷热数据策略生成数据查询语句；使用所述数据查询语句从所述ClickHouse冷热集群中采集数据，存入所述消息队列；根据所述消息队列中的数据生成批量数据插入语句；使用所述批量数据插入语句对所述ClickHouse冷热集群中指定的库表进行转储。2.如权利要求1所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，方法还包括：在转储结束后，对所述批量数据插入语句进行执行版本标记。3.如权利要求1所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，所述从所述配置服务系统获取所述ClickHouse冷热集群的存储元数据，具体包括：获取当前副本所在节点的IP信息、端口信息；获取数据库信息；获取表信息；根据所述表信息，读取表路径下列信息；对所述IP信息、端口信息、数据库信息、表信息、列信息作为存储元数据，进行逻辑标识和合法性检验；对通过所述合法性校验的存储元数据进行格式化组装。4.如权利要求3所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，所述获取当前副本所在节点的IP信息、端口信息，具体包括：遍历所述配置服务系统数据路径下的replicas数据节点，获取所有replicas.host文件；根据所述replicas.host文件获取当前副本所在节点的IP信息、端口信息。5.如权利要求1所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，所述冷热数据策略具体包括：目标集群、目标库...

【专利技术属性】
技术研发人员：黄锰，熊魁伟，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：