一种Clickhouse冷热集群的数据转储方法及系统技术方案

本发明专利技术涉及一种ClickHouse冷热集群的数据转储方法及系统，具体包括：建立与ClickHouse冷热集群及其配置服务系统的连接，并建立与消息队列的连接，从配置服务系统获取ClickHouse冷热集群的存储元数据，设置冷热数据策略，根据冷热数据策略生成数据查询语句，使用数据查询语句从ClickHouse冷热集群中采集数据，存入消息队列，根据消息队列中的数据生成批量数据插入语句，使用批量数据插入语句对ClickHouse冷热集群中指定的库表进行转储。本发明专利技术的方法能够将数据按照冷热数据进行分类并存储到不同集群，通过预设冷热数据策略，适配多种的业务场景，借助冷热数据转储装置的实时、高效、精准的特点，提供高性能的数据库查询服务。询服务。询服务。

【技术实现步骤摘要】
一种Clickhouse冷热集群的数据转储方法及系统


[0001]本专利技术属于数据库管理
，具体涉及一种ClickHouse冷热集群的数据转储方法及系统。

技术介绍

[0002]随着大数据时代的到来，数据分析技术也日新月异，以ClickHouse为代表的列式存储数据库应运而生，凭借优秀的性能，目前已经被广泛应用在OLAP相关领域，同时与其他分布式的MPP数据库一样支持横向扩展。
[0003]在现有技术方案中，为提供性能高、稳定性强的ClickHouse存储服务，往往采用昂贵的、性能强的服务器建设ClickHouse存储集群。但是实际场景中的服务器，其性能规格都是参差不齐的，如何充分利用各类服务器资源建设性能强稳定性高的ClickHouse存储服务成为业界普遍关注的问题。
[0004]针对如何充分利用各类服务器资源建设稳定性强、性能高的ClickHouse存储服务的问题，目前尚未提出较全面且高效的解决方案，目前大多数方案也更多的只是关注ClickHouse高可用性，却忽略了高性能和存储成本。
[0005]在冷热集群存储中，热集群所使用的存储装置一般较冷集群更加昂贵，因此一个理所当然的方案便是使用性能较好的服务器作为热集群节点，使用性能相对较差的服务器作为冷集群节点。
[0006]可在ClickHouse服务器的应用中，数据从热集群节点至冷集群结点的转储过程存在空白，因此，针对上述问题，有必要提出一种ClickHouse冷热集群的数据转储方法及系统。

技术实现思路

[0007]基于现有技术中存在的上述缺点和不足，本专利技术的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本专利技术的目的之一是提供满足前述需求之一或多个的一种ClickHouse冷热集群的数据转储方法及系统。
[0008]为了达到上述专利技术目的，本专利技术采用以下技术方案：第一方面，本专利技术提供一种ClickHouse冷热集群的数据转储方法，应用于ClickHouse冷热集群，具体包括：建立与ClickHouse冷热集群及其配置服务系统的连接，并建立与消息队列的连接；从配置服务系统获取ClickHouse冷热集群的存储元数据；设置冷热数据策略；根据冷热数据策略生成数据查询语句；使用数据查询语句从ClickHouse冷热集群中采集数据，存入消息队列；根据消息队列中的数据生成批量数据插入语句；
使用批量数据插入语句对ClickHouse冷热集群中指定的库表进行转储。
[0009]作为一种优选方案，方法还包括：在转储结束后，对批量数据插入语句进行执行版本标记。
[0010]作为一种优选方案，从配置服务系统获取ClickHouse冷热集群的存储元数据，具体包括：获取当前副本所在节点的IP信息、端口信息；获取数据库信息；获取表信息；根据表信息，读取表路径下的列信息；将IP信息、端口信息、数据库信息、表信息、列信息作为存储元数据，进行逻辑标识和合法性检验；对通过合法性校验的存储元数据进行格式化组装。
[0011]作为一种进一步优选的方案，获取当前副本所在节点的IP信息、端口信息，具体包括：遍历配置服务系统数据路径下的replicas数据节点，获取所有replicas.host文件；根据replicas.host文件获取当前副本所在节点的IP信息、端口信息。
[0012]作为一种优选方案，冷热数据策略具体包括：目标集群、目标库表、数据筛选条件、冷热数据时间范围、冷热数据过期时间。
[0013]作为一种优选方案，根据消息队列中的数据生成批量数据插入语句，具体包括：汇总消息队列中的数据；根据汇总后的数据生成批量数据插入语句。
[0014]作为一种优选方案，消息队列使用Kafka消息队列。
[0015]第二方面，本专利技术提供一种ClickHouse冷热集群的数据转储系统，具体包括：连接模块，用于建立与ClickHouse冷热集群及其配置服务系统的连接，并建立与消息队列的连接；元数据获取模块，用于从配置服务系统获取ClickHouse冷热集群的存储元数据；冷热数据策略设置模块，用于设置冷热数据策略；查询语句生成模块，用于根据冷热数据策略生成数据查询语句；查询模块，用于使用数据查询语句从ClickHouse冷热集群中采集数据，存入消息队列；插入语句生成模块，用于根据消息队列中的数据生成批量数据插入语句；转储模块，用于使用批量数据插入语句对ClickHouse冷热集群中指定的库表进行转储。
[0016]作为一种优选方案，系统还包括：执行标记模块，用于对批量数据插入语句进行执行版本标记。
[0017]第三方面，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的方法。
[0018]第四方面，本专利技术还提供一种计算机设备，计算机设备包括存储器、处理器以及存
储在存储器中并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上述任一项的方法。
[0019]本专利技术与现有技术相比，有益效果是：本专利技术的方法及系统能够将数据按照冷热数据进行分类并存储到不同集群，通过预设冷热数据策略，适配多种的业务场景，借助冷热数据转储装置的实时、高效、精准的特点，提供高性能的数据库查询服务。
附图说明
[0020]图1是本专利技术的一种ClickHouse冷热集群的数据转储方法的流程图；图2是本专利技术一实施例的步骤S2的流程图。
具体实施方式
[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0022]在下述介绍中提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
[0023]下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
[0024]在具体讲述本专利技术方法的实施方式之前，在此对本申请方法的配置环境做如下说明：本申请所应用的ClickHouse集群具有相配套的配置服务系统和消息队列，一般来讲，配置服务系统用于管理分布式集群，以便在集群中添加或删除节点，并在节点之间进行数据同步。此外，配置服务系统还可以用于存储ClickHouse的配置文件，以便在集群中的所有节点上保持一致。
[0025]为了减少存储开销，一个优秀的部署架构方案是：使用性能较好的服务器作为热集群节点，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ClickHouse冷热集群的数据转储方法，应用于ClickHouse冷热集群，其特征在于，具体包括：建立与ClickHouse冷热集群及其配置服务系统的连接，并建立与消息队列的连接；从所述配置服务系统获取所述ClickHouse冷热集群的存储元数据；设置冷热数据策略；根据所述冷热数据策略生成数据查询语句；使用所述数据查询语句从所述ClickHouse冷热集群中采集数据，存入所述消息队列；根据所述消息队列中的数据生成批量数据插入语句；使用所述批量数据插入语句对所述ClickHouse冷热集群中指定的库表进行转储。2.如权利要求1所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，方法还包括：在转储结束后，对所述批量数据插入语句进行执行版本标记。3.如权利要求1所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，所述从所述配置服务系统获取所述ClickHouse冷热集群的存储元数据，具体包括：获取当前副本所在节点的IP信息、端口信息；获取数据库信息；获取表信息；根据所述表信息，读取表路径下列信息；对所述IP信息、端口信息、数据库信息、表信息、列信息作为存储元数据，进行逻辑标识和合法性检验；对通过所述合法性校验的存储元数据进行格式化组装。4.如权利要求3所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，所述获取当前副本所在节点的IP信息、端口信息，具体包括：遍历所述配置服务系统数据路径下的replicas数据节点，获取所有replicas.host文件；根据所述replicas.host文件获取当前副本所在节点的IP信息、端口信息。5.如权利要求1所述的一种ClickHouse冷热集群的数据转储方法，其特征在于，所述冷热数据策略具体包括：目标集群、目标库...

【专利技术属性】
技术研发人员：黄锰，熊魁伟，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：