列式储存数据库clickhouse的数据同步方法技术

本发明专利技术实施例提供一种列式储存数据库clickhouse的数据同步方法，属于数据处理技术领域，该方法包括：获取待同步的数据；根据待同步的数据，生成结构化或半结构化的目标文件；根据结构化或半结构化的目标文件，生成二进制目标文件；根据二进制目标文件，进行clickhouse数据库的数据同步。本发明专利技术实施例数据同步过程中不需要额外占用clickhouse数据库服务端对应的资源，从而也就使得进行clickhouse数据库的数据同步时，可以同时维持clickhouse数据库良好的读取性能，提升clickhouse数据库的数据处理效率和用户感知。clickhouse数据库的数据处理效率和用户感知。clickhouse数据库的数据处理效率和用户感知。

【技术实现步骤摘要】
列式储存数据库clickhouse的数据同步方法


[0001]本专利技术涉及数据处理
，尤其涉及一种clickhouse数据库的数据同步方法、装置和设备。

技术介绍

[0002]clickhouse是一个用于联机分析(Online Analytical Processing，OLAP)的列式数据库管理系统，支持线性扩展，具有简单方便，高可靠性的特点。
[0003]相关技术中，利用传统Java数据库连接（Java Database Connectivity，JDBC）方式进行clickhouse数据库的数据同步时，会导致clickhouse数据库的读取性能的严重下降。

技术实现思路

[0004]针对现有技术中的问题，本专利技术实施例提供一种列式储存数据库clickhouse的数据同步方法。
[0005]具体地，本专利技术实施例提供了以下技术方案：第一方面，本专利技术实施例提供了一种列式储存数据库clickhouse的数据同步方法，包括：获取待同步的数据；根据所述待同步的数据，生成结构化或半结构化的目标文件；根据所述结构化或半结构化的目标文件，生成二进制目标文件；根据所述二进制目标文件，进行clickhouse数据库的数据同步。
[0006]进一步地，所述根据所述结构化或半结构化的目标文件，生成二进制目标文件，包括：将所述结构化或半结构化的目标文件，转换为与clickhouse数据库的服务端中的目标表的格式相同的二进制目标文件。
[0007]进一步地，所述根据所述待同步的数据，生成结构化或半结构化的目标文件，包括：将所述待同步的数据划分为多个数据块，利用分布式计算引擎对所述多个数据块进行并行处理，生成多个结构化或半结构化的目标文件。
[0008]进一步地，所述根据所述二进制目标文件，进行clickhouse数据库的数据同步，包括：将所述二进制目标文件拷贝至clickhouse数据库的服务端，将所述二进制目标文件中的数据同步至clickhouse数据库。
[0009]进一步地，所述将所述二进制目标文件中的数据同步至clickhouse数据库，包括：执行目标映射指令，将所述二进制目标文件中的数据同步至clickhouse数据库的目标表中。
[0010]第二方面，本专利技术实施例还提供了一种列式储存数据库clickhouse的数据同步装置，包括：获取模块，用于获取待同步的数据；第一生成模块，用于根据所述待同步的数据，生成结构化或半结构化的目标文件；第二生成模块，用于根据所述结构化或半结构化的目标文件，生成二进制目标文件；同步模块，用于根据所述二进制目标文件，进行clickhouse数据库的数据同步。
[0011]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述列式储存数据库clickhouse的数据同步方法。
[0012]第四方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述列式储存数据库clickhouse的数据同步方法。
[0013]第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述列式储存数据库clickhouse的数据同步方法。
[0014]本专利技术实施例提供的列式储存数据库clickhouse的数据同步方法，通过将待同步的数据转换成clickhouse数据库中的目标表所对应的底层二进制目标文件后，将二进制目标文件拷贝到clickhouse数据库的服务端进行装载和映射，生成clickhouse数据库中的表，也就实现了clickhouse数据库的数据同步；由于生成的二进制目标文件为clickhouse服务端可以直接识别读取的二进制文件，因此数据同步过程中不需要额外占用clickhouse数据库服务端对应的CPU资源和内存资源，从而也就使得进行clickhouse数据库的数据同步时，可以同时维持clickhouse数据库良好的读取性能，提升clickhouse数据库的数据处理效率和用户感知。
附图说明
[0015]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术实施例提供的列式储存数据库clickhouse的数据同步方法的流程示意图；图2是本专利技术实施例提供的列式储存数据库clickhouse的数据同步方法的另一流程示意图；图3是本专利技术实施例提供的列式储存数据库clickhouse的数据同步装置的结构示意图；图4是本专利技术实施例提供的电子设备的结构示意图。
具体实施方式
[0017]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]本专利技术实施例的方法可以应用于数据处理技术场景中，实现clickhouse数据库中数据的高效同步，且不影响clickhouse数据库的读取性能。
[0019]相关技术中，利用传统Java数据库连接（Java Database Connectivity，JDBC）方式进行clickhouse数据库的数据同步时，会导致clickhouse数据库的读取性能的严重下降，而且该问题在本领域中一直没有有效的解决方案。
[0020]本专利技术实施例的列式储存数据库clickhouse的数据同步方法，通过将待同步的数据转换成clickhouse数据库中的目标表所对应的底层二进制目标文件后，将二进制目标文件拷贝到clickhouse数据库的服务端进行装载和映射，生成clickhouse数据库中的表，也就实现了clickhouse数据库的数据同步；由于生成的二进制目标文件为clickhouse服务端可以直接识别读取的二进制文件，因此数据同步过程中不需要额外占用clickhouse数据库服务端对应的CPU资源和内存资源，从而也就使得进行clickhouse数据库的数据同步时，可以同时维持clickhouse数据库良好的读取性能，提升clickhouse数据库的数据处理效率和用户感知。
[0021]下面结合图1
‑
图4以具体的实施例对本专利技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0022]图1是本专利技术实施例提供的列式储存数据库clickhouse的数据同步方法一实施例的流程示意图。如图1所示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种列式储存数据库clickhouse的数据同步方法，其特征在于，包括：获取待同步的数据；根据所述待同步的数据，生成结构化或半结构化的目标文件；根据所述结构化或半结构化的目标文件，生成二进制目标文件；根据所述二进制目标文件，进行clickhouse数据库的数据同步。2.根据权利要求1所述的列式储存数据库clickhouse的数据同步方法，其特征在于，所述根据所述结构化或半结构化的目标文件，生成二进制目标文件，包括：将所述结构化或半结构化的目标文件，转换为与clickhouse数据库的服务端中的目标表的格式相同的二进制目标文件。3.根据权利要求2所述的列式储存数据库clickhouse的数据同步方法，其特征在于，所述根据所述待同步的数据，生成结构化或半结构化的目标文件，包括：将所述待同步的数据划分为多个数据块，利用分布式计算引擎对所述多个数据块进行并行处理，生成多个结构化或半结构化的目标文件。4.根据权利要求1
‑
3任一项所述的列式储存数据库clickhouse的数据同步方法，其特征在于，所述根据所述二进制目标文件，进行clickhouse数据库的数据同步，包括：将所述二进制目标文件拷贝至clickhouse...

【专利技术属性】
技术研发人员：王伟，阮东东，
申请(专利权)人：北京仁科互动网络技术有限公司，
类型：发明
国别省市：