数据同步方法及装置制造方法及图纸

本申请涉及数据处理技术领域，提供一种数据同步方法及装置

【技术实现步骤摘要】
数据同步方法及装置


[0001]本申请涉及数据处理
，具体涉及一种数据同步方法及装置
。

技术介绍

[0002]随着物联网
IOT
时代的来临，
IOT
设备感知和报警存储的数据越来越大，对数据的存储和分析的需求越来越高
。
而传统的数据库，如关系型数据库不能满足海量数据的存储和分析需求，因此越来越多用户选择将数据同步至一款
MPP
架构的列式存储数据库，即
Clickhouse。
[0003]相关技术中，将原始数据库的数据同步至
Clickhouse
的方式，是将原始数据库的各字段数据直接转换为二进制文件的格式然后同步至
Clickhouse。
但是这种同步方式，会使得每一条数据的写入，
clickhouse
都会生成一个新的分区目录，然后再将零散的分区目录按合并规则合并成一个新的目录，这导致新增一条数据就会生成一个待合并的目录，同步效率低
。

技术实现思路

[0004]本申请旨在至少解决相关技术中存在的技术问题之一
。
为此，本申请提出一种数据同步方法，能够提高数据同步至数据库的效率
。
[0005]本申请还提出一种数据同步装置
。
[0006]本申请还提出一种电子设备
。
[0007]本申请还提出一种计算机可读存储介质
。
[0008]根据本申请第一方面实施例的数据同步方法，包括：
[0009]根据目标数据库各分区的预设分区键，对各目标数据进行分组，确定各所述目标数据所属的分区；
[0010]根据各所述目标数据所属的分区，将各所述目标数据同步至所述目标数据库；
[0011]其中，所述目标数据由待同步数据进行格式转换后得到，所述待同步数据根据从原始数据库提取到的任一事件的各字段数据组合得到
。
[0012]本申请实施例提供的数据同步方法，通过目标数据库各分区的预设分区键，对各目标数据进行分组，确定各目标数据所属的分区，以根据各目标数据所属的分区，将各所述目标数据同步至目标数据库，从而使得在进行数据同步时，可基于标数据库各分区的预设分区键，来预先确定目标数据所需要存储的分区，以将目标数据直接存储至该分区，无需在目标数据库中生成新的分区目录以及对分区目录进行合并操作，进而提高数据同步至数据库的效率
。
[0013]根据本申请的一个实施例，还包括：
[0014]根据任一事件的主键，从所述原始数据库的事件表中，得到所述事件的各字段数据；
[0015]根据所述目标数据库的预设字段顺序，对各所述字段数据进行组合，得到所述待
同步数据
。
[0016]根据本申请的一个实施例，还包括：
[0017]对所述待同步数据中事件的各附件信息进行合并，得到初始数据；
[0018]根据所述目标数据库的字段类型，对所述初始数据进行格式转换，得到所述目标数据
。
[0019]根据本申请的一个实施例，所述预设分区键包括预设时间区间；
[0020]根据目标数据库各分区的预设分区键，对各目标数据进行分组，确定各所述目标数据所属的分区，包括：
[0021]将各分区的预设时间区间，与所述目标数据对应的时间戳进行比对，确定所述时间戳所属的预设时间区间；
[0022]根据所述时间戳所属的预设时间区间，确定所述目标数据所属的分区；
[0023]其中，所述目标数据对应的时间戳，为所述目标数据对应的事件产生的时间点
。
[0024]根据本申请的一个实施例，根据各所述目标数据所属的分区，将各所述目标数据同步至所述目标数据库，包括：
[0025]将属于同一分区的各目标数据，存储至同一
CSV
文件；
[0026]根据各所述
CSV
文件对应的分区，将各所述
CSV
文件依次同步至所述目标数据库；
[0027]其中，每次所述
CSV
文件的同步均在当前
CSV
文件完成同步后，再执行下一个
CSV
文件的同步操作
。
[0028]根据本申请的一个实施例，将属于同一分区的各目标数据，存储至同一
CSV
文件，包括：
[0029]根据所述分区的排序键，将属于同一所述分区的各目标数据按所述分区的排序键依次存储至同一所述
CSV
文件
。
[0030]根据本申请的一个实施例，根据各所述
CSV
文件对应的分区，将各所述
CSV
文件依次同步至所述目标数据库，包括：
[0031]根据所述
CSV
文件对应的分区的排序键，确定所述
CSV
文件中各所述目标数据的存储顺序；
[0032]根据所述存储顺序，将所述
CSV
文件中的各所述目标数据依次同步至所述目标数据库中与所述
CSV
文件对应的分区
。
[0033]根据本申请第二方面实施例的数据同步装置，包括：
[0034]数据分组模块，用于根据目标数据库各分区的预设分区键，对各目标数据进行分组，确定各所述目标数据所属的分区；
[0035]数据同步模块，用于根据各所述目标数据所属的分区，将各所述目标数据同步至所述目标数据库；
[0036]其中，所述目标数据由待同步数据进行格式转换后得到，所述待同步数据根据从原始数据库提取到的任一事件的各字段数据组合得到
。
[0037]根据本申请第三方面实施例的电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现上述任一实施例所述的数据同步方法
。
[0038]根据本申请第四方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的数据同步方法
。
[0039]根据本申请第五方面实施例的计算机程序产品，包括：所述计算机程序被处理器执行时实现如上述任一实施例所述的数据同步方法
。
[0040]本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
[0041]通过目标数据库各分区的预设分区键，对各目标数据进行分组，确定各目标数据所属的分区，以根据各目标数据所属的分区，将各所述目标数据同步至目标数据库，从而使得在进行数据同步时，可基于标数据库各分区的预设分区键，来预先确定目标数据所需要存储的分区，以将目标数据直接存储至该分区，无需在目标数据库中生成新的分区目录以及对分区目录进行合并操作，进而提高数据同步至数据库的效率
。
附图说明
[0042]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据同步方法，其特征在于，包括：根据目标数据库各分区的预设分区键，对各目标数据进行分组，确定各所述目标数据所属的分区；根据各所述目标数据所属的分区，将各所述目标数据同步至所述目标数据库；其中，所述目标数据由待同步数据进行格式转换后得到，所述待同步数据根据从原始数据库提取到的任一事件的各字段数据组合得到
。2.
根据权利要求1所述的数据同步方法，其特征在于，还包括：根据任一事件的主键，从所述原始数据库的事件表中，得到所述事件的各字段数据；根据所述目标数据库的预设字段顺序，对各所述字段数据进行组合，得到所述待同步数据
。3.
根据权利要求1或2所述的数据同步方法，其特征在于，还包括：对所述待同步数据中事件的各附件信息进行合并，得到初始数据；根据所述目标数据库的字段类型，对所述初始数据进行格式转换，得到所述目标数据
。4.
根据权利要求1所述的数据同步方法，其特征在于，所述预设分区键包括预设时间区间；根据目标数据库各分区的预设分区键，对各目标数据进行分组，确定各所述目标数据所属的分区，包括：将各分区的预设时间区间，与所述目标数据对应的时间戳进行比对，确定所述时间戳所属的预设时间区间；根据所述时间戳所属的预设时间区间，确定所述目标数据所属的分区；其中，所述目标数据对应的时间戳，为所述目标数据对应的事件产生的时间点
。5.
根据权利要求
1、2
或4所述的数据同步方法，其特征在于，根据各所述目标数据所属的分区，将各所述目标数据同步至所述目标数据库，包括：将属于同一分区的各目标数据，存储至同一
CSV
文件；根据各所述
CSV
文件对应的分区，将各所述
CSV
文件依次同步至所述目标数据库；其中，每次所述
CSV
文件的同步均...

【专利技术属性】
技术研发人员：王宇奇，黄兵华，
申请(专利权)人：北京天融信网络安全技术有限公司北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：