一种数据同步方法及装置制造方法及图纸

本发明专利技术公开了一种数据同步方法及装置。所述方法包括：管理设备接收各源数据库在当前周期内发送的各源数据后，根据各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合并将目标数据集合发送至各数据宿。本发明专利技术实施例中，只需要管理设备执行这一计算过程，在同步的过程进行目标数据集合的计算，使得数据宿能够直接获取目标数据集合，大大降低了整个系统的计算量，提升了数据同步的时效性。

A Data Synchronization Method and Device

The invention discloses a data synchronization method and device. The method includes: after the management device receives the source data sent by the source databases in the current cycle, it calculates the data according to the relationship between the source databases and the multiple data records included in each source data, obtains the target data set merging and sends the target data set to the data sinks. In the embodiment of the present invention, only the management device is required to perform the calculation process, and the target data set is calculated in the synchronous process, so that the data sink can obtain the target data set directly, which greatly reduces the calculation amount of the whole system and improves the timeliness of data synchronization.

【技术实现步骤摘要】
一种数据同步方法及装置
本专利技术涉及数据处理
，尤其涉及一种数据同步方法及装置。
技术介绍
数据同步一直是计算机系统之间进行交互的不可避免的问题，数据同步的时效性和准确性将直接影响计算机系统之间的交互。现有的数据同步技术，通常是先将各源数据库中的各源数据分别同步到数据宿，然后由数据宿进行计算，从而获取所需的数据。然而，这种方法对于每个数据宿而言，都需要进行这样的计算过程，过程比较复杂，比较浪费时间。基于此，目前亟需一种数据同步方法，用于解决现有技术中的数据同步过程比较复杂，耗时较长的问题。
技术实现思路
本专利技术实施例提供一种数据同步方法及装置，以解决现有技术中数据同步过程比较复杂，耗时较长的技术问题。本专利技术实施例提供一种数据同步方法，所述方法应用于数据同步系统，所述系统包括管理设备、多个源数据库和至少一个数据宿；所述方法包括：所述管理设备接收各源数据库在当前周期内发送的各源数据；所述各源数据为所述各源数据库在所述当前周期内对应的全量数据；所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合；所述管理设备将所述目标数据集合发送至各数据宿，所述数据宿用于接收数据。如此，本专利技术实施例设置管理设备，通过管理设备对各源数据库的各源数据进行计算，从而在管理设备层面确定目标数据集合，进而可以将目标增量数据集合发送给各数据宿。相比于现有技术中每个数据宿都需要分别计算目标数据集合的方式而言，本专利技术实施例中，只需要管理设备执行这一计算过程，在同步的过程进行目标数据集合的计算，使得数据宿能够直接获取目标数据集合，大大降低了整个系统的计算量，提升了数据同步的时效性；进一步地，采用管理设备向个数据宿发送目标数据集合，能够将一份目标数据集合同时发送到多个数据宿，从而能够提升数据同步的效率。在一种可能的实现方式中，所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合，包括：所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，确定所述当前周期内的第一数据集合；所述管理设备若确定存在所述当前周期的上一周期对应的第二数据集合，则确定所述第一数据集合相较于所述第二数据集合的增量数据集合，并将所述增量数据集合作为所述目标数据集合；所述第二数据集合是根据所述各源数据库在所述上一周期内发送的各源数据得到的。在一种可能的实现方式中，每条数据记录包括索引值；所述各源数据库之间的关联关系通过以下方式确定：针对第一源数据中的第一数据记录，所述管理设备根据所述第一数据记录对应的索引值，若确定第二源数据中存在索引值与所述第一数据记录对应的索引值一致的第二数据记录，则根据所述第一数据记录在所述第一数据源中的位置和所述第二数据记录在所述第二数据源中的位置，确定所述第一数据记录与所述第二数据记录的关联关系；所述第一源数据为所述各源数据中任一源数据，所述第一数据记录为所述第一源数据包括的多条数据记录中任一数据记录；根据所述每个源数据包括的多条数据记录之间的关联关系，确定所述各源数据库之间的关联关系。在一种可能的实现方式中，所述各源数据库之间为异构数据库，所述异构数据库为数据库之间的结构不同的数据库；所述各源数据的关联关系为基于结构化查询语言SQL的关联关系。如此，采用通用的SQL语言，能够降低各异构源数据计算的难度，方便各异构源数据的逻辑计算，也便于数据的维护。在一种可能的实现方式中，所述管理设备将所述目标数据集合发送至各数据宿，包括：所述管理设备根据所述各数据宿的数据需求，从所述目标数据集合中确定符合所述各数据宿的数据需求的各目标数据；所述管理设备将所述各目标数据对应发送至所述各数据宿。在一种可能的实现方式中，还包括：所述管理设备若确定不存在所述第二数据集合，则将所述第一数据集合作为所述目标数据集合。在一种可能的实现方式中，所述管理设备将所述目标数据集合发送至各数据宿之后，还包括：所述管理设备获取所述各数据宿的数据同步信息；所述数据同步信息包括数据增加记录、数据删除记录和数据修改记录中的至少一项；所述管理设备根据所述各数据宿的数据同步信息，对所述各数据宿的同步情况进行监控。如此，可以实时监测各数据宿的同步情况，便于管理设备统计分析。在一种可能的实现方式中，所述管理设备接收各源数据库在当前周期内发送的源数据之后，还包括：所述管理设备获取所述各源数据库的数据发送情况，所述数据发送情况是根据所述各源数据的数据发送耗时和/或数据发送量确定的；所述管理设备根据所述各源数据库的数据发送情况，对所述各源数据库的同步情况进行监控。如此，可以实时监测各源数据库的同步情况，便于管理设备统计分析。在一种可能的实现方式中，所述管理设备将所述目标数据集合发送至各数据宿之后，还包括：所述管理设备若确定所述目标数据集合发送失败，且发送失败的次数大于预设阈值，则向管理员发送告警消息，所述告警消息用于通知所述管理员所述目标数据集合发送失败。如此，一旦目标数据集合多次出现发送失败的情况管理设备可以及时向管理员发送告警消息，以便管理员及时进行处理。本专利技术实施例提供一种数据同步装置，所述装置应用于数据同步系统，所述系统包括管理设备、多个源数据库和至少一个数据宿；所述装置为管理设备，所述装置包括：接收单元，用于接收各源数据库在当前周期内发送的各源数据；所述各源数据为所述各源数据库在所述当前周期内对应的全量数据；处理单元，用于根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合；发送单元，用于将所述目标数据集合发送至各数据宿，所述数据宿用于接收数据。在一种可能的实现方式中，所述处理单元具体用于：根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，确定所述当前周期内的第一数据集合；以及若确定存在所述当前周期的上一周期对应的第二数据集合，则确定所述第一数据集合相较于所述第二数据集合的增量数据集合，并将所述增量数据集合作为所述目标数据集合；所述第二数据集合是根据所述各源数据库在所述上一周期内发送的各源数据得到的。在一种可能的实现方式中，每条数据记录包括索引值；所述各源数据库之间的关联关系通过以下方式确定：针对第一源数据中的第一数据记录，所述管理设备根据所述第一数据记录对应的索引值，若确定第二源数据中存在索引值与所述第一数据记录对应的索引值一致的第二数据记录，则根据所述第一数据记录在所述第一数据源中的位置和所述第二数据记录在所述第二数据源中的位置，确定所述第一数据记录与所述第二数据记录的关联关系；所述第一源数据为所述各源数据中任一源数据，所述第一数据记录为所述第一源数据包括的多条数据记录中任一数据记录；根据所述每个源数据包括的多条数据记录之间的关联关系，确定所述各源数据库之间的关联关系。在一种可能的实现方式中，所述各源数据库之间为异构数据库，所述异构数据库为数据库之间的结构不同的数据库；所述各源数据的关联关系为基于结构化查询语言SQL的关联关系。在一种可能的实现方式中，所述发送单元具体用于：根据所述各数据宿的数据需求，从所述目标数据集合中确定符合所述各数据宿的数据需求的各目标数据；以及将所述各目标数据对应发送至所述各数本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，所述方法应用于数据同步系统，所述系统包括管理设备、多个源数据库和至少一个数据宿；所述方法包括：所述管理设备接收各源数据库在当前周期内发送的各源数据；所述各源数据为所述各源数据库在所述当前周期内对应的全量数据；所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合；所述管理设备将所述目标数据集合发送至各数据宿，所述数据宿用于接收数据。

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法应用于数据同步系统，所述系统包括管理设备、多个源数据库和至少一个数据宿；所述方法包括：所述管理设备接收各源数据库在当前周期内发送的各源数据；所述各源数据为所述各源数据库在所述当前周期内对应的全量数据；所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合；所述管理设备将所述目标数据集合发送至各数据宿，所述数据宿用于接收数据。2.根据权利要求1所述的方法，其特征在于，所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，进行计算，得到目标数据集合，包括：所述管理设备根据所述各源数据库之间的关联关系以及每个源数据包括的多条数据记录，确定所述当前周期内的第一数据集合；所述管理设备若确定存在所述当前周期的上一周期对应的第二数据集合，则确定所述第一数据集合相较于所述第二数据集合的增量数据集合，并将所述增量数据集合作为所述目标数据集合；所述第二数据集合是根据所述各源数据库在所述上一周期内发送的各源数据得到的。3.根据权利要求1所述的方法，其特征在于，每条数据记录包括索引值；所述各源数据库之间的关联关系通过以下方式确定：针对第一源数据中的第一数据记录，所述管理设备根据所述第一数据记录对应的索引值，若确定第二源数据中存在索引值与所述第一数据记录对应的索引值一致的第二数据记录，则根据所述第一数据记录在所述第一数据源中的位置和所述第二数据记录在所述第二数据源中的位置，确定所述第一数据记录与所述第二数据记录的关联关系；所述第一源数据为所述各源数据中任一源数据，所述第一数据记录为所述第一源数据包括的多条数据记录中任一数据记录；根据所述每个源数据包括的多条数据记录之间的关联关系，确定所述各源数据库之间的关联关系。4.根据权利要求2所述的方法，其特征在于，所述各源数据库之间为异构数据库，所述异构数据库为数据库之间的结构不同的数据库；所述各源数据的关联关系为基于结构化查询语言SQL的关联关系。5.根据权利要求2所述的方法，其特征在于，所述管理设备将所述目标数据集合发送至各数据宿，包括：所述管理设备根据所述各数据宿的数据需求，从所述目标数据集合中确定符合所述各数据宿的数据需求的各目标数据；所述管理设备将所述各目标数据对应发送至所述各数据宿。6.根据权利要求2所述的方法，其特征在于，还包括：所述管理设备若确定不存在所述第二数据集合，则将所述第一数据集合作为所述目标数据集合。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述管理设备将所述目标数据集合发送至各数据宿之后，还包括：所述管理设备获取所述各数据宿的数据同步信息；所述数据同步信息包括数据增加记录、数据删除记录和数据修改记录中的至少一项；所述管理设备根据所述各数据宿的数据同步信息，对所述各数据宿的同步情况进行监控。8.根据权利要求1至6中任一项所述的方法，其特征在于，所述管理设备接收各源数据库在当前周期内发送的源数据之后，还包括：所述管理设备获取所述各源数据库的数据发送情况，所述数据发送情况是根据所述各源数据的数据发送耗时和/或数据发送量确定的；所述管理设备根据所述各源数据库的数据发送情况，对所述各源数据库的同步情况进行监控。9.根据权利要求1至6中任一项所述的方法，其特征在于，所述管理设备将所述目标数据集合发送至各数据宿之后，还包括：所述管理设备若确定所述目标数据集合发送失败，且发送失败的次数大于预设阈值，则向管理员发送告警消息，所述告警消息用于通知所述管理员所述目标数据集合发送失败。10.一种数据同步装置，其特征在于，所述装置应用于数据同步系统，所述系统包括管理设备、多个源数据库和...

【专利技术属性】
技术研发人员：汪建福，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31