数据库的同步方法和装置、存储介质及电子装置制造方法及图纸

本申请公开了一种数据库的同步方法和装置、存储介质及电子装置。涉及金融科技领域，该方法包括：在源数据库中检测到目标数据表的情况下，从具有对应关系的数据表、同步时序信息和同步规则信息中查找出目标数据表对应的目标同步时序信息和目标同步规则信息；根据目标同步时序信息、目标同步规则信息、更新时间信息和更新类型信息从目标数据表中筛选出目标数据，其中，目标数据为目标数据表中的全部数据或者部分数据，部分数据为目标数据表中更新时间发生在上一次同步的同步时间点之后，且在上一次数据更新的更新时间点之前的数据；将目标数据发送至目标数据库以同步目标数据表。通过本申请，解决了相关技术中，数据库的同步效率较低等问题。率较低等问题。率较低等问题。

【技术实现步骤摘要】
数据库的同步方法和装置、存储介质及电子装置


[0001]本申请涉及金融科技领域，具体而言，涉及一种数据库的同步方法和装置、存储介质及电子装置。

技术介绍

[0002]对不同数据库之间的数据进行同步是数据库之间执行频率很高的操作，目前，数据库之间数据同步的方式包括：基于消息队列同步SQL(Structured Query Language，一种用于管理关系型数据库的标准化语言)语句进行数据双写，第一数据库执行第一功能之前，第一控制设备将SQL语句存入存储空间，并在第一数据库成功执行之后发送至消息队列服务器；消息队列服务器根据第二控制设备订阅信息，将至少一个消息队列中的SQL语句发送至第二控制设备；第二数据库执行SQL，完成数据同步。
[0003]上述方式需要对源数据库(即，第一数据库)中的SQL语句进行存储，并在第一功能执行之后，将SQL语句发送到消息队列，这种方式可能出现数据库短时间内执行大量SQL语句，导致增加消息队列的纵深，进而引起消息的阻塞。依次执行SQL语句使得数据同步时间过长，甚至出现消息队列中SQL语句的丢失的情况，使得数据同步缺失。
[0004]针对相关技术中数据库的同步效率较低等问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请的主要目的在于提供一种数据库的同步方法和装置、存储介质及电子装置，以解决相关技术中数据库的同步效率较低等问题。
[0006]为了实现上述目的，根据本申请的一个方面，提供了一种数据库的同步方法。该方法包括：
[0007]在源数据库中检测到目标数据表的情况下，从具有对应关系的数据表、同步时序信息和同步规则信息中查找出所述目标数据表对应的目标同步时序信息和目标同步规则信息，其中，所述目标数据表为所述源数据库中待同步至目标数据库的数据表，所述目标数据表中记录了更新时间信息和更新类型信息，所述更新时间信息用于指示所述目标数据表上一次数据更新的更新时间点，所述更新类型信息用于指示所述目标数据表中每一个更新的数据的更新类型，所述目标同步时序信息用于指示所述目标数据表上一次同步的同步时间点，以及，对所述目标数据表进行同步的时间间隔，所述目标同步规则信息用于指示所述目标数据表中的数据从所述源数据库同步至目标数据库的方式；
[0008]根据所述目标同步时序信息、所述目标同步规则信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出目标数据，其中，所述目标数据为所述目标数据表中的全部数据或者部分数据，所述部分数据为所述目标数据表中更新时间发生在所述上一次同步的同步时间点之后，且在所述上一次数据更新的更新时间点之前的数据；
[0009]将所述目标数据发送至所述目标数据库以同步所述目标数据表。
[0010]可选的，所述根据所述目标同步时序信息、所述目标同步规则信息、所述更新时间
信息和所述更新类型信息从所述目标数据表中筛选出目标数据，包括：
[0011]在所述目标同步规则信息用于指示所述目标数据表中数据从所述源数据库同步至所述目标数据库的方式为全量同步方式的情况下，将所述目标数据表中记载的全部数据确定为所述目标数据；
[0012]在所述目标同步规则信息用于指示所述目标数据表中数据从所述源数据库同步至目标数据库的方式为增量同步方式的情况下，根据所述目标同步时序信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出所述目标数据。
[0013]可选的，所述根据所述目标同步时序信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出所述目标数据，包括：
[0014]将所述目标数据表中被更新的时间落在所述同步时间点之后，所述更新时间点之前，并且所述更新类型信息为本库修改类型的数据确定为所述目标数据，其中，所述目标数据表中所述修改类型为所述本库修改类型的数据为所述源数据库中的数据修改得到的。
[0015]可选的，所述将所述目标数据发送至所述目标数据库以同步所述目标数据表，包括：
[0016]检测所述目标数据的数据状态；
[0017]在所述数据状态用于指示所述目标数据当前允许执行同步操作的情况下，将所述目标数据转换为目标数据文件，其中，所述目标数据文件携带了所述目标数据表对应的目标数据表标识；
[0018]调用数据传输工具将所述目标数据文件从所述源数据库传输至所述目标数据库，其中，所述目标数据库用于在接收到目标数据文件的情况下，从具有对应关系的数据表和同步规则信息中查找出所述目标数据表对应的所述目标同步规则信息；并在接收到数据同步指令的情况下，根据所述目标同步规则信息将所述目标数据文件中的所述目标数据同步至所述目标数据库。
[0019]可选的，所述根据所述目标同步规则信息将所述目标数据文件中的所述目标数据同步至所述目标数据库，包括：
[0020]在所述目标同步规则信息用于指示所述目标数据表中数据从所述源数据库同步至目标数据库的方式为全量同步方式的情况下，将所述目标数据库中用于接收所述目标数据的参考数据表中记载的数据清空，并将所述目标数据导入清空后的所述参考数据表；
[0021]在所述目标同步规则信息用于指示所述目标数据表中数据从所述源数据库同步至目标数据库的方式为增量同步方式的情况下，将所述目标数据插入所述参考数据表中的对应位置。
[0022]可选的，所述检测所述目标数据的数据状态，包括：
[0023]在所述目标数据表对应的目标同步状态信息用于指示所述目标数据表不允许执行数据同步操作的情况下，确定所述数据状态用于指示所述目标数据当前不允许执行同步操作；
[0024]在所述目标同步状态信息用于指示所述目标数据表允许执行数据同步操作，但是参考时间差值小于所述目标同步时序信息所指示的时间间隔的情况下，确定所述数据状态用于指示所述目标数据当前不允许执行同步操作，其中，所述参考时间差值为所述目标同步时序信息所指示的同步时间点与当前时间点之间的时间差值；
[0025]在所述目标同步状态信息用于指示所述目标数据表允许执行数据同步操作，并且所述参考时间差值大于或者等于所述目标同步时序信息所指示的时间间隔的情况下，确定所述数据状态用于指示所述目标数据当前允许执行同步操作。
[0026]可选的，在所述将所述目标数据发送至所述目标数据库以同步所述目标数据表之后，所述方法还包括：
[0027]将所述同步时序信息所指示的同步时间点更新为所述目标数据表在所述目标数据库中最近一次完成同步的时间点。
[0028]为了实现上述目的，根据本申请的另一方面，提供了一种数据库的同步装置。该装置包括：
[0029]查找模块，用于在源数据库中检测到目标数据表的情况下，从具有对应关系的数据表、同步时序信息和同步规则信息中查找出所述目标数据表对应的目标同步时序信息和目标同步规则信息，其中，所述目标数据表为所述源数据库中待同步至目标数据库的数据表，所述目标数据表中记录了更新时间信息和更新类型信息，所述更新时间信息用于指示所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的同步方法，其特征在于，包括：在源数据库中检测到目标数据表的情况下，从具有对应关系的数据表、同步时序信息和同步规则信息中查找出所述目标数据表对应的目标同步时序信息和目标同步规则信息，其中，所述目标数据表为所述源数据库中待同步至目标数据库的数据表，所述目标数据表中记录了更新时间信息和更新类型信息，所述更新时间信息用于指示所述目标数据表上一次数据更新的更新时间点，所述更新类型信息用于指示所述目标数据表中每一个更新的数据的更新类型，所述目标同步时序信息用于指示所述目标数据表上一次同步的同步时间点，以及，对所述目标数据表进行同步的时间间隔，所述目标同步规则信息用于指示所述目标数据表中的数据从所述源数据库同步至目标数据库的方式；根据所述目标同步时序信息、所述目标同步规则信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出目标数据，其中，所述目标数据为所述目标数据表中的全部数据或者部分数据，所述部分数据为所述目标数据表中更新时间发生在所述上一次同步的同步时间点之后，且在所述上一次数据更新的更新时间点之前的数据；将所述目标数据发送至所述目标数据库以同步所述目标数据表。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标同步时序信息、所述目标同步规则信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出目标数据，包括：在所述目标同步规则信息用于指示所述目标数据表中数据从所述源数据库同步至所述目标数据库的方式为全量同步方式的情况下，将所述目标数据表中记载的全部数据确定为所述目标数据；在所述目标同步规则信息用于指示所述目标数据表中数据从所述源数据库同步至目标数据库的方式为增量同步方式的情况下，根据所述目标同步时序信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出所述目标数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标同步时序信息、所述更新时间信息和所述更新类型信息从所述目标数据表中筛选出所述目标数据，包括：将所述目标数据表中被更新的时间落在所述同步时间点之后，所述更新时间点之前，并且所述更新类型信息为本库修改类型的数据确定为所述目标数据，其中，所述目标数据表中所述修改类型为所述本库修改类型的数据为所述源数据库中的数据修改得到的。4.根据权利要求1所述的方法，其特征在于，所述将所述目标数据发送至所述目标数据库以同步所述目标数据表，包括：检测所述目标数据的数据状态；在所述数据状态用于指示所述目标数据当前允许执行同步操作的情况下，将所述目标数据转换为目标数据文件，其中，所述目标数据文件携带了所述目标数据表对应的目标数据表标识；调用数据传输工具将所述目标数据文件从所述源数据库传输至所述目标数据库，其中，所述目标数据库用于在接收到目标数据文件的情况下，从具有对应关系的数据表和同步规则信息中查找出所述目标数据表对应的所述目标同步规则信息；并在接收到数据同步指令的情况下，根据所述目标同步规则信息将所述目标数据文件中的所述目标数据同步至所述目标数据库。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标同步规则信息将所述目标数据文件中的所述目标数据同步至所述目标数据库，包括：...

【专利技术属性】
技术研发人员：田赛赛，雷志亮，冯境华，苏喆，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：