一种数据库数据同步方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据库数据同步方法、装置、设备及存储介质。该方法包括：从源端数据库抽取待同步数据；获取所述待同步数据所在数据表在预设第一同步时间段内的同步数据数量；根据所述同步数据数量，更新对应数据表的同步并发方式，所述同步并发方式包括表并发和主键并发；依据所述同步并发方式将所述待同步数据同步至目标数据库。该方法在同步数据时可以根据同步数据的数据量实时匹配适合的同步并发方式，克服了在数据同步前需要提前设置同步并发方式，以及设置的同步并发方式与实际同步情况不匹配导致数据同步慢、浪费资源的缺点，有效提高了数据同步效率，减少了对操作人员的技术要求。要求。要求。

【技术实现步骤摘要】
一种数据库数据同步方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据库数据同步方法、装置、设备及存储介质。

技术介绍

[0002]在同步数据库数据时，从源端数据库抽取到相关数据记录后，需要将这些记录写入到目标数据库中。
[0003]目前，写入目标库时一般采用直连方式进行写入，当数据量特别大时，就需要考虑进行并发写入，即建立多个数据库的链接将待同步数据按一定的原则分类分别通过不同链接进行写入。因数据一致性要求，记录写入的顺序要与原记录的生成顺序一致，并发写入时数据记录的方式可采用按表进行或按主键进行。一般情况下，若数据表内数据记录较多，则优先选取主键并发方式；若数据表的数量较多，则优先选取表并发方式，按哪种方式进行，需要在数据同步开始前就确定。
[0004]因目前的并发写入方式需要在同步数据开始前进行设置，因此该数据库数据同步方法存在以下几个缺点：第一，要求操作人员非常熟悉数据库结构及内容；第二，当存在数据表的数量特别多且部分表内的数据记录特别大的情况时，无论选取两种并发方式中的哪一种并发方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库数据同步方法，其特征在于，包括：从源端数据库抽取待同步数据；获取所述待同步数据所在数据表在预设第一同步时间段内的同步数据数量；根据所述同步数据数量，更新对应数据表的同步并发方式，所述同步并发方式包括表并发和主键并发；依据所述同步并发方式将所述待同步数据同步至目标数据库。2.根据权利要求1所述的方法，其特征在于，所述根据所述同步数据数量，更新对应数据表的同步并发方式，包括：若同步数据数量为零，则确定所述待同步数据所在数据表的同步并发方式为表并发；否则，获取所述待同步数据所在数据表的当前同步并发方式，根据所述当前同步并发方式和所述同步数据数量，确定所述数据表的同步并发方式。3.根据权利要求2所述的方法，其特征在于，所述根据所述当前同步并发方式和所述同步数据数量，确定所述数据表的同步并发方式，包括：若所述当前同步并发方式为表并发，且所述同步数据数量大于等于预设主键并发阈值，则更新所述数据表的同步并发方式为主键并发；若所述当前同步并发方式为主键并发，且所述同步数据数量小于预设表并发阈值，则更新所述数据表的同步并发方式为表并发；其中，所述预设主键并发阈值大于等于所述预设表并发阈值。4.根据权利要求3所述的方法，其特征在于，在更新所述数据表的同步并发方式为主键并发的同时，还包括：新建预设主键并发数量个主键并发链接，用于同步所述同步并发方式为主键并发的待同步数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：初始化预设第一表并发数量个表并发链接，用于同步所述同步并发方式为表并发的待同步数据。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：统计预设第二同步时间段内同步数据表的数据表数量；若当前表并发链接数量为所述预设第一表并发数量，且所述数据表数量大于等于预设表链接增加阈值，则新建预设第二表并发...

【专利技术属性】
技术研发人员：李大鹏，杨彬，陈勇铨，周华，
申请(专利权)人：上海英方软件股份有限公司，
类型：发明
国别省市：