一种数据差异化同步方法、装置、系统及主节点设备制造方法及图纸

技术编号:32010672 阅读:27 留言:0更新日期:2022-01-22 18:27
本发明专利技术的实施例公开一种数据差异化同步方法、装置、系统及主节点设备,主节点设备具有主数据表,主节点设备还具有多个外部数据表,且每个外部数据表与主数据表之间存在继承关系,多个外部数据表与多个从节点设备一一对应,且每个外部数据表与对应的从节点设备的从数据表之间存在映射关系,该方法包括:当主数据表中插入新的数据时,按照预设的数据分发规则,将新的数据分发至满足数据分发规则的外部数据表,被分发新的数据的该外部数据表作为待同步外部数据表;按照映射关系,将待同步外部数据表中的新的数据,同步至与待同步外部数据表存在映射关系的从数据表。采用本方案,降低了数据差异化同步的复杂度,提高了效率。提高了效率。提高了效率。

【技术实现步骤摘要】
一种数据差异化同步方法、装置、系统及主节点设备


[0001]本专利技术涉及计算机技术中的数据库
,尤其涉及一种数据差异化同步方法、装置、系统及主节点设备。

技术介绍

[0002]在实际的数据库应用中,经常需要实现数据库中数据的同步,可以是主主同步,也可以是主从同步。目前,针对一些数据库的数据同步,均是一致性同步。例如,在主从同步和主主同步的一些方案中,无论是自有的日志复制、流同步复制,还是第三方产品Bucardo等同步工具,仅仅是实现多个数据库的一致性同步。要想实现差异化同步,目前只能采取其他的方式间接实现数据库的差异化同步。
[0003]目前可采用的差异化同步方式,可以是ETL(Extract Transform and Load,抽取

转换

加载)方式:基于时间戳周期性将库数据A差异化同步到数据库B。该方式的缺陷是根据抽取周期的设定会有一定的数据延时,并且需要开发一套ETL程序,根据差异的复制程度,开发成本较高。
[0004]也可以采用AB库同时写入方式:在数据采集阶段进行开发,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据差异化同步方法,其特征在于,应用于主节点设备,所述主节点设备具有主数据表,所述主节点设备与多个从节点设备相连,每个从节点设备具有与所述主数据表结构相同的从数据表,所述主节点设备还具有多个外部数据表,且每个外部数据表与所述主数据表之间存在继承关系,所述多个外部数据表与所述多个从节点设备一一对应,且每个外部数据表与对应的从节点设备的从数据表之间存在映射关系,所述方法,包括:当所述主数据表中插入新的数据时,按照预设的数据分发规则,将所述新的数据分发至满足所述数据分发规则的外部数据表,被分发所述新的数据的该外部数据表作为待同步外部数据表;按照所述映射关系,将所述待同步外部数据表中的所述新的数据,同步至与所述待同步外部数据表存在映射关系的从数据表。2.根据权利要求1所述的数据差异化同步方法,其特征在于,在所述按照预设的数据分发规则,将所述新的数据分发至满足所述数据分发规则的外部数据表之前,还包括:基于用户输入的创建信息,在所述主节点设备的PostgreSQL数据库中创建所述主数据表;基于与所述主节点设备相连的多个从节点设备的数量,在所述主节点设备的PostgreSQL数据库中,创建数量相同的与所述主数据表存在继承关系的多个外部数据表;针对每个外部数据表,建立该外部数据表与对应的从节点设备的从数据表之间的映射关系。3.根据权利要求1所述的数据差异化同步方法,其特征在于,所述按照预设的数据分发规则,将所述新的数据分发至满足所述数据分发规则的外部数据表,包括:获取所述新的数据的生成时刻所属的时间段;按照预设的数据分发规则,确定该时间段对应的外部数据表;将所述新的数据分发至该时间段对应的外部数据表。4.根据权利要求1所述的数据差异化同步方法,其特征在于,所述按照预设的数据分发规则,将所述新的数据分发至满足所述数据分发规则的外部数据表,包括:获取所述新的数据的属性信息;按照预设的数据分发规则,确定该属性信息对应的外部数据表;将所述新的数据分发至该属性信息对应的外部数据表。5.一种数据差异化同步装置,其特征在于,应用于主节点设备,所述主节点设备具有主数据表,所述主节点设备与多个从节点设备相连,每个从节点设备具有与所述主数据表结构相同的从数据表,所述主节点设备还具有多个外部数据表,且每个外部数据表与所述主数据表之间...

【专利技术属性】
技术研发人员:马孝明杨飞
申请(专利权)人:安天科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1