数据的同步方法及装置、存储介质及电子装置制造方法及图纸

本发明专利技术提供了一种数据的同步方法及装置、存储介质及电子装置，其中，该方法包括：在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；将所述目标topic中记录的所述增量数据同步到目标表中。通过本发明专利技术，解决了相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题，进而达到了减轻源表的压力，提高数据同步效率的目的。

【技术实现步骤摘要】
数据的同步方法及装置、存储介质及电子装置
本专利技术涉及通信领域，具体而言，涉及一种数据的同步方法及装置、存储介质及电子装置。
技术介绍
在相关技术中，将同一个源表中的数据同步到多个目标表中，需要多次读取源表中的数据，从而对源表造成一定的压力。例如，在进行增量数据抽取时，需要创建临时表或快照表用于记录当次抽取的标记位。在进行多表到单表的增量数据同步时，每次抽取都要为每张源表创建标记位记录，因此，需要多次读取源表中的数据，并且会占用较大存储资源。当存在多张源数据表时，目标数据表中数据条目编号的最大值可能来源于其他源数据表，导致增量数据同步异常，进而对源表造成一定的压力。由此可知，相关技术中存在数据同步时需要多次读取源表中的数据，对源表造成压力的问题。针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据的同步方法及装置、存储介质及电子装置，以至少解决相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题。根据本专利技术的一个实施例，提供了一种数据的同步方法，包括：在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；将所述目标topic中记录的所述增量数据同步到目标表中。根据本专利技术的另一个实施例，提供了一种数据的同步装置，包括：查询模块，用于在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；处理模块，用于基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；同步模块，用于将所述目标topic中记录的所述增量数据同步到目标表中。根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本专利技术，在预定消息系统中查询预定topic的最新更新记录，根据最新更新记录筛选源表中的增量数据，将增量数据写入预定topic中得到目标topic，再将目标topic中的增量数据同步到目标表中，由此可知，在进行数据同步时，是利用了预定消息系统来实现源表和目标表中的数据同步，从而无需多次读取源表中的数据，因此，可以解决相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题，进而达到了减轻源表的压力，提高数据同步效率的目的。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的一种数据的同步方法的移动终端的硬件结构框图；图2是根据本专利技术实施例的数据的同步方法的流程图；图3是根据本专利技术具体实施例的增量数据生产队流程图；图4是根据本专利技术具体实施例的增量数据消费队列流程图；图5是根据本专利技术实施例的数据的同步装置的结构框图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本专利技术实施例的一种数据的同步方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的数据的同步方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(NetworkInterfaceController，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。在本实施例中提供了一种数据的同步方法，图2是根据本专利技术实施例的数据的同步方法的流程图，如图2所示，该流程包括如下步骤：步骤S202，在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；步骤S204，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；步骤S206，将所述目标topic中记录的所述增量数据同步到目标表中。可选地，上述步骤的执行主体可以为处理终端，或者其他的具备类似处理能力的设备，例如，服务器等，但不限于此。在本实施例中，源表中包括递增序列字段或时间戳字段，并且，目标表与源表结构可以相同。通过本专利技术，在预定消息系统中查询预定topic的最新更新记录，根据最新更新记录筛选源表中的增量数据，将增量数据写入预定topic中得到目标topic，再将目标topic中的增量数据同步到目标表中，由此可知，在进行数据同步时，是利用了预定消息系统来实现源表和目标表中的数据同步，从而无需多次读取源表中的数据，因此，可以解决相关技术中存在的数据同步时需要多次读取源表中的数据，对源表造成压力的问题，进而达到了减轻源表的压力，提高数据同步效率的目的。在一个可选的实施例中，基于所述最新更新记录筛选所述源表中的增量数据，将增本文档来自技高网...

【技术保护点】
1.一种数据的同步方法，其特征在于，包括：/n在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；/n基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；/n将所述目标topic中记录的所述增量数据同步到目标表中。/n

【技术特征摘要】
1.一种数据的同步方法，其特征在于，包括：
在预定消息系统中查询预定主题topic的最新更新记录，其中，所述预定topic用于记录源表中的数据；
基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic；
将所述目标topic中记录的所述增量数据同步到目标表中。


2.根据权利要求1所述的方法，其特征在于，基于所述最新更新记录筛选所述源表中的增量数据，将增量数据写入所述预定topic中，以得到目标topic包括：
在确定所述最新更新记录为空时，将所述源表的全量数据确定为所述增量数据，并将所述增量数据写入所述预定topic中，以得到所述目标topic；
在确定所述最新更新记录不为空时，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据，并将所述增量数据写入所述预定topic中，以得到所述目标topic。


3.根据权利要求2所述的方法，其特征在于，基于所述最新更新记录中记录的目标递增序列字段值筛选所述源表中的增量数据包括：
将所述源表中记录的位于所述目标递增序列字段值之后的数据，确定为所述源表中的增量数据。


4.根据权利要求1所述的方法，其特征在于，将所述目标topic中记录的所述增量数据同步到目标表中包括：
将所述目标topic中记录的数据插入至所述目标表中；
在确定存在主键冲突的情况下，删除所述目标表中出现冲突的主键对应的记录；
在所述目标表中重新插入所述目标topic中记录的与所述出现冲突的主键对应的数据。


5.根据权利要求1所述的方法，其特征在于，在预先创建的预定消息系统中查...

【专利技术属性】
技术研发人员：陶程飞，何林强，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33