数据同步分发方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据同步分发方法、装置及存储介质。其中，该方法包括：采用开源框架同步从关系型数据库中取出待处理数据，其中，上述开源框架为采用编程语言java开发的Canal开源框架；将上述待处理数据进行分组处理，得到分组待处理数据组；采用多线程对上述待处理数据组分组数据中的上述待处理数据进行合并处理，得到合并数据组；将上述合并数据组进行同步分发处理。本发明专利技术解决了现有技术中数据分发方法无法在高并发的情况下保证数据顺序的技术问题。术问题。术问题。

【技术实现步骤摘要】
数据同步分发方法、装置及存储介质


[0001]本专利技术涉及数据处理
，具体而言，涉及一种数据同步分发方法、装置及存储介质。

技术介绍

[0002]随着科学技术的进步和智能设备的不断发展，数据的种类与数量大幅提升，因此，各个企业或机构都需要对数据进行快速且准确的处理。
[0003]现有的数据库同步方式不能保证业务数据按照预定的顺序，且高并发执行；若采用单线程来保证数据的有序性，则限制了数据的同步速率。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种数据同步分发方法、装置及存储介质，以至少解决现有技术中数据分发方法无法在高并发的情况下保证数据顺序的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种数据同步分发方法，包括：采用开源框架同步从关系型数据库中取出待处理数据；将上述待处理数据进行分组处理，得到待处理数据组；采用多线程对上述待处理数据组中的上述待处理数据进行合并处理，得到合并数据组；将上述合并数据组进行同步分发处理。
[0007]在一个示例性实施例中，上述将上述待处理数据进行分组处理，得到待处理数据组，包括：根据上述待处理数据的主键以及上述待处理数据的取出顺序进行分组处理，得到待处理数据组，其中，上述主键用于确定一条待处理数据，上述取出顺序用于确定上述待处理数据从关系型数据库中取出的顺序。
[0008]在一个示例性实施例中，在上述将上述待处理数据进行分组处理，得到待处理数据组之后，上述方法还包括：根据上述待处理数据的权重值配置存储顺序；基于上述存储顺序，将上述待处理数据组存储至键值型数据库。
[0009]在一个示例性实施例中，在上述采用多线程对上述待处理数据组中的上述待处理数据进行合并处理，得到合并数据组之前，上述方法还包括：采用上述多线程从上述键值型数据库中异步取出存入的上述待处理数据组。
[0010]在一个示例性实施例中，上述采用多线程对上述待处理数据组中的上述待处理数据进行合并处理，得到合并数据组，包括：将操作为删除的上述待处理数据进行合并，得到第一合并数据；将操作为更新的上述待处理数据进行合并，得到第二合并数据；根据上述第一合并数据和上述第二合并数据，构建上述合并数据组。
[0011]在一个示例性实施例中，根据上述第一合并数据中的操作为删除的上述待处理数据的权重值确定上述第一合并数据的权重值；根据上述第二合并数据中的操作为更新的上述待处理数据的权重值确定上述第二合并数据的权重值；按照上述第一合并数据的权重值和上述第二合并数据的权重值构建上述合并数据组，并确定上述合并数据组的权重值。
[0012]在一个示例性实施例中，上述将上述合并数据组进行同步分发处理，包括：按照多个上述合并数据组的上述权重值的大小进行同步分发处理；若存在相同权重值的上述合并数据组，则将相同权重值的上述合并数据组进行并发处理。
[0013]根据本专利技术实施例的另一方面，还提供了一种数据同步分发装置，包括：获取模块，用于采用开源框架同步从关系型数据库中取出待处理数据；分组模块，用于将上述待处理数据进行分组处理，得到待处理数据组；合并模块，用于采用多线程对上述待处理数据组中的上述待处理数据进行合并处理，得到合并数据组；分发模块，用于将上述合并数据组进行同步分发处理。
[0014]根据本专利技术实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的数据同步分发方法。
[0015]根据本专利技术实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行任意一项上述的数据同步分发方法。
[0016]根据本专利技术实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行任意一项上述的数据同步分发方法。
[0017]在本专利技术实施例中，通过采用开源框架同步从关系型数据库中取出待处理数据；将上述待处理数据进行分组处理，得到待处理数据组；采用多线程对上述待处理数据组中的上述待处理数据进行合并处理，得到合并数据组；将上述合并数据组进行同步分发处理，达到了通过组内排序思想、数据合并理念，大大减少同步数据量的目的，从而实现了保证数据顺序性的同时，在高并发情况下进行数据分发的技术效果，进而解决了现有技术中数据分发方法无法在高并发的情况下保证数据顺序的技术问题。
附图说明
[0018]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0019]图1是本申请实施例的一种数据同步分发方法的计算机终端的硬件结构框图；
[0020]图2是根据本申请实施例的一种数据同步分发方法的流程图；
[0021]图3是根据本申请实施例的一种数据同步分发流程示意图；
[0022]图4是根据本申请实施例的一种数据同步分发装置的结构框图。
具体实施方式
[0023]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0024]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]本申请实施例所提供的方法实施例可以在计算机终端、计算机终端或者类似的运算模块中执行。以运行在计算机终端上为例，图1是本申请实施例的一种数据同步分发方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理模块)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
[0026]存储器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步分发方法，其特征在于，包括：采用开源框架同步从关系型数据库中取出待处理数据；将所述待处理数据进行分组处理，得到待处理数据组；采用多线程对所述待处理数据组中的所述待处理数据进行合并处理，得到合并数据组；将所述合并数据组进行同步分发处理。2.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据进行分组处理，得到待处理数据组，包括：根据所述待处理数据的主键以及所述待处理数据的取出顺序进行分组处理，得到待处理数据组，其中，所述主键用于确定一条待处理数据，所述取出顺序用于确定所述待处理数据从关系型数据库中取出的顺序。3.根据权利要求2所述的方法，其特征在于，在所述将所述待处理数据进行分组处理，得到待处理数据组之后，所述方法还包括：根据所述待处理数据的权重值配置存储顺序；基于所述存储顺序，将所述待处理数据组存储至键值型数据库。4.根据权利要求3所述的方法，其特征在于，在所述采用多线程对所述待处理数据组中的所述待处理数据进行合并处理，得到合并数据组之前，所述方法还包括：采用所述多线程从所述键值型数据库中异步取出存入的所述待处理数据组。5.根据权利要求1所述的方法，其特征在于，所述采用多线程对所述待处理数据组中的所述待处理数据进行合并处理，得到合并数据组，包括：将操作为删除的所述待处理数据进行合并，得到第一合并数据；将操作为更新的所述待处理数据进行合并，得到第二合并数据；根据所述第一合并数据和所述第二合并数据，构建所述合并数据组。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一合并数据和所述第...

【专利技术属性】
技术研发人员：张乐乐，
申请(专利权)人：海尔智家股份有限公司，
类型：发明
国别省市：