一种数据同步实现方法及系统技术方案

本发明专利技术实施例公开了一种数据同步实现方法及系统，方法包括：获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳；对归纳后的原始数据库的所有数据创建唯一的逻辑索引；根据预先设置的配置规则进行数据同步处理；将同步后的数据进行保存至目标数据库。本发明专利技术实施例可实现单服务支持多种数据类型，同时支持多个数据库同时同步，部署简单，服务稳定，高性能，高并发，同步过程不中断，不易丢失数据。不易丢失数据。不易丢失数据。

【技术实现步骤摘要】
一种数据同步实现方法及系统


[0001]本专利技术涉及数据同步
，尤其涉及一种数据同步实现方法及系统。

技术介绍

[0002]关系数据库，是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格(有时被称为一个关系)包含用列表示的一个或更多的数据种类。每行包含一个唯一的数据实体，这些数据是被列定义的种类。
[0003]目前主流关系数据库包括mysql，sql server，oracle，捕获变化数据将数据实时或全量同步到数据库/数据仓库/kafka。通过流式计算引擎实时写入数据仓库，或直接写入数据库。同步方式包括增量同步方式和全量同步方式。其中增量同步方式有binlog方式，CDC(Change Data Capture，改变数据捕获)，rowversion方式，date/datetime方式。全量同步方式可通过主键，唯一索引，日期，整形，custom key等数据进行更新。数据同步方式支持数据库到数据库，数据库同步到kafka。
[0004]然而现有技术中的开源解决方案canal，streamsets，debezium配置复杂，无法同时支持mysql，sql server，自动分月，需要每种数据维护独立的服务，配置.容易内存溢出，同步过程中断，数据丢失等问题，无法同步无主键，唯一索引的表。
[0005]因此现有技术还有待于进一步发展。

技术实现思路

[0006]针对上述技术问题，本专利技术实施例提供了一种数据同步实现方法及系统，能够解决现有数据库的数据同步过程中配置复杂，内存容易溢出的技术问题。
[0007]本专利技术实施例的第一方面提供一种数据同步实现方法，包括：
[0008]获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳；
[0009]对归纳后的原始数据库的所有数据创建唯一的逻辑索引；
[0010]根据预先设置的配置规则进行数据同步处理；
[0011]将同步后的数据进行保存至目标数据库。
[0012]可选地，所述获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳，包括：
[0013]获取原始数据库的所有数据对应的表结构，对不满足预设条件的表结构进行处理，对处理后的所有表结构按照数据类型进行归纳。
[0014]可选地，所述获取原始数据库的所有数据对应的表结构，对不满足预设条件的表结构进行处理，对处理后的所有表结构按照数据类型进行归纳，包括：
[0015]获取原始数据库的所有数据对应的表结构，获取所有表结构中不满足预设条件的数据类型和数据字段名；
[0016]对不满足预设条件的数据类型和数据字段名进行处理，并对处理后的所有表结构按照数据类型进行归纳。
[0017]可选地，所述将同步后的数据进行保存至目标数据库，包括：
[0018]将同步过程中产生的增量数据发送至kafka，全量数据写入目标数据库。
[0019]可选地，所述根据预先设置的配置规则进行数据同步处理，包括：
[0020]按照预先设置的配置类型，指定并发数量后，进行数据同步处理，配置类型为主键、唯一的逻辑索引、日期中的一种。
[0021]本专利技术实施例第二方面提供了一种数据同步实现系统，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
[0022]获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳；
[0023]对归纳后的原始数据库的所有数据创建唯一的逻辑索引；
[0024]根据预先设置的配置规则进行数据同步处理；
[0025]将同步后的数据进行保存至目标数据库。
[0026]可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
[0027]获取原始数据库的所有数据对应的表结构，对不满足预设条件的表结构进行处理，对处理后的所有表结构按照数据类型进行归纳。
[0028]可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
[0029]获取原始数据库的所有数据对应的表结构，获取所有表结构中不满足预设条件的数据类型和数据字段名；
[0030]对不满足预设条件的数据类型和数据字段名进行处理，并对处理后的所有表结构按照数据类型进行归纳。
[0031]可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
[0032]将同步过程中产生的增量数据发送至kafka，全量数据写入目标数据库。
[0033]本专利技术实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的数据同步实现方法。
[0034]本专利技术实施例提供的技术方案中，获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳；对归纳后的原始数据库的所有数据创建唯一的逻辑索引；根据预先设置的配置规则进行数据同步处理；将同步后的数据进行保存至目标数据库。因此相对于现有技术，本专利技术实施例可实现单服务支持多种数据类型，同时支持多个数据库同时同步，部署简单，服务稳定，高性能，高并发，同步过程不中断，不易丢失数据。
附图说明
[0035]图1为本专利技术实施例中一种数据同步实现方法的一实施例的流程示意图；
[0036]图2为本专利技术实施例中一种数据同步实现系统的另一实施例的硬件结构示意图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]以下结合附图对本专利技术实施例进行详细的描述。
[0039]请参阅图1，图1为本专利技术实施例中一种数据同步实现方法的一个实施例的流程示意图。如图1所示，包括：
[0040]步骤S100、获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳；
[0041]步骤S200、对归纳后的原始数据库的所有数据创建唯一的逻辑索引；
[0042]步骤S300、根据预先设置的配置规则进行数据同步处理；
[0043]步骤S400、将同步后的数据进行保存至目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步实现方法，其特征在于，包括：获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳；对归纳后的原始数据库的所有数据创建唯一的逻辑索引；根据预先设置的配置规则进行数据同步处理；将同步后的数据进行保存至目标数据库。2.根据权利要求1所述的数据同步实现方法，其特征在于，所述获取原始数据库的所有数据，对不满足预设条件的数据进行处理，对处理后的所有数据的数据类型进行归纳，包括：获取原始数据库的所有数据对应的表结构，对不满足预设条件的表结构进行处理，对处理后的所有表结构按照数据类型进行归纳。3.根据权利要求2所述的数据同步实现方法，其特征在于，所述获取原始数据库的所有数据对应的表结构，对不满足预设条件的表结构进行处理，对处理后的所有表结构按照数据类型进行归纳，包括：获取原始数据库的所有数据对应的表结构，获取所有表结构中不满足预设条件的数据类型和数据字段名；对不满足预设条件的数据类型和数据字段名进行处理，并对处理后的所有表结构按照数据类型进行归纳。4.根据权利要求3所述的数据同步实现方法，其特征在于，所述将同步后的数据进行保存至目标数据库，包括：将同步过程中产生的增量数据发送至kafka，全量数据写入目标数据库。5.根据权利要求4所述的数据同步实现方法，其特征在于，所述根据预先设置的配置规则进行数据同步处理，包括：按照预先设置的配置类型，指定并发数量后，进行数据同步处理，配置类型为主键、唯一的逻辑索引、日期中的一种。6.一种数据同步...

【专利技术属性】
技术研发人员：周志文，郭潇文，纪向晴，
申请(专利权)人：深圳市麦谷科技有限公司，
类型：发明
国别省市：