一种数据差异化同步方法及系统及装置及介质制造方法及图纸

本发明专利技术公开了一种数据差异化同步方法及系统及装置及介质，涉及数据同步技术领域，所述方法包括以下步骤：配置第一数据源、第一数据库和分布式数据库同步系统；第一数据库获取第一数据源的第一数据并记录到第一数据库日志；基于第一数据，配置第一数据过滤规则；基于第一数据过滤规则，分布式数据库同步系统获取第一数据库日志并解析得到第一同步数据；配置第二数据源和第二数据库；第一同步数据经过第二数据库同步到第二数据源。本发明专利技术通过动态配置数据过滤规则，当需要过滤的数据对象发生变化时，仅需要相应的修改数据过滤规则，简化了开发、部署、发布等操作，从而达到快速配置实时生效的效果。生效的效果。生效的效果。

【技术实现步骤摘要】
一种数据差异化同步方法及系统及装置及介质


[0001]本专利技术涉及数据同步
，具体地，涉及一种数据差异化同步方法及系统及装置及介质。

技术介绍

[0002]面对业务数据，存在需要多个不同环境数据之间的同步，数据同步过程中需要对部分数据进行过滤处理，将不需要同步至另一个场景的数据拦截过滤掉，现有的数据同步方式是通过数据库本身同步机制来实现，无法做到同步数据之间的特定过滤拦截处理，如果需要做差异化同步，则需要通过单独的业务代码来实现过滤，如果过滤规则发生变化，则需要相应的进行代码修改、部署和发布等一系列操作，不能做到及时生效。

技术实现思路

[0003]为解决数据差异化同步中因为过滤规则修改而存在的及时性较差的问题，本专利技术提供了一种数据差异化同步方法，所述方法包括以下步骤：
[0004]配置第一数据源、第一数据库和分布式数据库同步系统；
[0005]所述第一数据库获取所述第一数据源的第一数据并记录到第一数据库日志；
[0006]基于所述第一数据，配置第一数据过滤规则；
[0007]基于所述第一数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到第一同步数据；
[0008]配置第二数据源和第二数据库；
[0009]所述第一同步数据经过所述第二数据库同步到所述第二数据源。
[0010]本专利技术原理：配置第一数据源、第一数据库、第二数据源、第二数据库和分布式数据库同步系统，是为了配置初始参数。第一数据库获取第一数据源的第一数据并记录到第一数据库日志，即利用第一数据库本身具有的同步机制，将对第一数据的获取转换成对第一数据库增量日志的获取。对第一数据制定第一数据过滤规则，分布式数据库同步系统再基于第一数据过滤规则，获取过滤后的第一数据库增量日志并进行解析得到第一同步数据，也就是得到第一数据中需要同步的数据。最后第一同步数据再经过第二数据库同步到第二数据源，完成对第一数据的差异化同步。在不同环境数据进行同步传输过程中，本专利技术通过消费数据库日志，动态配置相应数据过滤规则，能实现在不同环境数据同步中的过滤处理，当需要过滤的数据对象发生变化时，仅需要对相应数据过滤规则进行修改，简化了开发、部署、发布等操作，从而达到快速配置实时生效的效果。
[0011]优选的，基于所述第一数据，配置相应数据过滤规则具体包括：获取所述第一数据中需要过滤的第二数据；将所述第二数据的表名添加到数据过滤条件；将所述第一数据中的数据表名与所述数据过滤条件中的数据表名进行匹配，对所述第一数据中匹配成功的数据表名对应的数据进行过滤。
[0012]其中，首先获取到第一数据中需要过滤的数据，再将需要过滤数据的表名添加到
过滤条件中，当需要使用该数据过滤规则时，通过获取第一数据对象中的表名与过滤条件中的表名是否匹配来确定数据是否合适过滤，当匹配成功时，就将匹配成功的表名所对应的数据进行过滤，
[0013]优选的，基于所述数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到同步数据包括：获取所述第一数据中的数据表名并与所述数据过滤规则中的数据表名进行匹配，对所述第一数据中匹配成功的数据表名对应的数据进行过滤处理，对所述第一数据中匹配失败的数据表名对应的数据进行同步处理。
[0014]其中，基于数据过滤规则，分布式数据同步系统获取第一数据库日志，是通过同步数据时获取的数据对象的表名是否与数据过滤规则中的表名的匹配关系来决定是否进行过滤，匹配成功时，数据就过滤掉，在数据同步的目标端就接收不到相应数据，达到数据源端与目标端数据差异过滤的效果；匹配失败时，就对相应数据进行同步，在数据同步的目标端就能接收到相应数据，
[0015]优选的，配置分布式数据库同步系统包括：配置用于获取所述第一数据库日志的工具。其中，需要对获取数据库日志的工具进行配置，常用到canal开源软件来实现，canal是基于数据库日志的增量订阅和消费组件，通过它可以订阅数据库的binlog(二进制日志文件)，然后进行一些数据消费，如数据镜像、数据异构、数据索引、缓存更新等，相对于消息队列，通过这种机制可以实现数据的有序化和一致性。
[0016]优选的，配置分布式数据库同步系统还包括：配置用于发布和监控同步任务的管理器；配置用于处理同步任务的若干节点；配置用于协调所述若干节点工作的分布式协调工具。其中，管理器运行时推送同步配置到若干节点，若干节点将同步状态反馈到管理器，即管理器对若干节点处理同步任务进行监控，分布式协调工具解决分布式状态调度的，允许多节点之间协调工作。
[0017]优选的，所述分布式数据库同步系统获取所述第一数据库日志并解析得到同步数据还包括：发布和监控多线程同步任务；基于所述多线程同步任务，对所述第一数据库日志进行解析得到所述第一同步数据；对所述多线程同步任务进行协调。其中，分布式数据库同步系统例如otter系统，其工作模式是manager(管理器)发布和监控多线程任务，node(若干节点)负责处理多线程任务即对第一数据库日志进行解析，zookeeper(分布式协调工具)解决分布式状态调度，允许若干节点之间协同工作，即对多线程同步任务进行协调。
[0018]为解决数据差异化双向同步中因为过滤规则修改而存在的及时性较差的问题，本专利技术还提供了一种数据差异化双向同步方法，所述方法包括以下步骤：
[0019]配置第一数据源、第一数据库、第二数据源、第二数据库和分布式数据库同步系统；
[0020]所述第一数据库获取所述第一数据源的第一数据并记录到第一数据库日志；
[0021]基于所述第一数据，配置第一数据过滤规则；
[0022]基于所述第一数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到第一同步数据；
[0023]所述第一同步数据经过所述第二数据库同步到所述第二数据源；
[0024]所述第二数据库获取所述第二数据源的第二数据并记录到第二数据库日志；
[0025]基于所述第二数据，配置第二数据过滤规则；
[0026]基于所述第二数据过滤规则，所述分布式数据库同步系统获取所述第二数据库日志并解析得到第二同步数据；
[0027]所述第二同步数据经过所述第一数据库同步到所述第一数据源。
[0028]其中，基于第一数据过滤规则，第一数据源通过第一数据库、分布式数据库同步系统和第二数据库同步差异化数据到第二数据源，同理，基于第二数据过滤规则，第二数据源通过第二数据库、分布式数据库同步系统和第一数据库同步差异化数据到第一数据源。例如将上述方法应用公有云和私有云两个环境之间的同步，公有云向私有云只同步部分数据，即会过滤一部分数据，私有云向公有云同步全部数据，即不过滤数据。
[0029]本专利技术还提供了一种数据差异化同步系统，所述系统包括：
[0030]第一配置单元，用于配置第一数据源、第一数据库和分布式数据库同步系统；
[0031]获取单元，用于所述第一数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据差异化同步方法，其特征在于，所述方法包括以下步骤：配置第一数据源、第一数据库和分布式数据库同步系统；所述第一数据库获取所述第一数据源的第一数据并记录到第一数据库日志；基于所述第一数据，配置第一数据过滤规则；基于所述第一数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到第一同步数据；配置第二数据源和第二数据库；所述第一同步数据经过所述第二数据库同步到所述第二数据源。2.根据权利要求1所述的一种数据差异化同步方法，其特征在于，基于所述第一数据，配置相应数据过滤规则具体包括：获取所述第一数据中需要过滤的第二数据；将所述第二数据的表名添加到数据过滤条件；将所述第一数据中的数据表名与所述数据过滤条件中的数据表名进行匹配，对所述第一数据中匹配成功的数据表名对应的数据进行过滤。3.根据权利要求2所述的一种数据差异化同步方法，其特征在于，基于所述数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到同步数据包括：获取所述第一数据中的数据表名并与所述数据过滤规则中的数据表名进行匹配，对所述第一数据中匹配成功的数据表名对应的数据进行过滤处理，对所述第一数据中匹配失败的数据表名对应的数据进行同步处理。4.根据权利要求1所述的一种数据差异化同步方法，其特征在于，配置分布式数据库同步系统包括：配置用于获取所述第一数据库日志的工具。5.根据权利要求1所述的一种数据差异化同步方法，其特征在于，配置分布式数据库同步系统还包括：配置用于发布和监控同步任务的管理器；配置用于处理同步任务的若干节点；配置用于协调所述若干节点工作的分布式协调工具。6.根据权利要求1所述的一种数据差异化同步方法，其特征在于，所述分布式数据库同步系统获取所述第一数据库日志并解析得到同步数据还包括：发布和监控多线程同步任务；基于所述多线程同步任务，对所述第一数据库日志进行解析得到所述第一同步数据；对所述多线程...

【专利技术属性】
技术研发人员：周道华，唐光明，黄维，许江泽，张佳音，王建，胡欢，周小强，雷运宇，吴婷婷，徐雷，张明娟，张勇，曾俊，詹飞，吴勇科，罗玉，陈运均，王莎，
申请(专利权)人：成都中科大旗软件股份有限公司，
类型：发明
国别省市：