一种数据差异化同步方法及系统及装置及介质制造方法及图纸

本发明专利技术公开了一种数据差异化同步方法及系统及装置及介质，涉及数据同步技术领域，所述方法包括以下步骤：配置第一数据源、第一数据库和分布式数据库同步系统；第一数据库获取第一数据源的第一数据并记录到第一数据库日志；基于第一数据，配置第一数据过滤规则；基于第一数据过滤规则，分布式数据库同步系统获取第一数据库日志并解析得到第一同步数据；配置第二数据源和第二数据库；第一同步数据经过第二数据库同步到第二数据源。本发明专利技术通过动态配置数据过滤规则，当需要过滤的数据对象发生变化时，仅需要相应的修改数据过滤规则，简化了开发、部署、发布等操作，从而达到快速配置实时生效的效果。生效的效果。生效的效果。

【技术实现步骤摘要】
一种数据差异化同步方法及系统及装置及介质


[0001]本专利技术涉及数据同步
，具体地，涉及一种数据差异化同步方法及系统及装置及介质。

技术介绍

[0002]面对业务数据，存在需要多个不同环境数据之间的同步，数据同步过程中需要对部分数据进行过滤处理，将不需要同步至另一个场景的数据拦截过滤掉，现有的数据同步方式是通过数据库本身同步机制来实现，无法做到同步数据之间的特定过滤拦截处理，如果需要做差异化同步，则需要通过单独的业务代码来实现过滤，如果过滤规则发生变化，则需要相应的进行代码修改、部署和发布等一系列操作，不能做到及时生效。

技术实现思路

[0003]为解决数据差异化同步中因为过滤规则修改而存在的及时性较差的问题，本专利技术提供了一种数据差异化同步方法，所述方法包括以下步骤：
[0004]配置第一数据源、第一数据库和分布式数据库同步系统；
[0005]所述第一数据库获取所述第一数据源的第一数据并记录到第一数据库日志；
[0006]基于所述第一数据，配置第一数据过滤规则；
[0007]基于所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据差异化同步方法，其特征在于，所述方法包括以下步骤：配置第一数据源、第一数据库和分布式数据库同步系统；所述第一数据库获取所述第一数据源的第一数据并记录到第一数据库日志；基于所述第一数据，配置第一数据过滤规则；基于所述第一数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到第一同步数据；配置第二数据源和第二数据库；所述第一同步数据经过所述第二数据库同步到所述第二数据源。2.根据权利要求1所述的一种数据差异化同步方法，其特征在于，基于所述第一数据，配置相应数据过滤规则具体包括：获取所述第一数据中需要过滤的第二数据；将所述第二数据的表名添加到数据过滤条件；将所述第一数据中的数据表名与所述数据过滤条件中的数据表名进行匹配，对所述第一数据中匹配成功的数据表名对应的数据进行过滤。3.根据权利要求2所述的一种数据差异化同步方法，其特征在于，基于所述数据过滤规则，所述分布式数据库同步系统获取所述第一数据库日志并解析得到同步数据包括：获取所述第一数据中的数据表名并与所述数据过滤规则中的数据表名进行匹配，对所述第一数据中匹配成功的数据表名对应的数据进行过滤处理，对所述第一数据中匹配失败的数据表名对应的数据进行同步处理。4.根据权利要求1所述的一种数据差异化同步方法，其特征在于，配置分布式数据库同步系统包括：配置用于获取所述第一数据库日志的工具。5.根据权利要求1所述的一种数据差异化同步方法，其特征在于，配置分布式数据库同步系统还包括：配置用于发布和监控同步任务的管理器；配置用于处理同步任务的若干节点；配置用于协调所述若干节点工作的分布式协调工具。6.根据权利要求1所述的一种数据差异化同步方法，其特征在于，所述分布式数据库同步系统获取所述第一数据库日志并解析得到同步数据还包括：发布和监控多线程同步任务；基于所述多线程同步任务，对所述第一数据库日志进行解析得到所述第一同步数据；对所述多线程...

【专利技术属性】
技术研发人员：周道华，唐光明，黄维，许江泽，张佳音，王建，胡欢，周小强，雷运宇，吴婷婷，徐雷，张明娟，张勇，曾俊，詹飞，吴勇科，罗玉，陈运均，王莎，
申请(专利权)人：成都中科大旗软件股份有限公司，
类型：发明
国别省市：