一种基于canal的数据同步系统及同步方法技术方案

本发明专利技术涉及一种基于canal的数据同步系统及同步方法，其中数据同步系统包括源端数据库、目标端数据库以及用于将源端数据库中的事务数据实时同步至目标端数据库的canal集群，canal集群存储有表关联策略，用于将新增或者修改的数据与目标端数据库或数据流中的数据表进行关联。与现有技术相比，本发明专利技术具有数据同步速度快、吞吐量大、搜索效率高等优点。搜索效率高等优点。搜索效率高等优点。

【技术实现步骤摘要】
一种基于canal的数据同步系统及同步方法


[0001]本专利技术涉及数据同步
，尤其是涉及一种基于canal的数据同步系统及同步方法。

技术介绍

[0002]业务系统采用微服务架构，每个产品的申请记录分布在独立的数据库中，给风控带来一定的不便。为了查看多产品的情况，需要切换到不同的查询页面，完成查询。由于业务发展有先后，考虑到不同产品的资源投入，后台数据库分为商用的DB2和开源的MySQL。
[0003]现有技术中，Flink是apache开源的流式处理框架，可以实现流之间的数据关联，具体的实现方式有两种：
[0004](1)Regular Join的方式
[0005]Flink将数据流的数据保存下来，包括当前要处理的记录和历史记录。数据持续性的保留，且保留的时间比较长。如果两个流(类比两个表)的数据需要关联，则会遍历另一条流，找到需要的关联数据。因为保存了历史数据，所以这种方式支持一对多的关联方式。
[0006]这种方式需要将数据保存到磁盘，因此要申请额外的磁盘空间，对于磁盘上数据的管理，需要引入额外的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于canal的数据同步系统，其特征在于，所述的数据同步系统包括源端数据库、目标端数据库以及用于将源端数据库中的事务数据实时同步至目标端数据库的canal集群；所述的canal集群存储有表关联策略，用于将新增或者修改的数据与目标端数据库或数据流中的数据表进行关联。2.根据权利要求1所述的一种基于canal的数据同步系统，其特征在于，所述的源端数据库包括MySQL数据库、Oracle数据库和DB2数据库。3.根据权利要求1所述的一种基于canal的数据同步系统，其特征在于，所述的源端数据库中的事务数据以binlog的形式传输到canal集群。4.根据权利要求1所述的一种基于canal的数据同步系统，其特征在于，所述的canal集群设有缓存。5.根据权利要求1所述的一种基于canal的数据同步系统，其特征在于，所述的表关联策略具体为：若源端数据库中有两张表在同一事务中进行了修改，则将两个表中新增的数据在canal集群中进行关联，并组成大宽表写入目标数据库；若源端数据库中有一张表中新增了数据，则通过目标数据库获取与该数据相关联的字段，组成大宽表写入目标数据库。6.根据权利要求5所述的一种基于cana...

【专利技术属性】
技术研发人员：王仕超，张毅，
申请(专利权)人：交通银行股份有限公司，
类型：发明
国别省市：