【技术实现步骤摘要】
基于MongoDB元数据管理的异构数据源同步的方法及系统
本专利技术涉及信息
，更具体地说，它涉及一种基于MongoDB元数据管理的异构数据源同步的方法及系统。
技术介绍
当前各个金融业务系统生产数据库均为MySQL，为了应对大规模数据分析查询工作，需要将业务数据实时同步至查询性能更强，支持水平扩展、高可用、分布式的列式存储数据库Kudu上。但是目前比较成熟的数据同步方案，均是基于传统关系型数据库之间进行数据同步，如MySQL数据库的Canal框架和Oracle数据库的OGG组件。而传统关系型数据库与Hadoop平台分布式数据库这两类异构数据库之间的数据同步只支持增量数据同步，源端和目标端元数据必须完全一致时才可以进行，不支持DDL数据操作变更的同步，不支持DML数据操作的更新和删除同步，同步限制条件较高，不能涵盖业务系统数据库的所有数据变更操作。基于上述原因，亟需设计一种可以实现关系型数据库MySQL与分布式列式数据库Kudu之间的数据实时同步的方法。
技术实现思路
针对现有技术存在的不足...
【技术保护点】
1.基于MongoDB元数据管理的异构数据源同步的方法，其特征是，包括以下步骤：/nS1、启动“元数据变更监听”服务，通过扫描MySQL源数据端待同步表结构，初始化源端数据表的元数据信息；/nS2、基于步骤S1的扫描结果，“元数据变更监听”服务在MongoDB数据库中构建一个通用的数据库元数据模型；/nS3、通过“变动数据捕获”服务，对MySQL数据库的binlog操作日志进行监听，解析操作日志后对数据操作行为进行区分为数据变更操作和数据结构变更操作，并根据不同的数据操作行为进行相应的处理；/nS4、通过“数据处理单元”获取分布式消息队列中待消费的数据变更信息；/nS5、根...
【技术特征摘要】
1.基于MongoDB元数据管理的异构数据源同步的方法，其特征是，包括以下步骤：
S1、启动“元数据变更监听”服务，通过扫描MySQL源数据端待同步表结构，初始化源端数据表的元数据信息；
S2、基于步骤S1的扫描结果，“元数据变更监听”服务在MongoDB数据库中构建一个通用的数据库元数据模型；
S3、通过“变动数据捕获”服务，对MySQL数据库的binlog操作日志进行监听，解析操作日志后对数据操作行为进行区分为数据变更操作和数据结构变更操作，并根据不同的数据操作行为进行相应的处理；
S4、通过“数据处理单元”获取分布式消息队列中待消费的数据变更信息；
S5、根据步骤S4所获取的数据变更信息，“数据处理单元”获取其涉及在MongoDB的元数据最新版本信息：
S6、“数据处理单元”根据MongoDB元数据信息和消息队列数据，实时转换构造Kudu的DML变更数据，并执行Kudu数据更新。
2.根据权利要求1所述的基于MongoDB元数据管理的异构数据源同步的方法，其特征是：在S3步骤中，针对数据变更操作，将变更数据按照MongoDB存储元数据结构存序列化写入分布式消息队列中；针对元数据变更操作，只保留通用元数据变更操作，将元数据变更操作信息更新为MongoDB元数据模型最新版本。
3.根据权利要求1所述的基于MongoDB元数据管理的异构数据源同步的方法，其特征是：S5步骤中若该元数据信息不存在，则根据MongoDB最新版本创建Kudu元数据结构；若Kudu中存在该元数据信息，数据处理单元比对MongoDB和Kudu之间的元数据版本信息，如果Kudu元数据版本小于MongoDB所保留的最新版本，数据处理单元将更新Kudu元数据结构信息，以保持与MongoDB中元数据最新版本一致。
4.一种基于Mon...
【专利技术属性】
技术研发人员：达星宇，吴明杰，李晓峰，吴智良，李奇，江魁栋，
申请(专利权)人：广东粤财金融云科技股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。