一种数据同步方法技术

本发明专利技术提供一种数据同步方法

【技术实现步骤摘要】
一种数据同步方法、装置、电子设备及存储介质


[0001]本专利技术涉及信息
，尤其涉及一种数据同步方法
。

技术介绍

[0002]随着信息时代的发展，信息更新速度不断加快，信息种类也纷繁复杂，业务数据量规模日益增长，数据库系统如何满足数据的高并发读写，是一个巨大的挑战
。
[0003]传统
ETL
工具数据同步方案，一般通过
kettle、informatic、datax
等工具实现数据同步
。
[0004]但上述工具只能进行批量同步，无法实现实时同步的功能，存在一定延迟
。

技术实现思路

[0005]本专利技术提供一种数据同步方法
、
装置
、
电子设备及存储介质，用以解决现有技术中无法实现实时同步的缺陷，实现将数据源中的数据高效同步至目标库
。
[0006]本专利技术提供一种数据同步方法，包括：
[0007]利用
Flink
从消息中间件中调取数据源的变更信息；
...

【技术保护点】

【技术特征摘要】
1.
一种数据同步方法，其特征在于，包括：利用
Flink
从消息中间件中调取数据源的变更信息；利用所述
Flink
将所述变更信息同步至目标库；所述变更信息是基于数据源连接器捕获的所述数据源的数据变化确定的
。2.
根据权利要求1所述的数据同步方法，其特征在于，所述利用
Flink
从消息中间件中调取数据源的变更信息，包括：将所述
Flink
的消费端订阅关系绑定至所述消息中间件的
Topic
；将所述消息中间件与所述
Flink
进行框架融合；调用所述
Flink
的接口从所述消息中间件中调取数据源的变更信息
。3.
根据权利要求1所述的数据同步方法，其特征在于，所述变更信息为字节流格式，在所述利用
Flink
从消息中间件中调取数据源的变更信息之前，还包括：利用所述数据源连接器确定数据源的变更日志；对所述变更日志进行解析，获取所述变更信息；将所述变更信息输入至消息中间件
。4.
根据权利要求3所述的数据同步方法，其特征在于，所述利用所述数据源连接器确定数据源的变更日志，包括：基于所述数据源的主备交互协议，利用所述数据源连接器向所述数据源的伪终端发送
dump
协议，以从数据源中调取变更日志
。5.
根据权利要求3所述的数据同步方法，其特征在于，在所述利用所述数据源连接器确...

【专利技术属性】
技术研发人员：李永宏，
申请(专利权)人：中移系统集成有限公司中国移动通信集团有限公司，
类型：发明
国别省市：