【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种异构数据同步方法、装置及可读存储介质。
技术介绍
1、在软件系统研发过程中，为解决关系型数据库查询效率低问题，可以将数据同步至自己安装的非关系型数据库elasticsearch中，借助elasticsearch提升查询效率。此时需要实现关系型数据库数据实时同步至elasticsearch。
2、目前，现有技术的实现方法主要包括以下步骤：
3、(1)申请“阿里云elasticsearch”实例。
4、(2)登录阿里云“数据传输控制台”。
5、(3)在阿里云“数据传输控制台”配置同步参数。
6、(4)完成配置并验证。
7、然而，现有技术只能通过dts将数据实时同步至阿里云elasticsearch，无法同步至自己本地安装的非阿里云elasticsearch中。此外，只能在阿里云“数据传输控制台”完成数据同步配置，若用户没有阿里云账户，则无法配置数据同步。
技术实现思路
1、本申请所要解决的技术问题是针对现有技术的上述不足，提供一种异构数据同步方法、装置及可读存储介质，用以解决现有技术存在的问题。
2、第一方面，本申请提供一种异构数据同步方法，所述方法包括：
3、s1、通过异构数据同步工具，采集阿里云数据传输服务dts所传输的源端数据库的同步数据，所述源端数据库为阿里云数据库；
4、s2、通过异构数据同步工具，将所述源端数据库的同步数据同步至目标数据库
5、在一些实施例中，s1之前，还包括：
6、通过所述异构数据同步工具订阅dts通道。
7、在一些实施例中，通过所述异构数据同步工具订阅dts通道之前，还包括：
8、基于k8s容器进行参数配置，得到所述异构数据同步工具。
9、在一些实施例中，基于k8s容器进行参数配置的配置项包括：数据同步名称、数据订阅通道的网络地址及端口号信息、数据订阅通道的订阅主题topic、消费组身份标识id、消费组账号、消费组账号密码、消费组账号密码解密公钥、消费位点、订阅模式、同步至目标数据库服务地址、目标数据库用户名、目标数据库密码、目标数据库密码解密公钥、目标数据库批量处理缓存大小、目标数据库批量处理最大等待时间、目标数据库处理失败重试间隔时间、目标数据库处理失败重试最大次数。
10、在一些实施例中，s2，包括：
11、s21、通过异构数据同步工具读取采集到的同步数据中的表名，将所述表名作为所述目标数据库的索引值，并连接所述目标数据库创建所述索引值；
12、s22、通过异构数据同步工具读取采集到的同步数据中的主键值，将所述主键值作为所述目标数据库的身份标识号码；
13、s23、通过异构数据同步工具读取采集到的同步数据，根据所述同步数据的内容生成预设格式的报文；
14、s24、连接所述目标数据库，将所述身份标识号码以及所述预设格式的报文保存至所述目标数据库的索引值中。
15、在一些实施例中，所述预设格式包括json格式。
16、第二方面，本申请提供一种异构数据同步装置，所述装置包括：
17、数据采集模块，其设置为通过异构数据同步工具，采集阿里云数据传输服务dts所传输的源端数据库的同步数据，所述源端数据库为阿里云数据库；
18、数据同步模块，其设置为通过异构数据同步工具，将所述源端数据库的同步数据同步至目标数据库，所述目标数据库为非阿里云数据库。
19、在一些实施例中，还包括：
20、参数配置模块，其设置为基于k8s容器进行参数配置，得到所述异构数据同步工具。
21、第三方面，本申请提供一种异构数据同步装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的异构数据同步方法。
22、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的异构数据同步方法。
23、本申请提供的异构数据同步方法、装置及可读存储介质，具体的，通过异构数据同步工具，采集阿里云数据传输服务dts所传输的源端数据库的同步数据，所述源端数据库为阿里云数据库；通过异构数据同步工具，将所述源端数据库的同步数据同步至目标数据库，所述目标数据库为非阿里云数据库。本申请提供一种异构数据同步方法，通过本数据同步工具，可以实现将订阅阿里云数据传输服务dts采集到的数据实时(秒级)同步至任意安装的elasticsearch中，摆脱只能在阿里云“数据传输控制台”配置同步参数，且只能实现同步至阿里云elasticsearch实例(无法同步至其它elasticsearch实例)的约束。
本文档来自技高网...【技术保护点】
1.一种异构数据同步方法，其特征在于，所述方法包括：
2.根据权利要求1所述的异构数据同步方法，其特征在于，S1之前，还包括：
3.根据权利要求2所述的异构数据同步方法，其特征在于，通过所述异构数据同步工具订阅DTS通道之前，还包括：
4.根据权利要求3所述的异构数据同步方法，其特征在于，基于k8s容器进行参数配置的配置项包括：数据同步名称、数据订阅通道的网络地址及端口号信息、数据订阅通道的订阅主题Topic、消费组身份标识ID、消费组账号、消费组账号密码、消费组账号密码解密公钥、消费位点、订阅模式、同步至目标数据库服务地址、目标数据库用户名、目标数据库密码、目标数据库密码解密公钥、目标数据库批量处理缓存大小、目标数据库批量处理最大等待时间、目标数据库处理失败重试间隔时间、目标数据库处理失败重试最大次数。
5.根据权利要求1所述的异构数据同步方法，其特征在于，S2，包括：
6.根据权利要求5所述的异构数据同步方法，其特征在于，所述预设格式包括json格式。
7.一种异构数据同步装置，其特征在于，所述装置包括：
8.根据权利要求7所述的异构数据同步装置，其特征在于，还包括：
9.一种异构数据同步装置，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现如权利要求1-6中任一项所述的异构数据同步方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的异构数据同步方法。
...【技术特征摘要】
1.一种异构数据同步方法，其特征在于，所述方法包括：
2.根据权利要求1所述的异构数据同步方法，其特征在于，s1之前，还包括：
3.根据权利要求2所述的异构数据同步方法，其特征在于，通过所述异构数据同步工具订阅dts通道之前，还包括：
4.根据权利要求3所述的异构数据同步方法，其特征在于，基于k8s容器进行参数配置的配置项包括：数据同步名称、数据订阅通道的网络地址及端口号信息、数据订阅通道的订阅主题topic、消费组身份标识id、消费组账号、消费组账号密码、消费组账号密码解密公钥、消费位点、订阅模式、同步至目标数据库服务地址、目标数据库用户名、目标数据库密码、目标数据库密码解密公钥、目标数据库批量处理缓存大小、目标数据库批量处理最大等待时间、目标数据库处理失败重试间隔时间、目...
【专利技术属性】
技术研发人员：王汉卿，蒋瑞卿，沈恒武，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。