搭建异构数据库的方法、装置、设备及可读存储介质制造方法及图纸

本公开提供一种搭建异构数据库的方法、装置、设备及可读存储介质，方法包括获取待同步数据，其中，所述待同步数据包括至少一个数据库的业务数据和/或日志文件；将所述待同步数据同步至数据中转站；将所述数据中转站中的所述待同步数据同步至目标数据库。本公开提供的方法、装置、设备及计算机可读存储介质简化了异构数据库同步的过程，搭建了一个相对通用，代码耦合度比较低的异构数据库架构。

Methods, devices, devices and readable storage media for building heterogeneous databases

【技术实现步骤摘要】
搭建异构数据库的方法、装置、设备及可读存储介质
本公开涉及搭建数据库技术，尤其涉及一种搭建异构数据库的技术，属于通信领域。
技术介绍
异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，每个数据库系统有自己的应用特性、完整性控制和安全性控制。现有的客服系统通过同步操作来实现异构数据库，在数据库中直接进行业务数据更新，将数据库中的内容传输到ElasticSearch。但是，这种方式的效率太低，在每次对数据库进行改动时，都需要对代码进行修改，代码耦合度非常高；并且需要对数据库和目标数据库的操作进行一次手工“转译”操作，工作量很大。
技术实现思路
本公开提供一种搭建异构数据库的方法、装置、设备及计算机可读存储介质，以解决不通用、代码耦合度高、工作量很大的问题本公开的第一个方面是提供一种方法，包括：获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件；将所述待同步数据同步至数据中转站；r>将所述数据中转站本文档来自技高网...

【技术保护点】
1.一种搭建异构数据库的方法，其特征在于，包括：/n获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件；/n将所述待同步数据同步至数据中转站；/n将所述数据中转站中的所述待同步数据同步至目标数据库。/n

【技术特征摘要】
1.一种搭建异构数据库的方法，其特征在于，包括：
获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件；
将所述待同步数据同步至数据中转站；
将所述数据中转站中的所述待同步数据同步至目标数据库。


2.根据权利要求1所述的方法，其特征在于，所述将所述待同步数据同步至数据中转站，包括：
通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；
通过Logstash工具将所述日志文件同步到Kafka中进行存储。


3.根据权利要求2所述的方法，其特征在于，所述通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储，包括：
通过DTS创建同步作业；
配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；
基于所述同步链路连接将所述业务数据同步至所述Kafka中。


4.根据权利要求2所述的方法，其特征在于，所述通过Logstash工具将所述日志文件同步到Kafka中进行存储，包括：
通过filebeat提取所述日志文件中的数据得到日志记录；
通过所述logstash工具将所述日志记录同步至所述kafka中进行存储。


5.根据权利要求2所述的方法，其特征在于，所述将所述数据中转站中的所述待同步数据同步至目标数据库包括：
将所述kafka中存储的待同步数据同步至ES数据库。


6.根据权利要...

【专利技术属性】
技术研发人员：于向丽，刘金财，薄涛，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京;11