一种多租户环境下自动远程数据同步的方法及相关设备技术

本发明专利技术公开了一种多租户环境下自动远程数据同步的方法及相关设备，涉及数据处理技术领域，所述方法包括：当SAAS平台创建租户数据库后，数据同步服务器接收所述SAAS平台发送的数据同步请求，分别与所述租户数据库和数据中台数据库建立连接；所述数据同步服务器获取所述租户数据库的日志变更数据，转化为通用JSON格式语句，并保存到本地数据库中；所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，以完成所述租户数据库与所述数据中台数据库的远程数据同步。本发明专利技术根据新建租户实时动态实现了租户数据库与数据中台数据库的自动远程数据同步。数据同步。数据同步。

【技术实现步骤摘要】
一种多租户环境下自动远程数据同步的方法及相关设备


[0001]本专利技术涉及数据处理
，尤其涉及一种多租户环境下自动远程数据同步的方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]在多租户环境的SAAS(Software
‑
as
‑
a
‑
service:软件即服务，是一种软件服务模式，相比于传统软件需要在企业内部部署客户端的方式的交付模式，SAAS软件部署在云端，企业只要注册一个企业账号就可以使用软件提供的功能)平台中，需要将租户业务系统的数据实时同步到数据中台(数据中台是SAAS系统中的一个模块，具有大数据处理能力，主要通过汇聚SAAS平台各个系统的数据，进行数据统计分析以及各个系统间的数据共享)进行数据分析。但是现有的数据同步方案主要存在以下问题：
[0003]传统的数据同步方式需要离线手动执行数据同步，即租户在平台注册租户账号后，平台运维人员需要离线手动操作，输入同步的数据库地址和相关账号，执行数据同步操作，同步方式比较繁琐；并且目前的同步方式要么使用离线的同步方式，像阿里开源的DataX类的工具，需要进行大量配置后执行批量同步，无法做到实时同步；像flinkCDC虽然可以做到数据的实时同步，但是flinkCDC只是实现了一个可以实时同步的代码库，要实现具体地同步功能需要开发人员针对具体要同步的库编写代码实现，无法做到根据新建租户实时动态自动创建租户数据库到数据中台的实时数据同步。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种多租户环境下自动远程数据同步的方法、系统、终端及计算机可读存储介质，旨在解决现有技术中租户数据无法远程自动同步至数据中台的问题。
[0006]为实现上述目的，本专利技术提供一种多租户环境下自动远程数据同步的方法，所述多租户环境下自动远程数据同步的方法包括如下步骤：
[0007]当SAAS平台创建租户数据库后，数据同步服务器接收所述SAAS平台发送的数据同步请求，分别与所述租户数据库和数据中台数据库建立连接；
[0008]当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，所述数据同步服务器获取所述租户数据库的日志变更数据，将所述日志变更数据转化为通用JSON格式语句，并保存到本地数据库中；
[0009]所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，以完成所述租户数据库与所述数据中台数据库的远程数据同步。
[0010]可选地，所述的多租户环境下自动远程数据同步的方法，其中，当SAAS平台创建租户数据库后，数据同步服务器接收所述SAAS平台发送的数据同步请求，分别与所述租户数
据库和数据中台数据库建立连接；
[0011]所述当SAAS平台创建租户数据库后，数据同步服务器接收所述SAAS平台发送的数据同步请求，分别与所述租户数据库和数据中台数据库建立连接具体包括：
[0012]当检测到租户在SAAS平台完成注册租户账号且SAAS平台创建所述租户数据库后，所述数据同步服务器获取所述租户数据库的初始化成功信息；
[0013]所述数据同步服务器接收所述SAAS平台发送的数据同步请求，所述数据同步服务器根据所述数据同步请求分别与所述租户数据库和数据中台数据库建立连接。
[0014]可选地，所述的多租户环境下自动远程数据同步的方法，其中，当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，所述数据同步服务器获取所述租户数据库的日志变更数据，将所述日志变更数据转化为通用JSON格式语句，并保存到本地数据库中；
[0015]所述当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，所述数据同步服务器获取所述租户数据库的日志变更数据，将所述日志变更数据转化为通用JSON格式语句，并保存到本地数据库中，具体包括：
[0016]当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，则创建数据同步任务；
[0017]当所述数据同步服务器的所述数据同步任务创建后，所述数据同步服务器监听所述租户数据库的日志变化，并获取所述租户数据库的日志变更数据；
[0018]当所述数据同步服务器获取到所述日志变更数据后，将所述日志变更数据转化为通用JSON格式语句；
[0019]所述数据同步服务器将所述通用JSON格式语句保存到所述数据同步服务器的本地数据库中。
[0020]可选地，所述的多租户环境下自动远程数据同步的方法，其中，所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，以完成所述租户数据库与所述数据中台数据库的远程数据同步；
[0021]所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，以完成所述租户数据库与所述数据中台数据库的远程数据同步，具体包括：
[0022]所述数据同步服务器将保存到本地数据库中的所述通用的JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存；
[0023]当所述数据同步服务器接收到所述数据中台服务器读取保存所述SQL语句成功的信息后，以完成所述租户数据库与所述数据中台数据库的远程数据同步，所述数据同步服务器将所述本地数据库中所述数据中台数据库读取保存成功的SQL语句删除；
[0024]所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，之后还包括：
[0025]当所述数据同步服务器接收到所述数据中台服务器读取保存所述SQL语句失败的信息后，则进行重试；
[0026]若重试多次仍失败，同步终止，所述数据同步服务器接收到所述数据中台服务器返回的同步错误信息；
[0027]所述当所述数据同步服务器接收到所述数据中台服务器读取保存所述SQL语句失败的信息后，则进行重试，具体为：
[0028]当所述数据同步服务器接收到所述数据中台服务器读取保存所述SQL语句失败的信息后，所述数据同步服务器重新将所述SQL语句发送到所述数据中台数据库实时读取保存。
[0029]可选地，所述的多租户环境下自动远程数据同步的方法，其中，所述日志变更数据为所述租户数据库中数据库表结构变更或表数据变更的二进制日志变化信息。
[0030]此外，为实现上述目的，本专利技术还提供一种多租户环境下自动远程数据同步的系统，其中，所述多租户环境下自动远程数据同步的系统包括：
[0031]创建同步模块，当SAAS平台创建租户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多租户环境下自动远程数据同步的方法，其特征在于，所述多租户环境下自动远程数据同步的方法包括：当SAAS平台创建租户数据库后，数据同步服务器接收所述SAAS平台发送的数据同步请求，分别与所述租户数据库和数据中台数据库建立连接；当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，所述数据同步服务器获取所述租户数据库的日志变更数据，将所述日志变更数据转化为通用JSON格式语句，并保存到本地数据库中；所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，以完成所述租户数据库与所述数据中台数据库的远程数据同步。2.根据权利要求1所述的多租户环境下自动远程数据同步的方法，其特征在于，所述当SAAS平台创建租户数据库后，数据同步服务器接收所述SAAS平台发送的数据同步请求，分别与所述租户数据库和数据中台数据库建立连接具体包括：当检测到租户在SAAS平台完成注册租户账号且SAAS平台创建所述租户数据库后，所述数据同步服务器获取所述租户数据库的初始化成功信息；所述数据同步服务器接收所述SAAS平台发送的数据同步请求，所述数据同步服务器根据所述数据同步请求分别与所述租户数据库和数据中台数据库建立连接。3.根据权利要求1所述的多租户环境下自动远程数据同步的方法，其特征在于，所述当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，所述数据同步服务器获取所述租户数据库的日志变更数据，将所述日志变更数据转化为通用JSON格式语句，并保存到本地数据库中，具体包括：当所述数据同步服务器分别与所述租户数据库和所述数据中台数据库建立连接后，则创建数据同步任务；当所述数据同步服务器的所述数据同步任务创建后，所述数据同步服务器监听所述租户数据库的日志变化，并获取所述租户数据库的日志变更数据；当所述数据同步服务器获取到所述日志变更数据后，将所述日志变更数据转化为通用JSON格式语句；所述数据同步服务器将所述通用JSON格式语句保存到所述数据同步服务器的本地数据库中。4.根据权利要求1所述的多租户环境下自动远程数据同步的方法，其特征在于，所述数据同步服务器将所述通用JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存，以完成所述租户数据库与所述数据中台数据库的远程数据同步，具体包括：所述数据同步服务器将保存到本地数据库中的所述通用的JSON格式语句转化为所述数据中台数据库支持的SQL语句，并将所述SQL语句发送到所述数据中台数据库实时读取保存；当所述数据同步服务器接收到所述数据中台服务器读取保存所述SQL语句成功的信...

【专利技术属性】
技术研发人员：王晓峰，邓秀东，
申请(专利权)人：东方合智数据科技广东有限责任公司，
类型：发明
国别省市：