数据同步方法、装置、系统及存储介质制造方法及图纸

本发明专利技术公开了一种数据同步方法、装置、系统及存储介质。该方法应用于基于第一数据库集群注册得到的第一HTTP服务端，包括：接收第一数据库集群中第一HTTP客户端发送的数据同步请求，其中，所述第一HTTP客户端基于第一数据库集群中数据节点注册得到；基于所述数据同步请求从所述第一数据库集群的数据节点中调取节点数据，将所述节点数据发送至数据缓存装置；其中，所述数据缓存装置用于缓存所述节点数据并将所述节点数据发送至第二数据库集群，所述第一数据库集群、所述数据缓存装置和所述第二数据库集群遵从超文本传输协议。通过上述技术方案，使第一数据库集群与第二数据库集群基于超文本传输协议进行数据同步，提高了数据同步的效率。同步的效率。同步的效率。

【技术实现步骤摘要】
数据同步方法、装置、系统及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据同步方法、装置、系统及存储介质。

技术介绍

[0002]随着探索数据库的技术团队不断增多，网上开源的数据库类型也不断丰富，同时各行业面临的数据存储成本也越来越高。
[0003]当产业升级、生产规模扩大时，旧的数据库存储系统吞吐量远远无法承载当下的数据流量，所以需要接入新的数据库来满足产业需求；在接入新的数据库后，需要将历史数据同步至新的数据库。
[0004]现有技术中，通常采用Copy和Gpfdist的形式进行数据同步，但上述方法步骤繁琐且需要人工校验，同步效率较低，难以满足用户的数据同步需求。

技术实现思路

[0005]本专利技术提供了一种数据同步方法、装置、系统及存储介质，以解决目前数据库数据同步效率低的问题，提高数据同步的效率。
[0006]根据本专利技术的一方面，提供了一种数据同步方法，应用于基于第一数据库集群注册得到的第一HTTP服务端，包括：
[0007]接收第一数据库集群中第一HTTP客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于基于第一数据库集群注册得到的第一HTTP服务端，包括：接收第一数据库集群中第一HTTP客户端发送的数据同步请求，其中，所述第一HTTP客户端基于第一数据库集群中数据节点注册得到；基于所述数据同步请求从所述第一数据库集群的数据节点中调取节点数据，将所述节点数据发送至数据缓存装置；其中，所述数据缓存装置用于缓存所述节点数据并将所述节点数据发送至第二数据库集群，所述第一数据库集群、所述数据缓存装置和所述第二数据库集群遵从超文本传输协议。2.根据权利要求1所述的方法，其特征在于，所述数据同步请求包括数据上传请求，所述数据上传请求并行接收；相应的，基于所述数据同步请求从所述第一数据库集群的数据节点中调取节点数据，将所述节点数据发送至数据缓存装置，包括：基于所述数据上传请求从所述第一数据库集群的数据节点中并行调取节点数据，将所述节点数据并行发送至数据缓存装置。3.根据权利要求1所述的方法，其特征在于，所述数据同步请求中包括节点连接数、节点绑定数。4.根据权利要求1所述的方法，其特征在于，所述数据缓存装置在缓存的节点数据满足预设量级条件的情况下，将超出所述预设量级条件的节点数据发送至第二数据库集群；以及，所述第一HTTP服务端在接收到第一HTTP客户端发送的数据上传完成标识后，且满足预设时间间隔的情况下，触发所述数据缓存装置将缓存的未超出所述预设量级条件的节点数据发送至第二数据库集群。5.一种数据同步方法，其特征在于，应用于基于第二数据库集群注册得到的第二HTTP服务端，所述第二数据库集群中的数据节点在数据缓存装置中的缓存的节点数据满足预设量级条件时，被注册为第二HTTP客户端，所述第二HTTP服务端和所述第二HTTP客户端遵从超文本传输协议；所述方法包括：接收所述数据缓存装置发送的超过所述预设量级条件的节点数据，其中，所述数据缓存装置用于缓存第一数据库集群的数据节点中的节点数据；将所述超过所述预设量级条件的节点数据发送至所述第二HTTP客户端。6.根据权利要求5所述的方法，其特征在于，在将所述超过所述预设量级条件的节点数据发送至所述第二HTTP客户端之后，所述方法还包括：接收所述数据缓存装置中未超出所述预设量级条件的节点数据，并将所述数据缓存装置中未超出所述预设量级条件的节点数据发送至所述第二HTTP客户端。7.一种数据同步系统，其特征在于，包括：数据缓存装置、基于第一数据库集群注册的第一HTTP客户端和第一HTTP服务端、基于第二数据库集群注册的第二HTTP客户端和第二HTTP服务端，所述第一HTTP客户端、第一HTT...

【专利技术属性】
技术研发人员：陶晓宝，庄建伟，
申请(专利权)人：苏州峰之鼎信息科技有限公司，
类型：发明
国别省市：