分布式数据备份方法技术

本申请提供一种分布式数据备份方法

【技术实现步骤摘要】
分布式数据备份方法、系统、设备及存储介质


[0001]本申请涉及分布式领域，尤其涉及一种分布式数据备份方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]ClickHouse
是一个面向在线分析处理的列式数据库管理系统，具有高性能
、
高可扩展性和高并发处理能力
。
它适用于实时分析，日志分析，大数据分析，实时报表和可视化，数据仓库，分布式计算等多种场景
。
[0003]随着数据规模的不断增长和业务的全球化发展，传统的数据备份和复制方案面临着诸多挑战
。ClickHouse
集群在传统的基于主从复制的备份方案存在单点故障和数据一致性问题，无法满足高性能和高可用性的需求
。
[0004]针对上述缺陷，亟需一种分布式数据备份方法
、
系统
、
设备及存储介质，能够解决在
ClickHouse
集群在进行数据备份时容易出错的问题
。

技术实现思路

[0005]本申请提供一种分布式数据备份方法
、
系统
、
设备及存储介质，用以解决
ClickHouse
集群在进行数据备份时容易出错的问题
。
[0006]第一方面，本申请提供一种分布式数据备份方法，用于
Zookeeper
软件，所述
Zookeeper
软件部署于第一r/>clickhouse
本地集群和第二
clickhouse
本地集群，在所述第一
clickhouse
本地集群和所述第二
clickhouse
本地集群中确定本地主集群和本地副集群；所述
Zookeeper
软件还与异地
clickhouse
集群和存储云端配置连接，其中，所述本地主集群用于接收用户数据并通过
Zookeeper
软件同步写入所述本地副集群；发送所述用户数据至所述异地
clickhouse
集群进行异地备份；所述存储云端用于接收所述异地
clickhouse
集群发送的所述用户数据并进行云备份；所述方法包括：
[0007]判断所述本地主集群
、
所述本地副集群和所述异地
clickhouse
集群是否宕机；
[0008]若确定仅所述本地主集群宕机，将所述本地主集群和所述本地副集群互换并保存所述本地副集群的宕机节点；若确定仅所述本地副集群宕机时保存所述本地副集群对应的宕机节点；
[0009]向所述本地主集群发送第一消息，第一消息用于指示本地主集群进行本地写入并向所述异地
clickhouse
集群发送所述用户数据用于异地备份；
[0010]判断所述本地副集群是否恢复存活，在确定所述本地副集群恢复存活时，根据所述宕机节点发起所述数据回滚请求
。
[0011]在一种可能的设计中，所述方法还包括：
[0012]接收所述本地主集群的用户数据，将所述用户数据同步写入所述本地副集群；
[0013]若所述同步写入失败，保存所述本地副集群的宕机节点，向所述本地主集群发送第一消息，第一消息用于指示本地主集群进行本地写入并向所述异地
clickhouse
集群发送
所述用户数据用于异地备份；
[0014]判断所述本地副集群是否恢复存活，在确定所述本地副集群恢复存活时，根据所述宕机节点发起所述数据回滚请求
。
[0015]在一种可能的设计中，若确定仅所述异地
clickhouse
集群宕机，所述方法还包括：
[0016]保存所述异地
clickhouse
集群对应的宕机节点；判断所述异地
clickhouse
集群是否恢复存活，在确定所述异地
clickhouse
集群恢复存活时，根据所述宕机节点发起所述数据回滚请求
。
[0017]在一种可能的设计中，所述判断所述本地主集群或所述本地副集群或所述异地
clickhouse
集群是否宕机，包括：
[0018]根据第一预设周期向所述本地主集群或所述本地副集群或所述异地
clickhouse
集群发送的心跳信号，若在第二预设周期内未收到所述本地主集群
/
所述本地副集群
/
所述异地
clickhouse
集群发送的回复信号，则确认所述本地主集群
/
所述本地副集群
/
所述异地
clickhouse
集群已宕机
。
[0019]在一种可能的设计中，所述判断所述本地副集群或所述异地
clickhouse
集群是否恢复存活，包括：
[0020]根据第三预设周期向所述本地副集群或所述异地
clickhouse
集群分别发送各自的心跳信号，若在第四预设周期内收到所述本地副集群或所述异地
clickhouse
集群发送的回复信号，则确认所述本地副集群或所述异地
clickhouse
集群恢复存活
。
[0021]在一种可能的设计中，所述在确定所述本地副集群恢复存活时，所述根据所述宕机节点发起数据回滚请求，包括：
[0022]所述在确定所述本地副集群恢复存活时，向所述存储云端发送第一数据回滚请求和所述本地副集群的所述宕机节点；其中，所述第一数据回滚请求用于指示所述存储云端根据所述本地副集群的所述宕机节点对所述本地副集群进行数据回滚备份
。
[0023]在一种可能的设计中，所述在确定所述异地
clickhouse
集群恢复存活时，所述根据所述宕机节点发起数据回滚请求，包括：
[0024]在确定所述异地
clickhouse
集群恢复存活时，向所述本地主集群发送第二数据回滚请求和所述异地
clickhouse
集群的所述宕机节点；其中，所述第二数据回滚请求用于指示所述本地主集群根据所述异地
clickhouse
集群的所述宕机节点对所述异地
clickhouse
集群进行数据回滚备份
。
[0025]第二方面，本申请提供一种分布式数据备份系统，所述系统包括：
[0026]第一
clickhouse
本地集群
、
第二
clickhouse
本地集群
、
异地
clickhouse
集群和存储云端，所述第一
clickhouse
本地集群和所述第二
click本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式数据备份方法，其特征在于，用于
Zookeeper
软件，所述
Zookeeper
软件部署于第一
clickhouse
本地集群和第二
clickhouse
本地集群，在所述第一
clickhouse
本地集群和所述第二
clickhouse
本地集群中确定本地主集群和本地副集群；所述
Zookeeper
软件还与异地
clickhouse
集群和存储云端配置连接，其中，所述本地主集群用于接收用户数据并通过
Zookeeper
软件同步写入所述本地副集群；发送所述用户数据至所述异地
clickhouse
集群进行异地备份；所述存储云端用于接收所述异地
clickhouse
集群发送的所述用户数据并进行云备份；所述方法包括：判断所述本地主集群
、
所述本地副集群和所述异地
clickhouse
集群是否宕机；若确定仅所述本地主集群宕机，将所述本地主集群和所述本地副集群互换并保存所述本地副集群的宕机节点；若确定仅所述本地副集群宕机时保存所述本地副集群对应的宕机节点；向所述本地主集群发送第一消息，第一消息用于指示本地主集群进行本地写入并向所述异地
clickhouse
集群发送所述用户数据用于异地备份；判断所述本地副集群是否恢复存活，在确定所述本地副集群恢复存活时，根据所述宕机节点发起所述数据回滚请求
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述本地主集群的用户数据，将所述用户数据同步写入所述本地副集群；若所述同步写入失败，保存所述本地副集群的宕机节点，向所述本地主集群发送第一消息，第一消息用于指示本地主集群进行本地写入并向所述异地
clickhouse
集群发送所述用户数据用于异地备份；判断所述本地副集群是否恢复存活，在确定所述本地副集群恢复存活时，根据所述宕机节点发起所述数据回滚请求
。3.
根据权利要求1所述的方法，其特征在于，若确定仅所述异地
clickhouse
集群宕机，所述方法还包括：保存所述异地
clickhouse
集群对应的宕机节点；判断所述异地
clickhouse
集群是否恢复存活，在确定所述异地
clickhouse
集群恢复存活时，根据所述宕机节点发起所述数据回滚请求
。4.
根据权利要求1所述的方法，其特征在于，所述判断所述本地主集群或所述本地副集群或所述异地
clickhouse
集群是否宕机，包括：根据第一预设周期向所述本地主集群或所述本地副集群或所述异地
clickhouse
集群发送的心跳信号，若在第二预设周期内未收到所述本地主集群
/
所述本地副集群
/
所述异地
clickhouse
集群发送的回复信号，则确认所述本地主集群
/
所述本地副集群
/
所述异地
clickhouse
集群已宕机
。5.
根据权利要求1至3中任一项所述的方法，其特征在于，所述判断所述本地副集群或所述异地
clickhouse
集群是否恢复存活，包括：根据第三预设周期向所述本地副集群或所述异地
clickhouse
集群分别发送各自的心跳信号，若在第四预设周期内收到所述本地副集群或所述异地
clickhouse
集群发送的回复信号，则确认所述本地副集群或所述异地
clickhouse
集群恢复存活
。6.
根据权利要求1或2所述的方法，其特征在于，所述在确定所述本地副集群恢复存活
时，所述根据所述宕机节点发起数据回滚请求，包括：所述在确定所述本地副集群恢复存活时，向所述存储云端发送第一数据回滚请求和所述本地副集群的所述宕机节点；其中，所述第一数据回滚请求用于指示所述存储云端根据所述本地副集群的所述宕机节点对所述本地副集群进行数据回滚备份
。7.
根据权利要求3所述的方法，其特征在于，所述在确定所述异地
clickhouse
集群恢复存活时，所述根据所述宕机节点发起数据回滚请求，包括：在确定所述异地
clickhouse
集群恢复存活时，向所述本地主集群发送第二数据回滚请...

【专利技术属性】
技术研发人员：邢云阳，
申请(专利权)人：联通数字科技有限公司联通云数据有限公司，
类型：发明
国别省市：