一种基于桶粒度的跨集群复制系统及方法技术方案

本发明专利技术实施例公开了一种基于桶粒度的跨集群复制系统，包括：集群，每两个集群之间分配两组消息队列；全局配置中心，确定多个集群之间的跨集群复制方案，实时监测复制时是否出现异常；生产者，在主集群的生产节点上实时监控操作日志，在需要跨集群复制时封装桶对象信息并发送至正常消息队列中；消费者，监听正常消息队列，并从主集群上拉取桶对象写入备份集群中；异常修复工具，当复制出现异常时，消费异常消息队列中的消息。本发明专利技术实施例还公开了一种基于桶粒度的跨集群复制方法。本发明专利技术是以桶为粒度的多向跨集群复制，支持用最小的系统资源代价做到最大程度的准实时同步，且当集群出现故障时，可自动进行业务热切换和数据恢复。可自动进行业务热切换和数据恢复。可自动进行业务热切换和数据恢复。

【技术实现步骤摘要】
一种基于桶粒度的跨集群复制系统及方法


[0001]本专利技术涉及分布式存储
，具体而言，涉及一种基于桶粒度的跨集群复制系统及方法。

技术介绍

[0002]对象存储部署在独立的集群上，处于对数据的安全考虑，可能需要将数据实时同步至其他的集群上作为备份。现有技术中对于跨集群复制，仅支持单向和双向的跨集群复制，无法合理选择跨集群复制单位，在复制粒度过大时导致系统资源紧张，且无法做到多个集群之间的数据准实时同步，以确保数据的一致性。当跨集群复制过程中集群出现故障时，用户数据容易出现丢失，使用受到影响。

技术实现思路

[0003]为解决上述问题，本专利技术的目的在于提供一种跨集群复制系统及方法，以桶为粒度的多向跨集群复制，支持用最小的系统资源代价做到最大程度的多集群数据的准实时同步，且当集群出现故障的时候，可以由全局配置中心自动进行业务热切换和数据恢复。
[0004]基于桶粒度的多向跨集群复制，支持多向复制，可灵活配置桶的复制方向，并实现多向跨集群之间数据的准实时同步。
[0005]减少了资源的消耗，能高效的进行跨集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于桶粒度的跨集群复制系统，其特征在于，所述系统包括：集群，设置多个，多个所述集群中每两个集群之间分配两组消息队列，每组消息队列包含一个正常消息队列和一个异常消息队列，所述正常消息队列用于存放两个集群复制过程中产生的对象消息，所述异常消息队列用于存放两个集群复制过程中未能正常复制的对象消息；全局配置中心，用于确定多个所述集群之间的跨集群复制方案，其中，所述跨集群复制方案包括待复制桶和所述待复制桶的复制方向，所述待复制桶为待复制生产者的桶，所述复制方向为所述待复制桶从两个待跨集群中从主集群复制到备份集群的方向，所述全局配置中心还用于实时监测所述待复制桶在所述两个待跨集群之间复制时是否出现异常；生产者，设置多个，每个所述生产者用于在所述主集群的生产节点上实时监控操作日志，在需要跨集群复制时封装桶对象信息并发送至所述主集群复制到所述备份集群的正常消息队列中；消费者，设置多个，每个所述消费者监听所述主集群复制到所述备份集群的正常消息队列，解析正常消息队列获取所述待复制生产者封装的桶对象元数据信息，并根据桶对象元数据信息从所述主集群上拉取桶对象写入所述备份集群中，其中，多个所述消费者监听一个正常消息队列；异常修复工具，用于当所述待复制桶在所述两个待跨集群之间复制出现异常时，消费所述主集群复制到所述备份集群的异常消息队列中的消息。2.如权利要求1所述的系统，其中，所述两个集群包括第一集群和第二集群，所述两组消息队列包括第一组消息队列和第二组消息队列，所述第一组消息队列包括第一正常消息队列和第一异常消息队列，所述第一正常消息队列用于存放所述第一集群复制到所述第二集群上的桶对象信息，所述第一异常消息队列用于存放未能正常从所述第一集群复制到所述第二集群上的桶对象信息，所述第二组消息队列包括第二正常消息队列和第二异常消息队列，所述第二正常消息队列用于存放所述第二集群复制到所述第一集群上的桶对象信息，所述第二异常消息队列用于存放未能正常从所述第二集群复制到所述第一集群上的桶对象信息。3.如权利要求1所述的系统，其中，当所述待复制桶在所述两个待跨集群之间复制出现异常时...

【专利技术属性】
技术研发人员：李明强，朱辉，薛延波，张涛，赵鹏，
申请(专利权)人：北京华品博睿网络技术有限公司，
类型：发明
国别省市：