一种对象存储数据异步备份方法及系统技术方案

本发明专利技术公开了一种对象存储数据异步备份方法及系统，其中，方法包括以下步骤：设置备份点与对象异步备份状态标识；在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群；将备份脚本分发至分布式异步备份集群的每个节点并定时执行；在整个异步备份过程中，全程监控分布式异步备份集群、源/目的对象存储集群的主机状态，以及进程执行状态。本发明专利技术利用现有对象存储集群构建数据分布式异步备份集群，备份集群的每个节点均处理与对象id取模的结果一致的异步备份任务，每个任务多线程执行，保证数据传输效率。另外，本发明专利技术将每个异步备份任务从物理上进行隔离，确保存储对象无重复传输，无覆盖传输，无遗漏传输，从传输过程中保证可靠性。中保证可靠性。中保证可靠性。

【技术实现步骤摘要】
一种对象存储数据异步备份方法及系统


[0001]本专利技术涉及对象存储数据备份的
，具体涉及一种对象存储数据异步备份方法。

技术介绍

[0002]对象存储(Object
‑
based Storage，OBS)是用于存储大规模非结构化数据的数据存储架构。它将每项数据指定为一个对象，保存在单独的仓库中，然后与元数据和唯一标识符捆绑在一起，以方便访问和检索。随着大数据时代的到来，对象存储系统逐渐被青睐，用于存储海量且多样的数据。因此，数据的物理安全显得尤为重要。
[0003]容灾备份是通过在异地建立和维护一个备份存储系统，利用地理上的分离来保证系统和数据对灾难性事件的抵御能力。对象存储集群的容灾备份是指在异地建立一个相同的对象存储集群，进行有计划地或实时地数据备份，当出现灾难时，可由异地系统迅速接替本地系统而保证业务的连续性。目前，关于对象存储数据容灾分为实时备份、异步备份。所谓实时备份，是指用户在客户端进行对象操作时，同时会将数据操作应用于异地备份集群，保持主备集群“零数据”，在主备集群均操作成功才会返回客户端成功的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象存储数据异步备份方法，其特征在于，包括以下步骤：设置备份点与对象异步备份状态标识；在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群；将备份脚本分发至分布式异步备份集群的每个节点并定时执行；在整个异步备份过程中，全程监控分布式异步备份集群、源/目的对象存储集群的主机状态，以及进程执行状态。2.根据权利要求1所述的方法，其特征在于，所述设置备份点与对象异步备份状态标识步骤，包括：在源对象存储集群的数据库建立表备份点，在备份点表中添加的记录表示该存储桶将要开启数据备份，该表中记录了包括每个存储桶的异步备份状态和错误信息；在目的对象存储集群的数据库创建备份点中的同名存储桶，并为每个存储桶创建一个读写令牌Token，用于对象数据备份时的认证。3.根据权利要求1所述的方法，其特征在于，所述在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群步骤，包括：在分布式异步备份集群的每台服务器上配置代理，包括：数据库代理、对象存储服务代理；修改每台服务器的host id；安装备份脚本执行时需要的依赖文件；将备份脚本分发至分布式异步备份集群的每个节点并定时执行。4.根据权利要求1所述的方法，其特征在于，所述将备份脚本分发至分布式异步备份集群的每个节点并定时执行步骤中，分布式异步备份集群有N个节点，节点的主机序号host id为M；备份脚本只处理对象id取模N的余数与M相等的对象备份任务，即对象id mod N＝M。5.根...

【专利技术属性】
技术研发人员：张海明，王玉顺，黎建辉，张艳，张磊，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：