一种分布式存储数据的备份方法及其装置制造方法及图纸

本发明专利技术公开一种分布式存储数据的备份方法及其装置，方法步骤包括：将对象数据块存储于数据存储桶的实例内，对实例的id进行记录形成第一实例列表；对实例中各个对象数据块形成第一MD5校验结果；第二对象存储集群创建若干个数据备份桶；将每个实例的对象数据块分别存进去对应的数据备份桶内；一定时间段后，读取数据存储桶内的实例，形成第二实例列表，对实例中各个对象数据块形成第二MD5校验结果；判断第二实例列表中是否有与第一实例列表不同id的实例；将不同id的实例及实例内的对象数据块发送至数据备份桶；将不同MD5值的对象数据块发送至第二对象存储集群进行备份。本发明专利技术实现对象存储的差异备份，并保证必要数据存储的一致性。

A backup method and device of distributed storage data

【技术实现步骤摘要】
一种分布式存储数据的备份方法及其装置
本专利技术涉及分布式存储
，特别涉及一种分布式存储数据的备份方法及其装置。
技术介绍
对象存储是一种基于对象的存储技术，其扁平的结构和分片式存储有利于现代应用数据的读写。在分布式对象存储中，文件会以对象的方式存放到桶（bucket）中，每个对象都有一个唯一标识。因为使用场景的不同，块存储可以通过导出块文件的方式实现迁移备份，并实现差异导出合并等功能。尽管对象存储是一写多读的场景，但是对象存储的关键数据还是有备份的需求。对象存储使用场景中，因为主存储需要保证其性能，所以需要定时清除过时的、历史的数据，而旧数据需要做长期的、持久的备份，所以需要另一套备份对象存储集群，实现对象存储的差异备份，并保证其一致性。
技术实现思路
本专利技术要解决的技术问题在于，提供一种分布式存储数据的备份方法及其装置，实现对对象存储数据的差异性备份，并且第一对象存储集群和第二对象存储集群实际所需保存的数据保持一致性。为解决上述技术问题，本专利技术提供如下技术方案：一种分布式存储数据的备本文档来自技高网...

【技术保护点】
1.一种分布式存储数据的备份方法，其特征在于，包括以下步骤：/n步骤S1、第一对象存储集群创建若干个数据存储桶；/n步骤S2、对每一个数据存储桶创建若干个实例，每个实例均分配一个id且各个id均不一致；/n步骤S3、第一对象存储集群对外接收数据，将数据均分成若干块对象数据块并将对象数据块存储于数据存储桶的实例内，每个实例包括若干对象数据块；/n步骤S4、对象存储备份单元读取每一个数据存储桶内的实例，并对实例的id作为标记进行记录形成第一实例列表；对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元，对象存储备份单元对每个实例的全部对象数据块进行MD5校验，对实例中...

【技术特征摘要】
1.一种分布式存储数据的备份方法，其特征在于，包括以下步骤：
步骤S1、第一对象存储集群创建若干个数据存储桶；
步骤S2、对每一个数据存储桶创建若干个实例，每个实例均分配一个id且各个id均不一致；
步骤S3、第一对象存储集群对外接收数据，将数据均分成若干块对象数据块并将对象数据块存储于数据存储桶的实例内，每个实例包括若干对象数据块；
步骤S4、对象存储备份单元读取每一个数据存储桶内的实例，并对实例的id作为标记进行记录形成第一实例列表；对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元，对象存储备份单元对每个实例的全部对象数据块进行MD5校验，对实例中各个对象数据块的MD5值进行记录且形成一个第一MD5校验结果，其中，每个实例均形成一个第一MD5校验结果；
步骤S5、第二对象存储集群创建若干个数据备份桶，其中，数据备份桶与第一对象存储集群的数据存储桶数量一致，且数据备份桶与数据存储桶一一对应，数据备份桶内实例与数据存储桶内实例的id相同且一一对应；
步骤S6、对象存储备份单元将第一对象存储集群中数据存储桶内每个实例的全部对象数据块分别存进去对应的数据备份桶内，数据备份桶内的对象数据块与其对应的数据存储桶内的对象数据块保持一致；
步骤S7、重复步骤S2和步骤S3；
步骤S8、经过一定时间段后，对象存储备份单元读取每一个数据存储桶内的实例，并对实例的id作为标记进行记录形成第二实例列表；对象存储备份单元将第一对象存储集群内每个实例的全部对象数据块导出至对象存储备份单元，对象存储备份单元对每个实例的全部对象数据块进行MD5校验，对实例中各个对象数据块的MD5值进行记录且形成一个第二MD5校验结果，其中，每个实例均形成一个第二MD5校验结果；
步骤S9、对第一实例列表和第二实例列表进行判断，判断第二实例列表中是否有与第一实例列表不同id的实例；
若有，将不同id的实例及实例内的对象数据块发送至第二对象存储集群的数据备份桶中进行备份，其中，实例所在第一对象存储集群的数据存储桶与数据备份桶相对应；
遍历第二实例列表中每一个与第一实例列表相同id的实例，判断相同id的实例中第二MD5校验结果和第一MD5校验结果是否存在不同MD5值的对象数据块；若存在不同MD5值的对象数据块，则将不同MD5值的对象数据块发送至第二对象存储集群中对应数据备份桶内的实例中，若不存在不同MD5值的对象数据块则不作处理。


2.根据权利要求1所述的一种分布式存储数据的备份方法，其特征在于，所述步骤S1前还包括步骤S0、设置一个对象存储备份单元，对象存储备份单元连接第一对象存储集群和第二对象存储集群。


3.根据权利要求1所述的一种分布式存储数据的备份方法，其特征在于，所述步骤S4中，对象存储备份单元以队列方式对每个实例的全部对象数据块进行MD5校验；
所述S8中，对象存储备份单元以队列方式对每个实例的全部对象数据块进行MD5校验。


4.根据权利要求1所述的一种分布式存储数据的备份方法，其特征在于，所述步骤S4中，对实例中各个对象数据块的MD5值进行记录且形成一个第一...

【专利技术属性】
技术研发人员：曾星，史伟，闵宇，
申请(专利权)人：广东睿江云计算股份有限公司，
类型：发明
国别省市：广东;44