用于在具有最小协作的数据中心之间进行全局去重的技术制造技术

提供了一种使用多个数据中心的云存储环境中的全局数据去重的系统和方法。每个云存储网关设备将数据流分割为多个数据对象，并生成基于内容的哈希值作为每个数据对象的键。利用不可变写入操作来将数据对象存储在云中相关联的键处。

【技术实现步骤摘要】
【国外来华专利技术】201480061410

【技术保护点】
一种用于对数据流进行去重的方法，所述方法包括：将所述数据流分块为多个数据对象；计算与所述数据对象中的每个数据对象相关联的键；进行不可变写入操作以将每个数据对象存储在云存储环境中，每个数据对象由其相关联的计算出的键来索引；以及更新与所述数据流相关联的元数据，以使得能够从所述云存储环境对所述数据对象进行后续检索。

【技术特征摘要】
【国外来华专利技术】2013.10.16 US 14/054,9841.一种用于对数据流进行去重的方法，所述方法包括：
将所述数据流分块为多个数据对象；
计算与所述数据对象中的每个数据对象相关联的键；
进行不可变写入操作以将每个数据对象存储在云存储环境中，每个数据对
象由其相关联的计算出的键来索引；以及
更新与所述数据流相关联的元数据，以使得能够从所述云存储环境对所述
数据对象进行后续检索。
2.根据权利要求1所述的方法，其中，将所述数据流分块为多个数据对象
包括：进行可变长度分块过程，以生成所述多个数据对象。
3.根据权利要求2所述的方法，其中，所述可变长度分块过程利用双阈值
双除数算法。
4.根据任一前述权利要求所述的方法，其中，所述键包括块键的串联，其
中，每个块键与数据对象的固定大小的数据块相关联。
5.根据任一前述权利要求所述的方法，还包括：
针对数据对象内的多个数据块中的每个数据块，计算基于内容的哈希；以
及
通过串联多个所计算出的基于内容的哈希，来计算所述键。
6.根据任一前述权利要求所述的方法，其中，更新元数据还包括更新映射
数据结构。
7.根据权利要求6所述的方法，其中，所述映射数据结构按顺序存储所计
算出的键，以使得能够重建所述数据流。
8.根据权利要求6或7所述的方法，其中，所述映射数据结构包括多个条
目，所述多个条目中的每个条目被配置为存储多个所计算出的键中的一个键。
9.根据任一前述权利要求所述的方法，其中，所述数据流包括备份数据流。
10.根据权利要求1至8中任一项所述的方法，其中，所述数据流包括虚

\t拟磁带库数据流。
11.根据任一前述权利要求所述的方法，其中，所述不可变写入操作尝试
将数据对象存储在所述云存储系统内的、由与该数据对象相关联的键所确定的
位置。
12.根据权利要求11所述的方法，其中，如果没有数据对象已存储在由所
述键所确定的位置，则所述不可变写入操作将所述数据对象存储在所述云存储
环境内的所述位置。
13.根据权利要求12所述的方法，所述方法还包括：响应于将所述数据对
象存储在所述位置，从所述云存储环境返回成功指示。
14.根据权利要求12或13所述的方法，其中，如果数据对象已存储在由
所述键所确定的位置，则所述不可变写入操作不对已存储在所述云存储环境内
的所述位置的该数据对象的先前写入的数据进行覆写。
15.根据权利要求14所述的方法，所述方法还包括：响应于未将所述数据
对象存储在所述位置，从所述云存储环境返回失败指示。
16.根据任一前述权利要求所述的方法，其中，所述不可变写入操作...

【专利技术属性】
技术研发人员：基兰·内恩梅利·斯里尼瓦桑，基肖尔·卡西·尤达亚尚卡尔，斯维萨·克里什南，
申请(专利权)人：网络装置公司，
类型：发明
国别省市：美国;US