【技术实现步骤摘要】
【国外来华专利技术】用于对网络编码的分布式存储进行重复数据删除的系统及相关技术
技术介绍
如本领域中已知的，分布式存储系统包括许多节点，其中可以存储数据或文件。在操作中，可以将要被存储的数据或文件划分(或“分割”)成多个片段，这些片段可以被称为分组(在本文中有时也称为“块”或“组块”)。分布式存储系统中的每个节点可以存储这样的分组中的一个或多个。这样，可以在多个不同的存储节点之间分发数据或文件。存储节点之间没有协调来决定文件或数据的哪些片段存储在哪些节点中。因此，一个以上的存储节点可以接收具有相同内容的分组。众所周知，重复数据删除(de-duplication)是一种压缩技术，用于消除存储系统中存储的数据分组在各种文件上的冗余副本。常规地，重复数据删除过程发生在“原始”数据域中(即，简单地比较两个文件)。重复数据删除在所有现代数据中心中被执行。重复数据删除软件经常由针对数据中心开发软件的供应商提供。人们经常区分源重复数据删除和目标重复数据删除。目标重复数据删除在进行备份的数据中心中被执行。考虑到备份的数据量，重复数据删除的效率将在确定操作成本方面发挥...
【技术保护点】
1.一种用于对文件进行编码的方法，所述方法包括：/n识别要被存储的文件；/n对所述文件进行编码以生成多个编码分组；/n生成与所述文件相关联的散列码；/n将所述多个编码分组分发到多个存储节点；以及/n将与所述文件相关联的所述散列码存储在散列服务器中。/n
【技术特征摘要】 【专利技术属性】
【国外来华专利技术】20171108 US 62/583,206;20171110 US 62/584,3371.一种用于对文件进行编码的方法，所述方法包括：
识别要被存储的文件；
对所述文件进行编码以生成多个编码分组；
生成与所述文件相关联的散列码；
将所述多个编码分组分发到多个存储节点；以及
将与所述文件相关联的所述散列码存储在散列服务器中。
2.根据权利要求1所述的方法，进一步包括：
生成与源节点相关联的公钥并将所述公钥存储在所述散列服务器中。
3.根据权利要求1所述的方法，其中生成与所述文件相关联的散列码包括针对多个文件生成散列码。
4.根据权利要求1所述的方法，其中对所述文件进行编码进一步包括：
使用随机线性网络编码(RLNC)对所述文件进行编码以生成多个RLNC编码分组。
5.根据权利要求1所述的方法，其中将所述多个编码分组分发到多个存储节点进一步包括以下中的至少一个：
以顺序次序将所述多个编码分组分发到多个存储节点；以及
以随机次序将所述多个编码分组分发到多个存储节点。
6.根据权利要求1所述的方法，其中将所述多个编码分组分发到多个存储节点进一步包括：
基于在至少一个源节点与多个存储节点中的至少一些存储节点之间的数据传输速率将所述多个编码分组分发到所述多个存储节点。
7.一种用于对文件进行编码的装置，所述装置包括：
编码分组生成器，其被配置为：
对所述源文件进行编码以生成多个编码分组；并且
将所述多个编码分组分发到多个存储节点；以及
散列生成器，其被配置为：
生成与所述源文件相关联的散列码；并且
将与所述源文件相关联的所述散列码存储在散列服务器中。
8.根据权利要求7所述的装置，进一步包括：
公钥生成器，其被配置为：
生成与所述源节点相关联的公钥并将所述公钥存储在所述散列服务器中。
9.根据权利要求7所述的装置，进一步包括用于识别要被存储的源文件的单元。
10.一种用于在分布式存储系统中对编码分组进行重复数据删除的方法，所述方法包括：
技术研发人员：M·梅达尔，P·纳拉亚南穆尔蒂，V·阿伯德拉施托夫，
申请(专利权)人：麻省理工学院，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。