一种安全的分布式重复数据删除方法技术

本发明专利技术公开了一种安全的分布式重复数据删除方法，利用秘密共享技术来把文件分割成片段，而不采用加密机制。这些共享将分布在多个独立的存储服务器。此外，为了支持去重，本发明专利技术将计算一个不同的短值，发送给每个存储服务器来作为一个片段的指针。只有第一次上传这些数据的拥有者才需要进行这样的计算和秘密共享的分布，之后拥有相同数据拷贝的人就不再需要计算和存储这些共享了。恢复数据拷贝时，用户必须访问最低数量的存储服务器通过认证和获得秘密共享来重构数据。换句话说，数据的秘密共享只能被拥有相同拷贝的授权了的用户访问。

【技术实现步骤摘要】
一种安全的分布式重复数据删除方法
本专利技术涉及计算机领域中的云储存服务，具体涉及一种安全的分布式重复数据删除方法。
技术介绍
数据去重技术广泛的应用在数据备份中来减少网络和存储开销，它通过检测和消除数据冗余来实现这一点。数据去重技术消除数据冗余，只留下一个物理副本，而不会保留多个相同内容的数据拷贝。当下已经有很多的数据去重技术出现，他们基于各种各样的去重策略，例如客户端或服务器端去重，文件级或块级去重等等。尤其是在云计算时代到来的时候，云存储中面临的日益增长的数据问题使得很多企业和团体都外包数据存储给第三方机构，这种情况下，数据去重技术就显得异常的关键。现在的很多商业云存储服务机构，例如Dropbox，Mozy和Memopal，他们都开始使用数据去重技术来降低带宽和存储的开销。数据去重，同时提高存储和带宽效率，在传统的数据加密体系下是不可调和的。加密机制通常在外包数据进入云之前进行。传统的加密机制，包括公钥加密和对称密钥加密，需要不同的用户用他们自己的密钥加密数据。这样造成的结果是，不同用户加密的完全相同的数据拷贝将会带来不同的密文，使得去重技术无法实施。为了克服这个问题，有人提出了收敛加密来加密数据同时保证去重的实施。基于收敛加密的数据去重系统，它使用一个收敛密钥来加密或解密一个数据拷贝，这个收敛密钥是根据数据拷贝自身的内容计算哈希值得到的。因此，相同的数据拷贝将生成相同的收敛密钥，也就意味着会加密成相同的密文，使得云服务器能实施数据去重技术。然而，这个方法面临了两个很关键的调度问题。首先，用户必须存储巨大数量的密钥。尤其是，在一个块级的数据去重系统中，每个用户必须生成和保留一个加密的收敛密钥给每一个加密的外包数据块，使得他们之后可以下载和解密这个数据。显然的，在这样的一个基于收敛加密的系统中，收敛密钥将随着存储块的数量线性增长，将会愈发庞大。其次，先前的去重系统仅仅支持单服务器设置下的数据保密性，这将可能带来保密的失败或者数据的丢失。实际上，数据的可靠性在去重存储系统中是一个非常关键的问题，因为对于所有用户来说，每个存储的文件在服务器上只剩下了一个拷贝。如果这个共享的拷贝丢失了，一个无法估量的大量数据将不可访问，因为所有共享这个数据的文件将变得无效。结果也就是，单服务器设置的去重系统有着数据丢失的潜在隐患。因此，怎么样提供更好的可靠性成为了去重系统中的一个关键的安全需求问题。
技术实现思路
在本专利技术中将展示怎样在云计算环境下设计一个具备更高可靠性的安全的数据去重系统。本专利技术在去重系统中提出一个分布式云存储服务器。主要的技术思想是利用秘密共享技术来把文件分割成片段，而不采用加密机制。这些共享将分布在多个独立的存储服务器。此外，为了支持去重，本专利技术将计算一个不同的短值，发送给每个存储服务器来作为一个片段的指纹。只有第一次上传这些数据的拥有者才需要进行这样的计算和秘密共享的分布，之后拥有相同数据拷贝的人就不再需要计算和存储这些共享了。恢复数据拷贝时，用户必须访问最低数量的存储服务器通过认证和获得秘密共享来重构数据。换句话说，数据的秘密共享只能被拥有相同拷贝的授权了的用户访问。因此，数据保密性在本专利技术的系统中是可以不通过加密而达到的。这就省去了在用户端对密钥的管理问题，并且使得数据存储更可靠。传统的去重方法不能够直接的扩展应用到多服务器系统。从更多的细节而言，如果一个短值存储在不同的云存储服务器中来支持去重检查，那个对传统的去重方法来说，他就不能够抵挡共谋攻击。换句话说，任何服务器都能够通过相同的短值来验证自己的拥有者身份，从而从其他服务器中获取数据的其它片段。本专利技术进一步的解决了两种共谋攻击，分别是，针对数据的共谋攻击和针对PoW的共谋攻击。据了解，针对安全去重的现有技术中都没有涉及到引入分布式存储服务器，并考虑其中的可靠性问题。为了实现上述目的，本专利技术采用的技术方案如下：本专利技术为一种安全的分布式重复数据删除方法，包括多个作为存储服务器的云服务器，以及向所述云服务器上传文件和/或数据的用户，所述方法包括以下步骤：S1所述用户计算并发送文件和/或数据标签至所述云服务器，用于检查是否存在重复；S2如检查没有发现重复，对文件和/或数据进行秘密共享计算后获得若干个碎片；S3计算并获得所述若干个碎片所对应的云服务器上的标签；S4所述用户在安全信道中向所述云服务器上传一组含有与所述文件和/或数据对应的值，所述云服务器存储所述值并返回一个指针至所述用户作本地存储；其中，所述文件和/或数据标签为元数据标签φF=TagGen(F)。需要进一步说明的是，如检查发现重复，还包括：S101所述用户计算并发送所述文件和/或数据的带有服务器身份id的标签至其他拥有与所述用户相同身份的云服务器；S102当所述标签与原存在与云服务器中的文件和/或数据标签匹配时，所述云服务器分配一个指针给所述用户用于对所述文件和/或数据进行共享。需要进一步说明的是，所述用户计算所述文件和/或数据标签时公式如下：TagGen′为标签，F为文件和/或数据，idj为身份，j为个数；其中，个数j可阻止所述云服务器获取其他云服务器的相同文件或块。需要进一步说明的是，所述值为{φF,cj,φF,idj}，表示元数据标签文件的第j个碎片和第j个id为j的云服务器上的标签。本专利技术适用于文件级的分布式重复数据删除系统。本专利技术另一种安全的分布式重复数据删除方法，包括多个作为存储服务器的云服务器，以及向所述云服务器上传文件和/或数据的用户，所述方法包括以下步骤：S1所述用户向所述云服务器上传文件和/或数据，先进行文件级分布式重复数据删除，如果发现重复，则执行文件级去重；否则，所述用户执行块级去重。S2将所述文件和/或数据划分为一组片段并计算其标签后发送至所述云服务器检查是否存在重复；S3如检查没有发现重复，对所述片段进行秘密共享计算后获得若干块；同时，所述用户计算身份idj信息为的服务器上的数据标签，并通过安全信道上传一组值至所述云服务器；S4所述云服务器收到所述值后，返回关联的指针至所述用户作本地存储。需要进一步说明的是，如检查发现重复，还包括：S201所述云服务器接收所述片段标签后计算一个所述片段的信号矢量；S202所述用户计算并发送所述文件和/或数据的标签至其他拥有与所述用户相同身份的云服务器；S203当所述标签与原存在与云服务器中的文件和/或数据标签匹配时，所述云服务器分配一个指针给所述用户用于对所述文件和/或数据进行共享。本专利技术适用于块级的分布式重复数据删除系统。本专利技术有益效果在于：1、能够满足有效的去重性，同时保证很高的可靠性。使用秘密分割技术替代传统加密方法来保护数据保密性。特别的是，通过使用秘密共享体制，数据被分割成片段并存储在不同的服务器中。此外，本专利技术所提出的架构支持文件级和块级的去重；2、安全分析表明本专利技术提出的去重系统在安全模型下是安全的。特别的是，即使有攻击者拥有了限制范围内的数据片段，数据依然是安全的；3、使用秘密共享机制，满足了高可靠性和保密等级。评估结果显示本专利技术对于数据操作是非常效率的。具体实施方式下面将结合具体实施方式对本专利技术作进一步的描述。需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种安全的分布式重复数据删除方法，其特征在于，包括多个作为存储服务器的云服务器，以及向所述云服务器上传文件和/或数据的用户，所述方法包括以下步骤：S1所述用户计算并发送文件和/或数据标签至所述云服务器，用于检查是否存在重复；S2如检查没有发现重复，对文件和/或数据进行秘密共享计算后获得若干个碎片；S3计算并获得所述若干个碎片所对应的云服务器上的标签；S4所述用户在安全信道中向所述云服务器上传一组含有与所述文件和/或数据对应的值，所述云服务器存储所述值并返回一个指针至所述用户作本地存储；其中，所述文件和/或数据标签为元数据标签φF＝TagGen(F)；F为文件和/或数据。2.根据权利要求1所述的方法，其特征在于，如检查发现重复，还包括：S101所述用户计算并发送所述文件和/或数据的带有服务器身份id的标签至其他拥有与所述用户相同身份的云服务器；S102当所述标签与原存在与云服务器中的文件和/或数据标签匹配时，所述云服务器分配一个指针给所述用户用于对所述文件和/或数据进行共享。3.根据权利要求2所述的方法，其特征在于，所述用户计算所述文件和/或数据标签时公式如下：TagGen'为标签，F为文件和/或数据，idj为身份，j为个数；其中，个数j可阻止所述云服务器获取其他云服务器的相同文件或块。4.根据权利要求1所述的方法，其特征在于，所述值为{φF,cj...

【专利技术属性】
技术研发人员：陈晓峰，尤沛，李进，李柏晴，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：