一种基于存储网关的数据去重方法、系统及装置制造方法及图纸

本发明专利技术公开了一种基于存储网关的数据去重方法、系统及装置，方法包括：存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；服务器接收存储网关发送的待上传文件的摘要；服务器对待上传文件的摘要进行重复检查，以生成文件上传指令或权限验证挑战指令；系统包括存储网关和服务器；装置包括存储器和处理器。本发明专利技术大大减少了用户的工作量且安全性高，可广泛应用于云计算技术领域。

A Data Reduplication Method, System and Device Based on Storage Gateway

The invention discloses a method, system and device for data de-duplication based on storage gateway, which includes: the storage gateway calculates the summary of the file to be uploaded and sends the summary to the server so as to enable the server to issue a challenge instruction for privilege verification or file upload instruction; the storage gateway generates a response array according to the challenge instruction for server privilege verification to enable the server to carry out privileges. Verification; Storage Gateway uploads files to the server according to the file upload instructions of the server, combined with obfuscated files; Server receives summaries of files to be uploaded sent by the storage gateway; Server repeatedly checks the summaries of uploaded files to generate file upload instructions or authority verification challenge instructions; System includes storage gateway and server; Device includes storage gateway and server. Memories and processors. The invention greatly reduces the workload of users and has high security, and can be widely used in the field of cloud computing technology.

【技术实现步骤摘要】
一种基于存储网关的数据去重方法、系统及装置
本专利技术涉及云计算
，尤其是一种基于存储网关的数据去重方法、系统及装置。
技术介绍
近年来，随着云计算技术的快速发展，越来越多的用户使用云存储服务存储和管理数据，因此造成大量冗余数据。为了节省存储空间和网络带宽的消耗，研究者们提出数据去重(deduplication)技术，也被称为重复数据删除技术。利用该技术，消除了云存储中冗余的文件或更细粒度的数据，云存储服务器只需保留一份数据副本。数据去重技术根据去重发生的位置可分为：客户端数据去重和服务器端数据去重。在客户端数据去重方案中，用户首先上传文件标识(如hash值)至服务器中进行重复检测，若存在重复，则无需重复上传该文件，并且服务器将该用户记为文件拥有者。在服务器端数据去重方案中，用户不管文件是否重复，总是将文件上传至服务器，随后服务器检测文件的重复性，并将重复文件删除，仅保留一份数据副本。显然，服务器端数据去重需要消耗更多的网络带宽，因此客户端数据去重是目前云服务提供商(CSP,CloudServiceProvider)普遍采用的方法。由于典型的客户端数据去重云系统常采用文件的摘要(即hash值)作为用户的文件凭证，由此带来一个问题，即攻击者可能仅凭借文件的摘要就可以获得整个文件，例如攻击者只需上传摘要H(F)就会被云服务器认为拥有文件F的权限。针对于此，研究者们提出了所有权证明(PoW,ProofofOwnership)的概念，用户必须通过云服务器的验证才能拥有相关文件的权限。PoW方案通常包括四个阶段：文件上传(upload)、云服务器发起挑战(challenge)、客户端响应(proof)以及云服务器验证(verification)。然而，现有的PoW方案容易遭受侧信道攻击，攻击者可能通过在上传文件过程中观察网络流量状况就能判断去重是否发生，从而可知道云存储服务器上是否已存储该文件。例如，攻击者监听到某个时段网络流量大小等于文件F，则可判断存储网关正在上传F至服务器。攻击者可能利用这一点发起侧信道攻击，甚至可以获取文件内容，使得用户的数据安全和隐私受到严重的威胁。为了避免侧信道攻击，有研究者提出了存储网关(SG,StorageGateway)的概念，利用存储网关代替用户与云服务器进行交互，使得数据去重过程对用户透明。存储网关由多个本地磁盘连接而成的服务器，拥有一个较大容量的存储空间，与某个局域网内(如公司、学校、社区等)所有的用户相连，能够直接与云服务器进行交互，如上传/下载文件等。用户的所有待上传文件都会传输到存储网关，数据去重过程发生在存储网关中。然而，目前基于存储网关的方案都未考虑所有权证明，攻击者可能凭借文件摘要来获取整个文件，安全性较低。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种安全性高且工作量小的，基于存储网关的数据去重方法、系统及装置。本专利技术所采取的第一技术方案是：一种基于存储网关的数据去重方法，包括以下步骤：存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器。进一步，所述存储网关计算待上传文件的摘要这一步骤，包括以下步骤：存储网关获取用户上传的待上传文件；存储网关对待上传文件的摘要进行计算，所述摘要的计算公式为：hf＝H(F)，其中，hf代表待上传文件F的摘要，H()代表散列函数。进一步，所述存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证这一步骤，包括以下步骤：根据服务器的权限验证挑战指令，存储网关基于待上传文件生成响应数组，所述响应数组包括若干个数据块摘要；存储网关将响应数组发送至服务器，以使服务器对响应数组进行比对后得到权限验证挑战结果；存储网关接收服务器的权限验证挑战结果，对第一权限集合进行更新；存储网关在经过预设的第一时间后，将待上传文件删除。进一步，所述存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器这一步骤，包括以下步骤：存储网关将待上传文件和待上传文件的摘要加入上传队列；判断上传队列中是否存在混淆文件，若是，则直接执行下一步骤；反之，则通过存储网关生成虚拟数据加入到上传队列后，再执行下一步骤；存储网关在预设的第二时间之内将上传队列的内容上传至服务器。本专利技术所采取的第二技术方案是：一种基于存储网关的数据去重方法，包括以下步骤：服务器接收存储网关发送的待上传文件的摘要；服务器对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。进一步，所述生成权限验证挑战指令，以使存储网关生成响应数组这一步骤，其具体为：服务器运行PoW协议，然后根据待上传文件随机生成挑战数组，所述挑战数组包括若干个数据块索引。进一步，还包括以下步骤：服务器接收存储网关的响应数组；服务器对响应数组进行比对，判断响应数组与预设的应答是否相等，若是，则将权限验证挑战结果标为成功并对第二权限集合进行更新；反之，则将权限验证挑战结果标为失败；将权限验证挑战结果发送至存储网关。进一步，还包括以下步骤：服务器根据接收到的待上传文件，对第二权限集合进行更新。本专利技术所采取的第三技术方案是：一种基于存储网关的数据去重系统，包括：存储网关和服务器，其中，所述存储网关包括：摘要计算模块，用于计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；响应数组生成模块，用于根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；文件上传模块，用于根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；所述服务器包括：接收模块，用于接收存储网关发送的待上传文件的摘要；重复检查模块，用于对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。本专利技术所采取的第四技术方案是：一种基于存储网关的数据去重装置，包括：存储器，用于存储程序；处理器，用于加载程序，以执行如第一技术方案和第二技术方案所述的一种基于存储网关的数据去重方法。本专利技术的有益效果是：本专利技术利用存储网关与服务器进行交互，使得用户只需要将文件传输到存储网关，后续的工作由存储网关完成，大大减少了用户的工作量；再者，本专利技术的存储网关在上传文件的过程中，通过混淆文件来形成流量混淆，能够有效地防止攻击者通过监听网络流量发起侧信道攻击，提高了安全性；另外，本专利技术的存储网关需要通过权限验证才能拥有文件权限，能够防止攻击者仅凭借文件摘要或部分文件就能获取完整文件，进一步提高了安全性。附图说明图1为本专利技术实施例的上传队列的示意图；图2为本专利技术实施例的步骤流程图。具体实施方式下面结合说明书附图和具体实施例对本专利技术作进一步解释和说明。对于本专利技术实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施本文档来自技高网...

【技术保护点】
1.一种基于存储网关的数据去重方法，其特征在于：包括以下步骤：存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器。

【技术特征摘要】
1.一种基于存储网关的数据去重方法，其特征在于：包括以下步骤：存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器。2.根据权利要求1所述的一种基于存储网关的数据去重方法，其特征在于：所述存储网关计算待上传文件的摘要这一步骤，包括以下步骤：存储网关获取用户上传的待上传文件；存储网关对待上传文件的摘要进行计算，所述摘要的计算公式为：hf＝H(F)，其中，hf代表待上传文件F的摘要，H()代表散列函数。3.根据权利要求1所述的一种基于存储网关的数据去重方法，其特征在于：所述存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证这一步骤，包括以下步骤：根据服务器的权限验证挑战指令，存储网关基于待上传文件生成响应数组，所述响应数组包括若干个数据块摘要；存储网关将响应数组发送至服务器，以使服务器对响应数组进行比对后得到权限验证挑战结果；存储网关接收服务器的权限验证挑战结果，对第一权限集合进行更新；存储网关在经过预设的第一时间后，将待上传文件删除。4.根据权利要求1所述的一种基于存储网关的数据去重方法，其特征在于：所述存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器这一步骤，包括以下步骤：存储网关将待上传文件和待上传文件的摘要加入上传队列；判断上传队列中是否存在混淆文件，若是，则直接执行下一步骤；反之，则通过存储网关生成虚拟数据加入到上传队列后，再执行下一步骤；存储网关在预设的第二时间之内将上传队列的内容上传至服务器。5.一种基于存储网关的数据去重方法，其特征在于：包括以下步骤：服务器接收存储网关发送的待上传文件的摘要；服务器对待上传文件的摘要进行重复检查，判断所述待上传文件的...

【专利技术属性】
技术研发人员：柳毅，王平雁，李进，梁若涵，谭陆元，
申请(专利权)人：广东工业大学，广州大学，天讯瑞达通信技术有限公司，
类型：发明
国别省市：广东,44