一种雾存储中支持动态所有权管理的块级数据去重方法技术

本发明专利技术属于雾计算和信息安全技术领域，公开了一种雾存储中支持动态所有权管理的块级数据去重方法。该方法提出了一种改进的块级客户端去重技术，在节省网络带宽的同时，解决了当前块级客户端去重中的数据敏感信息泄露的问题。在此基础上，该方法还提出了两级所有权列表和密钥更新机制，在高效节省存储空间的同时，以较少的代价实现细粒度的访问控制，填补了当前没有所有权管理技术与块级去重技术兼容的空白。此外，该方法还介绍了一种数据块动态存储机制，系统中数据块根据服务需要在系统中转移，不但可以降低服务成本和文件访问延迟，还可以提高系统安全性和用户服务体验，解决了当前雾存储去重方案中系统资源利用率不高的问题。

A block level data removal method supporting dynamic ownership management in fog storage

The invention belongs to the field of fog computing and information security technology, and discloses a block-level data duplication method supporting dynamic ownership management in fog storage. This method proposes an improved block-level client de-duplication technology, which not only saves network bandwidth, but also solves the problem of data sensitive information leakage in current block-level client de-duplication. On this basis, the method also proposes a two-level ownership list and key update mechanism, which can achieve fine-grained access control with less cost while saving storage space efficiently, filling the gap that there is no compatibility between ownership management technology and block-level de-duplication technology. In addition, this method also introduces a data block dynamic storage mechanism. The data blocks in the system are transferred according to the service requirements. This method not only reduces the service cost and file access delay, but also improves the system security and user service experience, and solves the problem that the system resource utilization rate is not high in the current fog storage de-duplication scheme. The problem.

【技术实现步骤摘要】
一种雾存储中支持动态所有权管理的块级数据去重方法
本专利技术属于雾计算和信息安全
，尤其涉及一种雾存储中支持动态所有权管理的块级数据去重方法。
技术介绍
目前，业内常用的现有技术是这样的：日益增长的云服务用户将导致集中式的云计算服务模式无法提供及时有效的服务，为此，研究人员提出一种新的计算模式—雾计算，该计算模式具有低延迟、服务便捷的优点。然而，雾存储中数据量的快速增长使其面临磁盘空间和网络带宽不足的窘境，所以服务提供商们通过使用数据去重技术，利用数据相似性删除系统中相同数据的多余备份，仅保留单一副本来有效节省服务资源。目前的数据去重技术根据去重粒度可以分为文件级和块级，与文件级去重相比，由于块级去重支持不同文件中相同数据块的去重，所以更节省存储资源。根据去重方式的不同，这些方案又可以分为服务器端去重和客户端去重，其中客户端去重比服务器端去重更节省带宽资源，但在数据上传阶段，数据用户可以根据服务器的响应判断出文件是否已经存在于存储系统中，导致了侧信道信息泄露。现有的客户端去重技术，尤其是文件级客户端去重技术都无法有效地避免这种信息泄露问题。就目前而言，研究如何在块级客户端去重中抵抗侧信道信息泄露是一个开放性的课题。在商业雾存储中，数据的密钥在生成后很少更新，并且用户可能通过删除或更改雾存储中自己的数据来降低开销，这种频繁的所有权变更容易导致数据密钥的泄露，威胁数据安全和服务质量。所以，存储系统应实现对数据的动态所有权管理，以保证数据的前后向保密性。目前研究者们也提出了一些动态所有权管理技术，然而这些技术或由于方案独特的构造、或由于过大的成本开销，导致其只能与文件级去重相兼容，这严重制约了这些技术节省存储的资源的效率。块级去重可以节省更多的存储资源，但对于大文件去重来说，大量的文件数据块处理造成了很多开销，并且传统的单所有权列表和密钥密文更新机制难以维持这种繁琐的工作模式。所以研究如何以尽可能少的代价在块级去重技术中实现动态所有权管理是一个很有意义的课题。如何高效利用系统中资源是商业雾存储的重要考量之一。然而在当前为数不多的雾存储去重方案中，大多数都是通过将初始上传的文件存储在雾设备中一定周期来缓解中心云的工作压力，但所有数据最终都会被转移至中心云，之后系统中所有的数据检索服务都需要从中心云中请求数据，所以导致雾存储对系统资源的利用率不高。所以研究如何使系统中各个设备以和谐的方式运行，进一步节省资源是一个很有意义的研究课题。综上所述，现有技术存在的问题是：1、现有的块级客户端去重无法防止侧信道信息泄露；2、现有的动态所有权管理技术仅与文件级去重兼容，无法在块级去重中实现动态所有权管理，这制约了去重技术的去重效率；3、现有的雾存储去重方案对系统的资源利用率不高，导致了很大的服务成本和较长的服务延迟。解决上述技术问题的难度和意义：1、解决客户端去重技术中的侧信道信息泄露问题的关键，在于使用户无法通过服务器的回应判断出是否发生数据去重。在现有的客户端去重方案中，这种问题都没有很好地解决，且文件级客户端去重已经无法很好地解决这一问题。由于块级客户端去重中，文件以数据块的形式外包、存储，为解决这一问题提供了一种可能，但关键在于如何设计合适的交互模式，使用户无法根据外包过程中服务器的响应来获取文件信息。如果这个问题的被解决，数据外包服务过程就可以在保证数据隐私性的同时，节省更多的网络带宽，降低服务成本。2、在商业雾存储中，数据的动态所有权管理是一个重要的安全性保障。由于目前仅有的相关技术仅支持文件级去重，这使得服务提供商无法获得同块级去重一样的存储资源节省率。此外，块级去重引发了数据块管理、更新问题，所以在块级去重中实现动态所有权管理的关键在于合理交互、存储、更新机制，尽可能以较少的代价在块级去重中实现动态所有权管理，可以保证数据安全的同时，进一步提高资源节省率。3、目前为数不多的雾存储去重技术都是基于服务架构的特点，使用雾设备分担中心云的工作量。这些技术都没有科学、合理的系统内部工作模式，所以导致其系统的资源利用率很低。高效的系统资源利用率是降低服务成本、提高服务质量的关键。所以，采用合理的系统内部工作模式是高效雾存储去重技术的重要考量。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种雾存储中支持动态所有权管理的块级数据去重方法。针对块级客户端去重技术中存在的侧信道信息泄露问题，本方法提出了一种改进的块级客户端去重技术。在数据外包阶段，无论初始还是后续上传者都需要执行同样的上传步骤，用户无法通过服务器的响应判断是否发生数据去重，从而在节省网络带宽的同时，解决了当前块级客户端去重中的数据敏感信息泄露的问题。针对没有与块级去重技术兼容的动态所有权管理技术的问题，本方法提出了两级所有权列表和密钥更新机制。通过文件级所有权列表管理用户对的文件的所有权，通过块级所有权列表管理雾设备对数据块的所有权，当所有权发生变化时，文件存储设备更新文件所有权，并通知文件相关数据块的存储设备更新数据及密钥，并且与当前的所有权管理技术相比，本方法的数据更新代价更小。这样，本方法在保证高效节省存储空间的同时，以较少的代价实现细粒度的访问控制，填补了当前没有所有权管理技术与块级去重技术兼容的空白。针对当前雾存储去重技术中系统资源利用率不高的问题，本方法提出了一种数据块动态存储机制，系统中数据块按周期存储，且根据服务需要在系统中转移，不但可以降低服务成本和文件访问延迟，还可以提高系统安全性和用户服务体验，解决了当前雾存储去重方案中系统资源利用率不高的问题。进一步，所述雾存储中支持动态所有权管理的块级数据去重方法包括以下步骤：步骤一，密钥生成，用户首先为文件M计算文件主密钥kmas，将M分为n个数据块，并为每一个数据块Mi计算相应的加密密钥ki,1≤i≤n；步骤二，文件初始化，用户为M生成文件标签t，计算M的块密钥密文Ck；步骤三，数据块初始化，用户为每个数据块Mi计算块密文Ci及其标签Ti；步骤四，文件验证，用户向F0发送t,{Ti},Ck和用户身份信息；当雾存储系统中不存在t时，由F0执行块级去重；当系统中存在t时，由文件存储雾设备Fs通过F0执行文件级去重；步骤五，数据块验证，通过在系统中进行数据块标签检测，本地雾设备F0向用户请求相关数据块，然后为用户返回的数据块生成块标签并进行验证；验证全部成功，则Fs与用户执行所有权验证步骤；其中文件初始上传时，F0请求系统中不存在的文件数据块和部分随机数据块；文件后续上传时，Fs通过F0请求文件部分随机数据块；步骤六，生成挑战，Fs根据步骤五得到的文件块标签集{Ti}建立MerkleHash树，生成并向用户返回挑战Ic；步骤七，生成证据，用户收到Ic后，根据Ic生成证据Pv，并向Fs返回；步骤八，验证证据，Fs验证证据Pv的正确性，判断用户和Fs是否拥有相同的文件；验证通过，F0计算文件块密钥密文Ck的标签TCk，并向用户返回TCk和文件MerkleHash树的根节点值T0用于文件下载验证；然后，F0与Fs就Ck进行客户端去重；如果所有权验证失败，则Fs向用户返回错误信息；步骤九，文件存储或更新，对于初始上传的文件，F0建立相应的文件级所有权列表LF；对于初始上传的数据块，F0对其本文档来自技高网...

【技术保护点】
1.一种雾存储中支持动态所有权管理的块级数据去重方法，其特征在于，所述方法提出了一种改进的块级客户端去重技术，在节省网络带宽和存储空间的同时，解决了传统客户端去重技术中存在的数据信息泄露的问题；此外，该方法还提出了两级所有权列表和密钥更新机制，在保证高效的存储空间节省同时，以较少的代价实现细粒度的访问控制；最后，提出数据块动态存储机制以减少服务成本和延迟，提高系统资源利用率。

【技术特征摘要】
1.一种雾存储中支持动态所有权管理的块级数据去重方法，其特征在于，所述方法提出了一种改进的块级客户端去重技术，在节省网络带宽和存储空间的同时，解决了传统客户端去重技术中存在的数据信息泄露的问题；此外，该方法还提出了两级所有权列表和密钥更新机制，在保证高效的存储空间节省同时，以较少的代价实现细粒度的访问控制；最后，提出数据块动态存储机制以减少服务成本和延迟，提高系统资源利用率。2.如权利要求1所述的雾存储中支持动态所有权管理的块级数据去重方法，其特征在于，针对雾存储中的数据去重模型，去重过程涉及到的实体如下：中心云Cloud,雾设备Fogs,终端用户Endusers.其中本地雾设备为F0，数据存储设备为Fs。具体步骤如下：步骤一，密钥生成，用户首先为文件M计算文件主密钥kmas，然后将M分为n个数据块，并为每一个数据块Mi计算相应的加密密钥ki,1≤i≤n；步骤二，文件初始化，用户为M生成文件标签t，并计算M的块密钥密文Ck；步骤三，数据块初始化，用户为每个数据块Mi计算块密文Ci及其标签Ti；步骤四，文件验证，用户向F0发送t,{Ti},Ck和用户身份信息；当雾存储系统中不存在t时，由F0执行块级去重；当系统中存在t时，由文件存储雾设备Fs通过F0执行文件级去重；步骤五，数据块验证，通过在系统中进行数据块标签检测，本地雾设备F0向用户请求相关数据块，然后为用户返回的数据块生成块标签并进行验证；如果验证全部成功，则Fs与用户执行所有权验证步骤；其中文件初始上传时，F0请求系统中不存在的文件数据块和部分随机数据块；文件后续上传时，Fs通过F0请求文件部分随机数据块；步骤六，生成挑战，Fs根据步骤五得到的文件块标签集{Ti}建立MerkleHash树，生成并向用户返回挑战信息Ic；步骤七，生成证据，用户收到Ic后，根据Ic生成证据Pv，并向Fs返回；步骤八，验证证据，Fs验证Pv的正确性，判断用户和Fs是否拥有相同的文件；若验证通过，F0计算文件块密钥密文Ck的标签TCk，并向用户返回TCk和MerkleHash树的根节点值T0用于文件下载验证；然后，F0与Fs就Ck进行客户端去重；如果所有权验证失败，则Fs向用户返回错误信息；步骤九，文件存储或更新，对于初始上传的文件，F0建立相应的文件级所有权列表LF；对于初始上传的数据块，F0对其重加密并存储相应的数据块和重加密密钥，然后建立相应的块级所有权列表LB；对于后续上传的文件和数据块，F0通知相关存储设备Fs更新相应的所有权列表及数据块；系统存储数据块后，定期根据服务需要将数据块在系统中各存储设备间转移，实现动态存储；步骤十，文件解密，当用户需要从存储系统下载文件时，Fs根据文件级所有权列表LF验证用户身份的合法性；用户身份有效，则Fs向相关数据块存储设备请求文件数据块；目标设备根据块级所有权列表LB验证Fs对目标数据块的合法性；验证通过，目标设备返回相关数据；Fs整合并返回相关数据给用户；对于每个数据块，用户首先获取数据块重加密密钥Rki和块密钥ki，然后依次使用Rki和ki对解密得到Mi；最终组合所有明文块得到原始文件M。3.如权利要求2所述的雾存储中支持动态所有权管理的块级数据去重方法，其特征在于，所述步骤一的密钥生成过程中，用户us首先为文件M计算主密钥kmas，然后将M分为n块，并为每个数据块Mi计算加密密钥ki：(1)系统根据输入参数1λ选择一个哈希函数H(·):{0,1}*→{0,1}λ，然后选择一个λ-bit的素数p，并创建一个p阶乘法循环群G＝<g>，其中g为G的一个生成元；(2)us为M计算主密钥kmas＝H(M)；(3)us将M分为n个块，并为每个数据块Mi计算加密密钥ki＝H(Mi),1≤i≤n；所述步骤二的文件初始化过程中：用户us为文件M生成文件标签t，同时计算M的块密钥密文Ck，具体包括：(1)us使用文件M的主密钥kmas为M生成文件标签(2)us使用对称加密的方法，计算块密钥密文Ck＝Enc(kmas,k1||…||kn)；所述步骤三的数据块初始化过程中：用户us为每个数据块Mi,1≤i≤n计算块密文Ci及其标签Ti，具体包括：(1)us采用对称加密的方法，计算密文Ci＝Enc(ki,Mi)；(2)us为每一个密文块计算块标签Ti＝H(Ci)；所述步骤四的文件验证过程中：本地雾设备F0在雾存储系统中查询用户us(身份信息为ids)上传的文件标签t，判断文件是否已经被上传：(1)us向本地雾设备F0发送文件上传请求：Upload||t||{Ti}||Ck||ids；(2)当雾存储系统中不存在t时，由F0执行块级去重；(3)当系统中存在t时，由文件存储设备Fs通过F0执行文件级去重。4.如权利要求2所述的雾存储中支持动态所有权管理的块级数据去重方法，其特征在于，所述步骤五数据块验证包括：(1)当文件为初始上传时：(1.1)F0通过系统查询数据块标签{Ti}，确定系统中不存在的数据块，并向us请求不存在的数据块和部分随机选取的文件数据块；(1.2)F0为us返回的数据块生成块标签，并与之前上传的块标签进行对比：若全部匹配成功，F0只保留初始上传数据块；(2)当文件为后续上传时：(2.1)Fs随机选取文件部分数据块，并通过F0向us请求；(2.2)Fs为us返回的数据块生成块标签，并与之前上传的块标签进行对比：若全部匹配成功，则删除这些数...

【专利技术属性】
技术研发人员：田国华，张林超，王剑锋，马华，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61