防止重复加密数据的方法和系统技术方案

一种防止在存储中重复加密数据的方法，其中，所述存储设置在网络中，所述网络中的两个或两个以上主机可以存储数据。所述存储包括一个或多个加密数据块，并且所述网络还包括可由所述两个或两个以上主机中的每个主机访问的分布式账本。所述方法使用所述分布式账本对数据进行高效重复数据删除，即使是存在非信任方(例如，主机)。所述方法由第一主机执行，包括获取所述多个新数据块中的每个块的第一哈希值、所有权证明和随机密钥。所述方法还包括生成和存储备份集描述记录，存储所述备份集描述记录的指示，并且确定多个新块中存在于存储中的零个或零个以上块，以防止重复。以防止重复。以防止重复。

【技术实现步骤摘要】
【国外来华专利技术】防止重复加密数据的方法和系统


[0001]本专利技术大体上涉及数据保护和重复数据删除领域；更具体地，涉及使用分布式账本来防止重复加密数据的方法和系统。

技术介绍

[0002]数据备份用于在主存储系统中发生数据丢失时保护和恢复数据。数据丢失事件的示例可以包括但不限于数据损坏、主存储系统中的硬件或软件故障、数据的意外删除、黑客攻击或恶意攻击。因此，出于安全考虑，一种独立备份系统或一种存储系统用于存储存在于主存储系统中的数据的备份。目前，传统的备份系统通常不是读取数据变更，就是直接从存储数据的存储系统中获取数据。一些传统的备份系统存储全部变更数据。于是，随着时间的推移，由于变更数据在传统的备份系统中占用很大的存储空间，备份系统的存储空间被占用。这会降低备份系统的性能，因此是不可取的。此外，数据存储成本以及包括存储硬件成本在内的所有相关成本仍然是一个难题。
[0003]目前存在许多技术可以用于数据缩减，例如，重复数据删除。但是，这种传统技术效率低下，通常包括通过消除重复数据来减少要存储的数据量。例如，重复数据删除技术以分块的形式存储数据，当接收到新数据时，新数据也被分成可变大小或固定大小的分块。然后，检查与新数据分块相关联的新数据(也就是检查相同数据是否已经写入存储系统中)。如果新数据已经写入，则只使用对数据的引用。以这种方式，重复数据删除技术解决了在存储系统中重复相同数据的问题。但是，如果新数据是使用加密存储的，则只有主存储系统和备份系统相互信任，才能进行重复数据删除。在与密码数据存储系统或网络相关联的系统(计算设备)互不信任的情况下，由于加密数据被看作新数据(或变更数据)，重复数据删除技术可能无法实现数据缩减，导致数据存储效率低下。
[0004]因此，根据上述论述，需要克服上述与传统密码数据存储系统相关的缺点。

技术实现思路

[0005]本专利技术旨在提供用于防止在存储(设置在网络中)中重复加密数据的多种方法、一种系统和多种设备(例如，所述系统中的第一主机和第二主机)。本专利技术旨在提供一种解决现有数据存储效率低下问题的技术方案，也就是，如何比传统方法和系统进一步减少备份系统中的数据。本专利技术的目标是提供一种解决现有技术中遇到的至少部分问题的技术方案，并且提供高效数据存储(即高效数据备份和恢复)的改进型方法和系统。
[0006]本专利技术的目的是通过所附独立权利要求中提供的技术方案实现的。本专利技术的有利实现方式在从属权利要求中进一步界定。
[0007]一方面，本专利技术提供了一种防止在存储中重复加密数据的方法。所述存储设置在网络中，所述网络中的两个或两个以上主机可以将数据存储在所述网络中，所述存储包括一个或多个加密数据块，所述网络还包括分布式账本，所述分布式账本可由所述两个或两个以上主机中的每个主机访问，并且为所述一个或多个加密数据块中的每个数据块保存标
识所述数据块的第一哈希值和所述数据块的一个或多个所有权指示。所述方法将由所述两个或两个以上主机中的第一主机在所述第一主机将多个新数据块存储在所述存储中时执行。所述方法包括：获取所述多个新数据块中的每个块的第一哈希值；获取所述多个新数据块中的每个块的所有权证明；获取所述多个新数据块中的每个块的随机密钥；生成包括所述多个新数据块中的每个块的列表的备份集描述记录，并且为每个块指示所述块的所述第一哈希、所述所有权证明和所述随机密钥；将所述备份集描述记录存储在所述存储中；将所述备份集描述记录的指示存储在所述分布式账本中；确定所述多个新数据块中存在于所述存储中的零个或零个以上块，并且更新这些块的所有权指示；根据所述随机密钥生成每个剩余块的加密副本；将所述加密副本存储在所述存储中。
[0008]本专利技术提供了一种用于重复删除存储在两个或两个以上可能互不信任的主机(例如，在密码数据存储系统中)共用的存储中的数据的改进型方法。在本专利技术中，数据块以加密的形式存储在存储中，备份集描述记录用于标识每个数据块。因此，当第一主机要存储新数据块时，将新数据块的备份集描述记录与已经存储在存储中的数据块的备份集描述记录进行比较。对于具有相同或相似备份集描述记录的新数据块，不存储新数据块，并且将已经存储的数据块(与新数据块相似)的所有权更新给第一主机。对其它新数据块进行加密和存储。因此，如果新数据块已经存在于存储中，则在存储到两个或两个以上可能互不信任的主机共用的存储中之前，识别出新数据块。因此，本专利技术提供的方法执行高效重复数据删除。
[0009]在一种实现方式中，所述方法还包括：获取所述多个新数据块中的每个块的第二哈希值作为所述所有权证明。
[0010]第二哈希值以加密的形式存储，并且在确认新数据块和先前存储的数据块的第一哈希值相同时使用。因此，防止重复数据存储在互不信任的主机之间。
[0011]在另一种实现方式中，所述方法还包括：对所述多个新数据块中的每个块的所述所有权证明和所述随机密钥进行加密，并且在所述备份集描述记录中指示所述所有权证明和所述随机密钥的加密。
[0012]所有权证明和随机密钥的加密使分布式账本能够安全地维护主机的块所有权的记录。
[0013]在又一种实现方式中，所述方法还包括：通过以下方式确定所述多个新数据块中存在于所述存储中的零个或零个以上块，并且更新这些块的所有权指示：在所述存储中查询一个或多个第二备份集描述记录；检索所述一个或多个第二备份集描述记录；确定所述一个或多个第二备份集描述记录中的任一第二备份集描述记录中是否存在第一哈希与所述备份集描述记录中的第一哈希匹配；更新具有匹配哈希的每个块的所有权指示，以指示所述第一主机为所有者。
[0014]识别出零个或零个以上块，以防止在存储中存储重复块，因此，本专利技术提供的方法实现了高效存储。
[0015]在又一种实现方式中，所述在所述存储中查询一个或多个第二备份集描述记录还包括：所述存储执行相似性查找搜索。
[0016]搜索以找到相似备份集描述记录，能够防止在存储中存储重复块。
[0017]在又一种实现方式中，所述方法还包括：通过以下方式更新具有匹配哈希的每个块的所有权指示：从所述所有权指示中检索当前主机所有者的公钥；根据所述当前主机所
有者的所述公钥生成所述所有权证明；将所有权请求存储在所述分布式账本中，其中，与所述所有权请求相关联的数据存储在所述存储中，所述所有权请求包括具有匹配哈希的所有块、所述第一哈希和具有匹配哈希的每个块的所述所有权证明。
[0018]通过更新每个块的所有权指示，将具有匹配哈希的每个块的所有权(即，数据本身的一组块或分块(chunk)写入存储(例如，云存储)中，并且在分布式账本中只放置所有权请求的指示符)从当前主机提供给第一主机。因此，重复数据删除是通过防止存储多个新数据块中存在于存储中的零个或零个以上块来实现的。
[0019]在又一种实现方式中，所述方法还包括：将所述备份集描述记录的所述指示和所述备份集描述记录的哈希一起存储在所述分布式账本中。
[0020]通过将备份集描述记录的指示存储在分布式账本中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种防止在存储(310)中重复加密数据的方法(100)，其特征在于，所述存储(310)设置在网络中，所述网络中的两个或两个以上主机能够将数据存储在所述网络中；所述存储(310)包括一个或多个加密数据块，所述网络还包括分布式账本(312)，所述分布式账本(312)可由所述两个或两个以上主机中的每个主机访问，并且为所述一个或多个加密数据块中的每个数据块保存标识所述数据块的第一哈希值和所述数据块的一个或多个所有权指示，所述方法(100)将由所述两个或两个以上主机中的第一主机(302)在所述第一主机(302)开始将多个新数据块存储在所述存储(310)中时执行，所述方法(100)包括：获取所述多个新数据块中的每个块的第一哈希值；获取所述多个新数据块中的每个块的所有权证明；获取所述多个新数据块中的每个块的随机密钥；生成包括所述多个新数据块中的每个块的列表的备份集描述记录，为每个块指示所述块的所述第一哈希、所述所有权证明和所述随机密钥；将所述备份集描述记录存储在所述存储(310)中；将所述备份集描述记录的指示存储在所述分布式账本(312)中；确定所述多个新数据块中存在于所述存储(310)中的零个或零个以上块，并且更新这些块的所有权指示；根据所述随机密钥生成每个剩余块的加密副本；将所述加密副本存储在所述存储(310)中。2.根据权利要求1所述的方法(100)，其特征在于，所述方法(100)还包括：获取所述多个新数据块中的每个块的第二哈希值作为所述所有权证明。3.根据权利要求1或2所述的方法(100)，其特征在于，所述方法(100)还包括：对所述多个新数据块中的每个块的所述所有权证明和所述随机密钥进行加密，并且在所述备份集描述记录中指示所述所有权证明和所述随机密钥的加密。4.根据上述权利要求中任一项所述的方法(100)，其特征在于，所述方法(100)还包括：通过以下方式确定所述多个新数据块中存在于所述存储(310)中的零个或零个以上块，并且更新这些块的所有权指示：查询所述存储(310)以获取一个或多个第二备份集描述记录；检索所述一个或多个第二备份集描述记录；确定所述一个或多个第二备份集描述中的任一第二备份集描述记录中是否存在第一哈希与所述备份集描述记录中的第一哈希匹配；更新具有匹配哈希的每个块的所有权指示，以指示所述第一主机(302)为所有者。5.根据权利要求4所述的方法(100)，其特征在于，所述查询所述存储(310)以获取一个或多个第二备份集描述记录还包括：所述存储(310)执行相似性查找搜索。6.根据权利要求4或5所述的方法(100)，其特征在于，所述方法(100)还包括：通过以下方式更新具有匹配哈希的每个块的所有权指示：从所述所有权指示中检索当前主机所有者的公钥；根据所述当前主机所有者的所述公钥生成所述所有权证明；将所有权请求存储在所述分布式账本(312)中，其中，与所述所有权请求相关联的数据存储在所述存储(310)中，所述所有权请求包括具有匹配哈希的所有块、所述第一哈希和具
有匹配哈希的每个块的所有权证明。7.根据上述权利要求中任一项所述的方法(100)，其特征在于，所述方法(100)还包括：将所述备份集描述记录的所述指示和所述备份集描述记录的哈希一起存储在所述分布式账本(312)中。8.一种防止在存储(310)中重复数据的方法(200)，其特征在于，所述存储(310)设置在网络中，所述网络中的两个或两个以上主机可以将数据存储在网络中，所述存储(310)包括一个或多个加密数据块，所述网络还包括分布式账本(312)，所述分布式账本(312)可由所述两个或两个以上主机中的每个主机访问，并且为所述一个或多...

【专利技术属性】
技术研发人员：阿萨夫，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：