基于数据指纹整合的去重制造技术

一种用于在通信网络中执行数据去重的计算机实现的方法，所述方法包括：将密码哈希函数应用于数据，以生成所述数据的指纹。将地址映射表项存储在第一表中，所述地址映射表项将分配给所述数据的LUN的LBA映射到持久存储所述数据的存储位置的PBA。将所述指纹作为键同时将所述数据的位置令牌作为值存储在第二表中的键值项中，所述位置令牌包括所述存储位置的所述LBA和所述PBA。为响应检测到所述第二表中的附加键值项包括所述指纹，修改所述第二表中的所述键值项中的所述值。中的所述键值项中的所述值。中的所述键值项中的所述值。

【技术实现步骤摘要】
【国外来华专利技术】基于数据指纹整合的去重
[0001]相关申请交叉引用
[0002]本申请要求于2019年7月30日递交的申请号为62/880,486的美国临时专利申请的优先权，其全部内容通过引用结合在本申请中。


[0003]本专利技术涉及用于改进数据存储空间管理的数据归约技术，包括基于数据指纹(如与所述相同数据的多个副本相关联的指纹)整合的数据去重技术。

技术介绍

[0004]随着各行各业数字处理技术的进步，计算设备将生成更多数据，并且将消耗更多功率来处理增加的数据量。为了应对数据增加导致的运营成本增加，存储设备供应商增加了相应的数据归约方法，如去重和压缩技术，以缩减存储的实际数据，从而降低运营成本。
[0005]去重是一种节省数据存储空间的技术。存储系统中存储的重复数据占用大量硬盘空间，使用了更多处理资源。通过采用去重技术，只存储一份重复数据副本，从而提高存储系统的效率。压缩是一种使用特定编码机制表示数据或源代码的技术。与未编码的数据比特(或其它信息)相比，所述特定编码机制减小了存储容量。
[0006]去重和压缩可以在在线模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在通信网络中执行数据去重的计算机实现的方法，其特征在于，所述方法包括：将密码哈希函数应用于数据，以生成所述数据的指纹；将地址映射表项存储在第一表中，所述地址映射表项将分配给所述数据的逻辑单元号(logical unit number，LUN)的逻辑块地址(logical block address，LBA)映射到持久存储所述数据的存储位置的物理块地址(PBA)；将所述指纹作为键同时将所述数据的位置令牌作为值存储在第二表中的键值项中，所述位置令牌包括所述存储位置的所述LBA和所述PBA；为响应检测到所述第二表中的附加键值项包括所述指纹：修改所述第二表中的所述键值项中的所述值，以包括所述附加键值项中的附加位置令牌，所述附加位置令牌与持久存储所述数据的第二存储位置的第二LBA和第二PBA相关联；将所述第一表中的第二地址映射表项中的所述第二LBA从所述第二PBA重映射到所述指纹。2.根据权利要求1所述的计算机实现的方法，其特征在于，还包括：基于检测到所述第二表中的所述附加键值项包括所述指纹，使用所述LBA从所述存储位置检索所述数据；将所述指纹作为键同时将所述检索数据作为值存储在第三表中的键值项中。3.根据权利要求2所述的计算机实现的方法，其特征在于，所述第三表是指纹表，所述方法还包括：向所述通信网络中的多个网络节点发送指纹清除请求；为响应所述指纹清除请求，从所述多个网络节点接收当前使用的指纹；基于所述当前使用的指纹并基于存储在与所述多个网络节点中的每个网络节点相关联的一个或多个指纹表中的指纹列表，生成过时指纹列表；其中，所述当前使用的指纹是在发送所述指纹清除请求之前由所述多个网络节点使用的指纹。4.根据权利要求3所述的计算机实现的方法，其特征在于，还包括：为响应所述指纹清除请求，从所述多个网络节点接收新引用的指纹；其中，所述新引用的指纹是在发送所述指纹清除请求之后由所述多个网络节点使用的指纹。5.根据权利要求4所述的计算机实现的方法，其特征在于，所述当前使用的指纹和所述新引用的指纹基于所述多个网络节点中的每个网络节点的成员身份检查数据结构生成。6.根据权利要求4所述的计算机实现的方法，其特征在于，还包括：基于所述过时指纹和所述新引用的指纹列表，生成待删除(to
‑
be
‑
deleted，TBD)指纹列表；基于所述TBD指纹列表，更新所述指纹表。7.根据权利要求1所述的计算机实现的方法，其特征在于，还包括：验证所述第二LBA映射到所述第二PBA，并验证所述第二存储位置的所述第二PBA与所述数据相关联；所述验证成功后，重映射所述第一表中的所述第二LBA，以映射到所述指纹。
8.根据权利要求1所述的计算机实现的方法，其特征在于，还包括：扫描所述第一表中的多个地址映射表项，所述多个地址映射表项包括所述第二地址映射表项，所述第二地址映射表项包括所述第二LBA和所述第二PBA；基于在所述扫描期间检测到所述第二LBA未映射到所述第二PBA，对持久存储在所述第二存储位置中的所述数据执行垃圾回收。9.根据权利要求1所述的计算机实现的方法，其特征在于，所述LBA位于地址空间的多个逻辑地址分片中的一个逻辑地址分片内，所述地址空间在所述通信网络中的多个网络节点之间分配，并且所述方法还包括：将所述密码哈希函数应用于所述LBA和所述LUN的标识(identification，ID)，以确定第一哈希；基于所述第一哈希，选择所述多个网络节点中的第一网络节点，所述第一网络节点存储所述第一表。10.根据权利要求9所述的计算机实现的方法，其特征在于，还包括：将所述密码哈希函数应用于所述指纹，以确定第二哈希；基于所述第二哈希，选择所述多个网络节点中的第二网络节点，所述第二网络节点存储所述第二表。11.一种用于在通信网络中执行数据去重的系统，其特征在于，所述系统包括：存储器，用于存储指令；与所述存储器通信的一个或多个处理器，其中所述一个或多个处理器执行所述指令，以执行以下操作：将密码哈希函数应用于数据，以生成所述数据的指纹；将地址映射表项...

【专利技术属性】
技术研发人员：刘淳，王晨，任仁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：