利用基础数据识别的对象去重制造技术

一种用于向包括处理器、易失性存储器和非易失性存储器在内的存储设备写入数据的方法，所述存储设备与主机通信，所述方法包括：由所述处理器接收用于将主机数据写入所述非易失性存储器的命令，所述主机数据与主机标识相关联；由所述处理器计算与所述主机数据相关联的散列值；由所述处理器在对象映射中添加与所述散列值相关联的对象条目，所述对象条目包括所述主机标识和所述散列值；以及由所述处理器识别在去重映射中是否存在与所述散列值相关联的去重条目；以及由所述处理器基于所述识别将存储数据写入到所述非易失性存储器中，所述存储数据与所述主机数据相关联并且与所述主机数据不同。

【技术实现步骤摘要】
利用基础数据识别的对象去重相关申请的交叉引用本申请要求2017年8月2日递交的美国临时专利申请No.62/540,520(“DEDUPLICATIONOFOBJECTSBYFUNDAMENTALDATAIDENTITY”)和2017年6月20日递交的美国临时专利申请No.62/522,423的优先权和权益，其全部内容以引用方式并入于此。本申请涉及2017年8月28日提交的美国专利申请No.15/688,779(“SSDCOMPRESSIONAWARE”)，其全部内容以引用方式并入于此。
本公开的实施例的各方面总体上涉及存储设备。具体而言，本公开涉及用于数据去重的方法和系统。
技术介绍
传统的去重(deduplication)是增加系统功能存储容量的一种成熟方法。传统的去重是基于模式匹配的。当找到与模式相匹配的数据时，将其用对该数据的单一版本的引用进行替换。数据匹配可以以多种方式执行，包括匹配整个文件/对象(即，寻找相同的文件)、以文件/对象的固定块大小分量匹配位模式、以及使用固定块大小和在文件/对象上的滑动窗口来匹配位模式。在所有这些方法中，通过在两个源(或源和库)之间匹配位来完成去本文档来自技高网...

【技术保护点】
1.一种用于向包括处理器、易失性存储器和非易失性存储器在内的存储设备写入数据的方法，所述存储设备与主机通信，所述方法包括：由所述处理器接收用于将主机数据写入所述非易失性存储器的命令，所述主机数据与主机标识相关联；由所述处理器计算与所述主机数据相关联的散列值；由所述处理器在对象映射中添加与所述散列值相关联的对象条目，所述对象条目包括所述主机标识、所述散列值、以及指示如何将所述主机数据转换为标准数据的第一记录；以及由所述处理器识别在去重映射中是否存在与所述散列值相关联的去重条目，所述去重条目包括所述散列值以及指示如何将所述标准数据转换为可存储数据的第二记录；以及由所述处理器基于所述识别来处理所述主...

【技术特征摘要】
2017.06.20 US 62/522,423;2017.08.02 US 62/540,520;1.一种用于向包括处理器、易失性存储器和非易失性存储器在内的存储设备写入数据的方法，所述存储设备与主机通信，所述方法包括：由所述处理器接收用于将主机数据写入所述非易失性存储器的命令，所述主机数据与主机标识相关联；由所述处理器计算与所述主机数据相关联的散列值；由所述处理器在对象映射中添加与所述散列值相关联的对象条目，所述对象条目包括所述主机标识、所述散列值、以及指示如何将所述主机数据转换为标准数据的第一记录；以及由所述处理器识别在去重映射中是否存在与所述散列值相关联的去重条目，所述去重条目包括所述散列值以及指示如何将所述标准数据转换为可存储数据的第二记录；以及由所述处理器基于所述识别来处理所述主机数据以作为存储数据存储在所述非易失性存储器中，所述存储数据与所述主机数据相关联并且与所述主机数据不同。2.根据权利要求1所述的方法，其中，所述对象映射是多个对象映射中的一个，所述多个对象映射中的每一个与所述存储设备的不同用户的数据相关联，以及其中，所述去重映射与所述存储设备的所有用户的数据相关联。3.根据权利要求1所述的方法，其中，计算散列值包括：由所述处理器确定所述主机数据被压缩；响应于所述确定，由所述处理器根据所述主机数据的压缩类型将所述主机数据解压缩为解压缩主机数据；以及由所述处理器计算所述解压缩主机数据的所述散列值，其中，所述对象映射还包括所述压缩类型。4.根据权利要求1所述的方法，其中，处理主机数据包括：响应于识别出所述去重映射中的与所述散列值相关联的所述去重条目，更新所述对象映射，并且递增所述去重条目中的计数数字，而不在所述非易失性存储器中存储任何其他信息。5.根据权利要求1所述的方法，其中，处理主机数据包括：响应于识别出所述去重映射中的与所述散列值相关联的所述去重条目并识别出与所述散列值相关联的先前存储的数据是被压缩的，用更高效压缩的存储数据替换所述先前存储的数据。6.根据权利要求1所述的方法，其中，处理主机数据包括：响应于识别出所述去重映射中的与所述散列值相关联的所述去重条目并识别出与所述散列值相关联的先前存储的数据是被加密的，用更高效加密的存储数据替换所述先前存储的数据。7.根据权利要求1所述的方法，其中，处理主机数据包括：响应于识别出所述去重映射中的与所述散列值相关联的所述去重条目：由所述处理器基于所述去重条目中的第一物理地址来识别与所述散列值相关联的存储数据；由所述处理器基于所述去重条目识别所述存储数据是否被加密；由所述处理器基于所述去重条目识别所述存储数据是否被压缩；由所述处理器基于所述存储数据的加密类型和压缩类型来重新格式化所述存储数据；以及由所述处理器将所述标准数据识别为所述重新格式化后的存储数据；响应于没有识别出所述去重映射中的与所述散列值相关联的所述去重条目：由所述处理器将所述标准数据识别为所述主机数据；由所述处理器将所述标准数据处理成可存储数据以便存储在所述非易失性存储器中的第二物理地址中；以及由所述处理器更新所述去重映射。8.根据权利要求7所述的方法，其中，重新格式化所述存储数据包括：响应于将所述存储数据识别为是被加密的：由所述处理器识别所述去重条目中的所述存储数据的加密类型；由所述处理器将所述去重条目中的所述存储数据的加密密钥识别为非驱动密钥(off-drivekey)或存储密钥；响应于将所述加密密钥识别为所述非驱动密钥：不对所述存储数据进行解密；响应于将所述加密密钥识别为所述存储密钥：由所述处理器利用所述存储密钥并根据所述加密类型对所述存储数据进行解密；以及响应于将所述存储数据识别为是未被压缩的：由所述处理器将所述标准数据识别为解密后的存储数据。9.根据权利要求8所述的方法，其中，重新格式化所述存储数据还包括：响应于将所述存储数据识别为是被压缩的：由所述处理器识别所述去重条目中的所述存储数据的压缩类型；以及由所述处理器根据所述压缩类型对所述解密后的存储数据进行解压缩，或者响应于将所述存储数据识别为是未被加密的，对所述存储数据进行解压缩，以生成所述标准数据。10.根据权利要求7所述的方法，其中，由所述处理器将所述标准数据处理成可存储数据以便存储包括：由所述处理器基于服务质量QoS参数、所述存储设备的工作负载以及用户需求中的一个或多个来确定所述标准数据是否是可压缩的；由所述处理器基于服务质量QoS参数、所述存储设备的工作负载以及用户需求中的一个或多个来确定所述标准数据是否是可加密的；响应于确定所述标准数据是可压缩的：由所述处理器利用满足所述QoS参数的算法来压缩所述标准数据以生成处理后的数据；响应于确定所述标准数据是不可压缩的：由所述处理器将所述处理后的数据识别为所述标准数据；以及响应于确定所述标准数据是不可加密的：由所述处理器将所述处理后的数据存储在所述非易失性存储器中的所述第二物理地址处。11.根据权利要求...

【专利技术属性】
技术研发人员：奇亮奭，杰森·马蒂诺，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR