后台系统及其删除固态硬盘重复数据的方法技术方案

本发明专利技术适用于存储技术领域，提供了一种删除固态硬盘重复数据的方法，所述方法包括：通过错误检查和纠正算法计算固态硬盘数据的指纹，并保存为指纹库；查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据；若所述固态硬盘中是有与所述增量页重复的数据，则更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效。本发明专利技术还提供一种实现上述方法的后台系统。借此，本发明专利技术可以方便的删除固态硬盘的重复数据，提高固态硬盘的性能。

【技术实现步骤摘要】
后台系统及其删除固态硬盘重复数据的方法
本专利技术涉及存储
，尤其涉及一种后台系统及删除固态硬盘重复数据的方法。
技术介绍
目前，SSD(SolidStateDisk，固态硬盘)产品在市场中已经趋于成熟，其高速的性能，尤其是随机性能也广为人知，但仍有较多用户还是担心其寿命问题。影响SSD寿命的因素有多种，但其根本原因在于NANDFlash编程/擦除次数，即对NANDFlash编程/擦除次数越多，损耗越大，寿命越短。重复数据删除是一项减少NANDFlash磨损来延长SSD寿命的技术，目前大多数重复数据删除大都在IO路径上进行计算和匹配，这样会大大降低IO性能，即通过性能来换取空间。综上可知，现有的固态硬盘重复数据的处理方法，在实际使用上显然存在不便与缺陷，所以有必要加以改进。
技术实现思路
针对上述的缺陷，本专利技术的目的在于提供一种后台系统及删除固态硬盘重复数据的方法，其可以方便的删除固态硬盘的重复数据，提高固态硬盘的性能。为了实现上述目的，本专利技术提供一种删除固态硬盘重复数据的方法，所述方法包括：通过错误检查和纠正算法计算固态硬盘数据的指纹，并保存为指纹库；查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据；若所述固态硬盘中是有与所述增量页重复的数据，则更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效。根据本专利技术的删除固态硬盘重复数据的方法，所述后台通过LRU算法处理所述指纹库中的指纹。根据本专利技术的删除固态硬盘重复数据的方法，所述根据所述指纹库判断所述固态硬盘中是否有与所述增量页相同的数据步骤包括：判断所述指纹库中是否有与所述增量页的数据相同的指纹；若所述指纹库中有与所述增量页的数据相同的指纹，则进一步判断所述指纹对应的数据与所述增量页数据是否相同，若相同则判定为重复数据。根据本专利技术的删除固态硬盘重复数据的方法，所述查找所述固态硬盘的增量页的步骤包括：对所述FTL建立时间点快照，记录并获取两个时间点之间的修改的页。本专利技术还提供一种删除固态硬盘重复数据的后台系统，包括：指纹库建立模块，用于通过错误检查和纠正算法计算固态硬盘数据的指纹，并保存为指纹库；数据比较模块，用于查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据；数据处理模块，用于所述固态硬盘中是有与所述增量页重复的数据时，更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效。根据本专利技术的删除固态硬盘重复数据的后台系统，所述后台系统还包括算法处理模块，用于通过LRU算法处理所述指纹库中的指纹。根据本专利技术的删除固态硬盘重复数据的后台系统，所述数据比较模块包括：第一判断子模块，用于判断所述指纹库中是否有与所述增量页的数据相同的指纹；第二判断子模块，用于所述指纹库中有与所述增量页的数据相同的指纹时，进一步判断所述指纹对应的数据与所述增量页数据是否相同，若相同则判定为重复数据。根据本专利技术的删除固态硬盘重复数据的后台系统，所述后台系统还包括：增量页处理模块，用于对所述FTL建立时间点快照，记录并获取两个时间点之间的修改的页。本专利技术通过错误检查和纠正算法计算固态硬盘数据的指纹，并保存为指纹库，在固态硬盘有数据写入后，查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据；若所述固态硬盘中是有与所述增量页重复的数据，则更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效。借此，本专利技术可以方便的删除固态硬盘的重复数据，提高固态硬盘的性能。优选的是，本专利技术还可以通过后台系统以LRU算法处理所述指纹库中的指纹，减小指纹库的存储空间。附图说明图1是本专利技术一实施例的后台系统的结构示意图；图2是本专利技术另一实施例的后台系统的结构示意图；图3是本专利技术一实施例的后台操作结构示意图；图4是本专利技术一实施例的删除固态硬盘重复数据的方法流程图；图5是本专利技术另一实施例的删除固态硬盘重复数据的方法流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参见图1，本专利技术提供了一种删除固态硬盘重复数据的后台系统，其与固态硬盘连接，该系统100包括指纹库建立模块10、数据比较模块20以及数据处理模块30，其中：指纹库建立模块10，用于通过错误检查和纠正算法(ECC)计算固态硬盘数据的指纹，并保存为指纹库。本实施例中，固态硬盘以数据页为单位进行读写，即，指纹库中存储有各数据页对应的指纹。本专利技术通过ECC算法对数据页进行计算获取到ECC数据作为该数据页的指纹。数据比较模块20，用于查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据。且本专利技术中扫描增量页的方式可根据FTL设计的不同而不同，本专利技术通过对FTL建立时间点快照，以记录并获取两个时间点之间的修改的页。数据处理模块30，用于所述固态硬盘中是有与所述增量页重复的数据时，更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效。若固态硬盘中没有与所述增量页重复的数据，则将数据交由FTL层处理，将其写入到固态硬盘，包括分配物理页，写入逻辑关系等，同时将该数据的指纹写入指纹库进行储存，借此方便固态硬盘再次有数据写入后的判断。再参见图2，本实施例中，后台系统还包括算法处理模块40和增量页处理模块50，用于通过LRU算法处理所述指纹库中的指纹。指纹库保存在SSD的保留空间内，可通过对指纹进行替换的方式，来将最容易重复数据对应的指纹留在指纹库中，对不容易重复数据对应的指纹替换出指纹库，并且保证仅占用少量的SSD保留空间。所述增量页处理模块50，用于对所述FTL建立时间点快照，记录并获取两个时间点之间的修改的页。进一步的，所述数据比较模块20包括：第一判断子模块21，用于判断所述指纹库中是否有与所述增量页的数据相同的指纹，若有，则交由第二判断子模块22处理。第二判断子模块22，用于所述指纹库中有与所述增量页的数据相同的指纹时，进一步判断所述指纹对应的数据与所述增量页数据是否相同，若相同则判定为重复数据。本专利技术的指纹采用ECC数据，节省计算时间。且本专利技术的实施例中，并非ECC数值相同就判定数据一致，其将ECC校验作为一级判断，相同后再比较数据，数据相同则可作为重复数据来处理。借此延长SSD的使用寿命，且能大大提高SSD的空间利用率及速率。结合图3所示的具体实施例中，后台系统对固态硬盘进行扫描，收集指纹库，获取到块0的页0与块1的页0的ECC值相同，比较两者数据，且判定匹配，则更新FTL映射表，并将重复的物理页（块1的页0）标记为数据无效页。参见图4，本专利技术提供了一种删除固态硬盘重复数据的方法，其可以通过如图1所示的后台系统100实现，该方法包括：步骤S401，通过错误检查和纠正算法(ECC)计算固态硬盘数据的指纹，并保存为指纹库。本实施例中，固态硬盘以数据页为单位进行读写，即，指纹库中存储有各数据页对应的指纹。本专利技术通过ECC算法对数据页进行计算获取到ECC数据作为该数据页的指纹。步骤S402，查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重本文档来自技高网...

【技术保护点】
一种删除固态硬盘重复数据的方法，其特征在于，所述方法包括：通过错误检查和纠正算法计算固态硬盘数据的指纹，并保存为指纹库；查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据；若所述固态硬盘中是有与所述增量页重复的数据，则更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效。

【技术特征摘要】
1.一种删除固态硬盘重复数据的方法，其特征在于，所述方法包括：通过错误检查和纠正算法计算固态硬盘的数据的指纹，并保存为指纹库；查找所述固态硬盘的增量页，根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据；若所述固态硬盘中是有与所述增量页重复的数据，则更新所述固态硬盘的FTL映射表，并将所述增量页标记为无效；所述查找所述固态硬盘的增量页的步骤包括：对所述FTL映射表建立时间点快照，记录并获取两个时间点之间的修改的页；所述指纹库保存在所述固态硬盘的保留空间内，将最容易重复数据对应的所述指纹留在所述指纹库中，对不容易重复数据对应的所述指纹替换出所述指纹库。2.根据权利要求1所述的删除固态硬盘重复数据的方法，其特征在于，后台通过LRU算法处理所述指纹库中的指纹。3.根据权利要求1所述的删除固态硬盘重复数据的方法，其特征在于，所述根据所述指纹库判断所述固态硬盘中是否有与所述增量页重复的数据步骤包括：判断所述指纹库中是否有与所述增量页的数据相同的指纹；若所述指纹库中有与所述增量页的数据相同的指纹，则进一步判断所述指纹对应的数据与所述增量页数据是否相同，若相同则判定为重复数据。4.一种删除固态硬盘重复数据的后台系...

【专利技术属性】
技术研发人员：雷伟，
申请(专利权)人：记忆科技深圳有限公司，
类型：发明
国别省市：