一种数据重删的下刷方法、装置、设备和介质制造方法及图纸

技术编号:32531087 阅读:12 留言:0更新日期:2022-03-05 11:25
本申请实施例公开了一种数据重删的下刷方法、装置、设备和介质,接收下发的目标数据;基于目标数据的标识信息,从存储桶中查找与标识信息对应的访问次数。存储桶中记录有主机下发的历史数据的标识信息和访问次数。每对历史数据执行一次操作,访问次数可以加一。对同一个历史数据执行重删操作的次数越多,记录的映射关系越复杂,对系统性能造成的影响越大,因此为了有效的控制数据的重删率,可以对访问次数进行限制。在访问次数达到阈值的情况下可以对目标数据执行非重删操作流程。在该技术方案中,利用存储桶记录各数据的操作情况,可以对重删率过高的数据进行限制,降低频繁执行重删操作对系统性能造成的影响。操作对系统性能造成的影响。操作对系统性能造成的影响。

【技术实现步骤摘要】
一种数据重删的下刷方法、装置、设备和介质


[0001]本申请涉及数据存储
,特别是涉及一种数据重删的下刷方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]全闪存储是存储发展的一个重要方向,随着固态硬盘(Solid State Drives,SSD)价格的逐渐下降,未来全闪存储产品必将逐渐取代传统存储,并最终成为存储领域的主流产品。
[0003]相比传统存储,全闪存储除了具备高性能的特点外,在数据组织方式与普通存储也有些显著的区别。传统存储的数据组织采用的是覆盖写方式,即向同一个逻辑地址写入数据时,每次都是写在同一个地方,并覆盖旧数据。而全闪存储一般采用追加写方式,即向同一个逻辑地址写入数据时,每次都写在一个新地方,而旧数据不会被覆盖,而是通过垃圾回收进行处理。
[0004]全闪存储系统中,重删功能是其中一项重要特性。但具备重删功能通常会面临一个问题,即一旦系统开启重删功能后,系统的性能往往就会受到不同程度的影响,部分场景下有可能下降百分之三十以上,甚至更多,这会严重影响存储系统运行的性能,降低系统可用性。
[0005]可见,如何使得重删操作与系统性能达到相对平衡的状态,是本领域技术人员需要解决的问题。

技术实现思路

[0006]本申请实施例的目的是提供一种数据重删的下刷方法、装置、设备和计算机可读存储介质,可以使得重删操作与系统性能达到相对平衡的状态。
[0007]为解决上述技术问题,本申请实施例提供一种数据重删的下刷方法,包括:
[0008]接收下发的目标数据;
[0009]基于所述目标数据的标识信息,从存储桶中查找与所述标识信息对应的访问次数;
[0010]在所述访问次数达到阈值的情况下,对所述目标数据执行非重删操作流程。
[0011]可选地,所述基于所述目标数据的标识信息,从存储桶中查找与所述标识信息对应的访问次数包括:
[0012]按照设定的数据长度,将所述目标数据转换为标准数据;
[0013]计算所述标准数据的目标哈希值;
[0014]依据所述存储桶的划分方式以及所述标准数据的目标哈希值,确定出与所述标准数据匹配的目标存储桶;
[0015]从所述目标存储桶中查询所述目标哈希值对应的访问次数。
[0016]可选地,所述存储桶的划分方式包括基于设定位数的哈希值对应的取值范围划分
存储桶;其中,所述设定位数小于所述目标哈希值的总位数;
[0017]所述依据所述存储桶的划分方式以及所述标准数据的目标哈希值,确定出与所述标准数据匹配的目标存储桶包括:
[0018]根据所述目标哈希值的设定位数,确定出目标值;
[0019]依据每个存储桶对应的取值范围,选取出与所述目标值匹配的目标存储桶。
[0020]可选地,还包括:
[0021]依据所述存储桶的划分方式以及所述标准数据的目标哈希值,无法确定出与所述标准数据匹配的目标存储桶或者从所述目标存储桶中无法查询到所述目标哈希值对应的访问次数的情况下,将所述目标哈希值和访问次数记录至空闲存储桶。
[0022]可选地,所述将所述目标哈希值和访问次数记录至空闲存储桶包括:
[0023]判断所述存储桶是否具有空闲存储空间;
[0024]若存在具有空闲存储空间的空闲存储桶,则将所述目标哈希值和访问次数添加至所述空闲存储桶的链表头部;
[0025]若不存在具有空闲存储空间的存储桶,则基于所述存储桶中各哈希值的存储时间以及访问次数,为所述目标哈希值和访问次数分配空闲存储桶。
[0026]可选地,所述基于所述存储桶中各哈希值的存储时间以及访问次数,为所述目标哈希值和访问次数分配空闲存储桶包括:
[0027]判断是否存在哈希值的存储时间大于预设时间值的第一存储桶;
[0028]若存在哈希值的存储时间大于预设时间值的第一存储桶,则将存储时间大于预设时间值的哈希值及其对应的访问次数从所述第一存储桶中删除,将所述目标哈希值和访问次数写入所述第一存储桶;
[0029]若不存在哈希值的存储时间大于预设时间值的第一存储桶,判断是否存在访问次数小于预设限值的第二存储桶;
[0030]若存在访问次数小于预设限值的第二存储桶,则将所述第二存储桶中访问次数最小的哈希值删除,将所述目标哈希值和访问次数写入所述第二存储桶。
[0031]可选地,在所述基于所述目标数据的标识信息,从存储桶中查找与所述标识信息对应的访问次数之后还包括:
[0032]在所述访问次数未达到阈值的情况下,对所述目标数据执行重删操作流程;
[0033]将所述标识信息对应的访问次数加一,并将所述标识信息及其对应的访问次数调整至所述存储桶的链表头部进行存储。
[0034]本申请实施例还提供了一种数据重删的下刷装置,包括接收单元、查找单元和执行单元;
[0035]所述接收单元,用于接收下发的目标数据;
[0036]所述查找单元,用于基于所述目标数据的标识信息,从存储桶中查找与所述标识信息对应的访问次数;
[0037]所述执行单元,用于在所述访问次数达到阈值的情况下,对所述目标数据执行非重删操作流程。
[0038]可选地,所述查找单元包括转换子单元、计算子单元、确定子单元和查询子单元;
[0039]所述转换子单元,用于按照设定的数据长度,将所述目标数据转换为标准数据;
[0040]所述计算子单元,用于计算所述标准数据的目标哈希值;
[0041]所述确定子单元,用于依据所述存储桶的划分方式以及所述标准数据的目标哈希值,确定出与所述标准数据匹配的目标存储桶;
[0042]所述查询子单元,用于从所述目标存储桶中查询所述目标哈希值对应的访问次数。
[0043]可选地,所述存储桶的划分方式包括基于设定位数的哈希值对应的取值范围划分存储桶;其中,所述设定位数小于所述目标哈希值的总位数;
[0044]所述确定子单元用于根据所述目标哈希值的设定位数,确定出目标值;依据每个存储桶对应的取值范围,选取出与所述目标值匹配的目标存储桶。
[0045]可选地,还包括记录单元;
[0046]所述记录单元,用于依据所述存储桶的划分方式以及所述标准数据的目标哈希值,无法确定出与所述标准数据匹配的目标存储桶或者从所述目标存储桶中无法查询到所述目标哈希值对应的访问次数的情况下,将所述目标哈希值和访问次数记录至空闲存储桶。
[0047]可选地,所述记录单元包括判断子单元、添加子单元和分配子单元;
[0048]所述判断子单元,用于判断所述存储桶是否具有空闲存储空间;
[0049]所述添加子单元,用于若存在具有空闲存储空间的空闲存储桶,则将所述目标哈希值和访问次数添加至所述空闲存储桶的链表头部;
[0050]所述分配子单元,用于若不存在具有空闲存储空间的存储桶,则基于所述存储桶中各哈希值的存储时间以及访问次数,为所述目本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据重删的下刷方法,其特征在于,包括:接收下发的目标数据;基于所述目标数据的标识信息,从存储桶中查找与所述标识信息对应的访问次数;在所述访问次数达到阈值的情况下,对所述目标数据执行非重删操作流程。2.根据权利要求1所述的数据重删的下刷方法,其特征在于,所述基于所述目标数据的标识信息,从存储桶中查找与所述标识信息对应的访问次数包括:按照设定的数据长度,将所述目标数据转换为标准数据;计算所述标准数据的目标哈希值;依据所述存储桶的划分方式以及所述标准数据的目标哈希值,确定出与所述标准数据匹配的目标存储桶;从所述目标存储桶中查询所述目标哈希值对应的访问次数。3.根据权利要求2所述的数据重删的下刷方法,其特征在于,所述存储桶的划分方式包括基于设定位数的哈希值对应的取值范围划分存储桶;其中,所述设定位数小于所述目标哈希值的总位数;所述依据所述存储桶的划分方式以及所述标准数据的目标哈希值,确定出与所述标准数据匹配的目标存储桶包括:根据所述目标哈希值的设定位数,确定出目标值;依据每个存储桶对应的取值范围,选取出与所述目标值匹配的目标存储桶。4.根据权利要求2所述的数据重删的下刷方法,其特征在于,还包括:依据所述存储桶的划分方式以及所述标准数据的目标哈希值,无法确定出与所述标准数据匹配的目标存储桶或者从所述目标存储桶中无法查询到所述目标哈希值对应的访问次数的情况下,将所述目标哈希值和访问次数记录至空闲存储桶。5.根据权利要求4所述的数据重删的下刷方法,其特征在于,所述将所述目标哈希值和访问次数记录至空闲存储桶包括:判断所述存储桶是否具有空闲存储空间;若存在具有空闲存储空间的空闲存储桶,则将所述目标哈希值和访问次数添加至所述空闲存储桶的链表头部;若不存在具有空闲存储空间的存储桶,则基于所述存储桶中各哈希值的存储时间以及访问次数,为所述目标哈希值和访问次数分配空闲存储桶。...

【专利技术属性】
技术研发人员:刘志勇
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1