The embodiment of the invention provides a data processing scheme, in the data processing scheme, a first storage device for storing the mapping relationship, the first mapping including the first eigenvalue mapping and the specific format of data storage devices, calculation of the first data block features a first data block value, characteristics of the first data block value is the first feature the value of the first storage device; query mapping determined including the first eigenvalue of the first mapping according to the first characteristic of the first data block, the first block of data to a specific format of data storage devices, no duplicate data delete operation on the first data block.
【技术实现步骤摘要】
本专利技术涉及数据存储
,尤其涉及一种数据处理方法及存储设备。
技术介绍
重复数据删除(De-duplication),是数据存储
中非常热门的技术,通过删除数据中重复的数据,只保留一份唯一的数据,消除了冗余数据。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。现有技术中,如果确认某一个待进行重复数据删除的数据块的特征值在存储设备中已经存在,则表明存储设备中已经存储了该数据块,存储设备已经存储了该特征值与存储该数据块的存储地址的映射关系。在这种情况下,存储设备会更新对该存储地址的引用计数。当读取该待进行重复数据删除的数据块时,需要根据该待进行重复数据删除的数据块的特征值查询该特征值与存储该数据块的存储地址的映射关系,从该存储地址中读取该数据。因此,不可避免存在对存储地址进行的多次访问操作。
技术实现思路
第一方面,本专利技术实施例提供了一种数据处理方案,在该数据处理方案中,存储设备存储有第一映射关系,第一映射关系包括第一特征值与第一特征值对应的特定格式数据的映射,存储设备计算第一数据块得到第一数据块的特征值,第一数据块的特征值为第一特征值;存储设备根据第一数据块的第一特征值查询第一映射关系确定第一映射关系中包含第一特征值,则第一数据块属于特定格式数据,存储设备不再对第一数据块进行重复数据删除操作。其中,特征格式数据可以为特定长度的全0数据或全1数据,或者0和1数据的组合,也可以为重复次数(重复度)比较高的数据,其中重复次数可以通过引用计数来判断。特征值可以为使用Hash算法获得的数据块的指纹。当第一数据块为特定格式 ...
【技术保护点】
一种数据处理方法,其特征在于,存储设备存储有第一映射关系,所述第一映射关系包括第一特征值与所述第一数据块对应的特定格式数据的映射,所述方法包括:所述存储设备计算第一数据块得到所述第一数据块的特征值,所述第一数据块的特征值为所述第一特征值;所述存储设备根据所述第一数据块对应的第一特征值查询所述第一映射关系确定所述第一映射关系中包含所述第一特征值,则所述第一数据块为所述特定格式数据,所述存储设备不再对所述第一数据块进行重复数据删除操作。
【技术特征摘要】
1.一种数据处理方法,其特征在于,存储设备存储有第一映射关系,所述第一映射关系包括第一特征值与所述第一数据块对应的特定格式数据的映射,所述方法包括:所述存储设备计算第一数据块得到所述第一数据块的特征值,所述第一数据块的特征值为所述第一特征值;所述存储设备根据所述第一数据块对应的第一特征值查询所述第一映射关系确定所述第一映射关系中包含所述第一特征值,则所述第一数据块为所述特定格式数据,所述存储设备不再对所述第一数据块进行重复数据删除操作。2.根据权利要求1所述的方法,其特征在于,所述存储设备存储有第二映射关系;所述第二映射关系包含第二特征值与第一存储地址的映射;其中,所述第一存储地址存储有所述第二特征值对应的数据;所述方法还包括:所述存储设备计算第二数据块得到所述第二数据块的特征值,所述第二数据块的特征值为所述第二特征值;所述存储设备根据所述第二数据块的第二特征值查询所述第一映射关系确定所述第一映射关系中不包含所述第二特征值;所述存储设备根据所述第二数据块的第二特征值查询所述第二映射关系确定所述第二映射关系中包含所述第二特征值;所述存储设备更新所述第一存储地址的引用计数。3.根据权利要求1所述的方法,其特征在于,所述存储设备存储有第二映射关系;所述第二映射关系包含第二特征值与第一存储地址的映射;其中,所述第一存储地址存储有所述第二特征值对应的数据;所述方法还包括:所述存储设备计算第三数据块得到所述第三数据块的特征值,所述第三数据块的特征值为第三特征值;所述存储设备根据所述第三特征值查询所述第一映射关系确定所述第一映射关系中不包含所述第三特征值;所述存储设备根据所述第三特征值查询所述第二映射关系确定所述第二映射关系中不包含所述第三特征值;所述存储设备将所述第三数据块存储到第二存储地址;所述存储设备在所述第二映射关系中建立所述第三特征值与所述第二存储地址的映射。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:所述存储设备更新所述第二存储地址的引用计数。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:所述存储设备划分数据段得到所述第一数据块;所述存储设备建立所述数据段与所述第一数据块的所述第一特征值的映射关系。6.一种存储设备,其特征在于,存储设备存储有第一映射关系,所述第一映射关系包括第一特征值与所述第一数据块的特定格式数据的映射,所述存储设备包括计算单元和确定单元;其中,所述计算单元用于计算第一数据块得到所述第一数据块的特征值,所述第一数据块的特征值为所述第一特征值;所述确定单元用于根据所述第一数据块对应的第一特征值查询所述第一映射关系确定所述第一映射关系中包含所述第一特征值,则所述第一数据块为所述特定格式数据,所述存储设备不再对所述第一数据块进行重复数据删除操作。7.根据权利要求6所述的存储设备,其特征在于,所述存储设备存储有第二映射关系;所述第二映射关系包含第二特征值与第一存储地址的映射;其中,所述第一存储地址存储有所述第二特征值对应的数据;所述存储设备还包括更新单元:所述计算单元还用于计算第二数据块得到所述第二数据块的特征值,所述第二数据块的特征值为所述第二特征值;所述确定单元还用于根据所述第二数据块的第二特征值查询所述第一映射关系确定所述第一映射关系中不包含所述第二特征值;所述确定单元还用于根据所述第二数据块的第二特征值查询所述第二映射关系确定所述第二映射关系中包...
【专利技术属性】
技术研发人员:袁冉胤,游俊,李伟,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。