一种存储数据处理方法、装置以及介质制造方法及图纸

本申请公开了一种存储数据处理方法、装置以及介质，相对于当前技术中，在数据的存储过程中由于存储异常而导致硬盘中产生无用数据，占用存储空间，造成资源浪费。采用本技术方案，在数据写入磁盘后为对象数据添加标记，该标记可以指示该对象数据是否完整且成功的写入磁盘，通过定期扫描预先建立的硬盘热度表，确认出其中的冷数据，通过识别冷数据的标记确认该数据的类别并执行相应的处理方法，采用本技术方案，通过对热度低的数据进行定期查验，通过其对应的标记确认该数据的类型并进行相应处理，实现了对磁盘的整理，避免磁盘中过多的无用数据占用存储空间，避免了资源浪费。避免了资源浪费。避免了资源浪费。

【技术实现步骤摘要】
一种存储数据处理方法、装置以及介质


[0001]本申请涉及数据处理
，特别是涉及一种存储数据处理方法、装置以及介质。

技术介绍

[0002]分布式存储是当今存储系统中比较流行的一种存储方式，对象存储系统的存储模式是先创建桶，然后向桶里面存放对象；这些桶是存放在元数据池，桶里面的对象是存放在数据池；
[0003]在向池子中下刷对象时，这些对象通常是以4M大小的条带进行下刷，这4M的条带上同时会记录该条带的一些属性，同时在桶里面记录一条该对象的名字；由于存储落盘的过程中是一个较长的读写流程，各步骤不是原子操作；且每一步都可能存在异常，或者系统中发生异常情况时造成数据损坏；在当前的存储机制中，是一种顺序直接操作的过程，在这个过程中如果发生异常就会让池子中出现一些无用数据，这些数据没有意义但是却占据着磁盘空间，造成资源浪费。
[0004]由此可见，如何对存储的数据进行整理，避免磁盘中的无用数据占用存储空间，造成资源浪费是本领域技术人员亟待解决的问题。

技术实现思路

[0005]本申请的目的是提供一种存储数据处理方法、装置以及介质，以对磁盘中的无用数据进行处理，避免磁盘中的无用数据占用存储空间，造成资源浪费。
[0006]为解决上述技术问题，本申请提供一种存储数据处理方法，包括：
[0007]在对象数据写入磁盘后为所述对象数据添加标记；所述标记用于指示所述对象数据是否完整且成功的写入所述磁盘；
[0008]每间隔预设时间扫描预先建立的硬盘热度表，并确认所述硬盘热度表中热度值低于阈值的对象数据为冷数据；
[0009]根据所述冷数据对应的标记确认所述对象数据的类别并执行相应的处理方法。
[0010]优选的，所述根据所述冷数据对应的标记确认所述对象数据的类别包括：
[0011]判断所述冷数据对应的标记是否为预设标记；
[0012]若不是预设标记，则确认所述对象数据为垃圾数据；
[0013]若是预设标记，则查验所述对象数据对应的对象名是否在相应的桶中存在；
[0014]若存在，则确认所述对象数据为正常数据，若不存在，则确认所述对象数据为失效数据。
[0015]优选的，所述标记为根据所述对象数据的对象名经哈希运算后得到的数据标记。
[0016]优选的，在确认所述对象数据为垃圾数据的情况下，相应的处理方法为：将所述垃圾数据删除并发送告警信息。
[0017]优选的，在确认所述对象数据为失效数据的情况下，相应的处理方法为：将所述失
效数据进行恢复。
[0018]优选的，所述硬盘热度表为根据所述对象数据的读写次数建立的热度表。
[0019]优选的，在将所述失效数据进行恢复的步骤之前，还包括：
[0020]发送提示信息，并在接收到确认指令后将所述失效数据进行恢复。
[0021]为解决上述技术问题，本申请还提供一种存储数据处理装置，包括：
[0022]标记模块，用于在对象数据写入磁盘后为所述对象数据添加标记；所述标记用于指示所述对象数据是否完整且成功的写入所述磁盘；
[0023]扫描模块，用于每间隔预设时间扫描预先建立的硬盘热度表，并确认所述硬盘热度表中热度值低于阈值的对象数据为冷数据；
[0024]处理模块，用于根据所述冷数据对应的标记确认所述对象数据的类别并执行相应的处理方法。
[0025]为解决上述技术问题，本申请还提供另一种存储数据处理装置，包括存储器，用于存储计算机程序；
[0026]处理器，用于执行所述计算机程序时实现如上述的存储数据处理方法的步骤。
[0027]为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的存储数据处理方法的步骤。
[0028]本申请所提供的存储数据处理方法，在对象数据写入磁盘后为对象数据添加标记；标记用于指示对象数据是否完整且成功的写入磁盘；每间隔预设时间扫描预先建立的硬盘热度表，并确认硬盘热度表中热度值低于阈值的对象数据为冷数据；根据冷数据对应的标记确认对象数据的类别并执行相应的处理方法。相对于当前技术中，在数据的存储过程中由于存储异常而导致硬盘中产生无用数据，占用存储空间，造成资源浪费。采用本技术方案，在数据写入磁盘后为对象数据添加标记，该标记可以指示该对象数据是否完整且成功的写入磁盘，通过定期扫描预先建立的硬盘热度表，确认出其中的冷数据，通过识别冷数据的标记确认该数据的类别并执行相应的处理方法，采用本技术方案，通过对热度低的数据进行定期查验，通过其对应的标记确认该数据的类型并进行相应处理，实现了对磁盘的整理，避免磁盘中过多的无用数据占用存储空间，避免了资源浪费。
[0029]此外，本申请所提供的存储数据处理装置以及介质，与上述的存储数据处理方法相对应，效果同上。
附图说明
[0030]为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本申请实施例提供的一种存储数据处理方法的流程图；
[0032]图2(a)为本申请实施例提供的一种存储数据处理方法的示意图；
[0033]图2(b)为本申请实施例提供的另一种存储数据处理方法的示意图；
[0034]图2(c)为本申请实施例提供的另一种存储数据处理方法的示意图；
[0035]图2(d)为本申请实施例提供的另一种存储数据处理方法的示意图；
[0036]图3为本申请实施例提供的一种存储数据处理装置的结构图；
[0037]图4为本申请实施例提供的另一种存储数据处理装置的结构图。
具体实施方式
[0038]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
[0039]分布式存储是当今存储系统中比较流行的一种存储方式，对象存储系统的存储模式是先创建桶，然后向桶里面存放对象；这些桶是存放在元数据池，桶里面的对象是存放在数据池；
[0040]在向池子中下刷对象时，这些对象通常是以4M大小的条带进行下刷，这4M的条带上同时会记录该条带的一些属性，同时在桶里面记录一条该对象的名字；由于存储落盘的过程中是一个较长的读写流程，各步骤不是原子操作；且每一步都可能存在异常，或者系统中发生异常情况时造成数据损坏；在当前的存储机制中，是一种顺序直接操作的过程，在这个过程中如果发生异常就会让池子中出现一些无用数据，这些数据没有意义但是却占据着磁盘空间，造成资源浪费。
[0041]例如：现在要向桶bucket本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储数据处理方法，其特征在于，包括：在对象数据写入磁盘后为所述对象数据添加标记；所述标记用于指示所述对象数据是否完整且成功的写入所述磁盘；每间隔预设时间扫描预先建立的硬盘热度表，并确认所述硬盘热度表中热度值低于阈值的对象数据为冷数据；根据所述冷数据对应的标记确认所述对象数据的类别并执行相应的处理方法。2.根据权利要求1所述的存储数据处理方法，其特征在于，所述根据所述冷数据对应的标记确认所述对象数据的类别包括：判断所述冷数据对应的标记是否为预设标记；若不是预设标记，则确认所述对象数据为垃圾数据；若是预设标记，则查验所述对象数据对应的对象名是否在相应的桶中存在；若存在，则确认所述对象数据为正常数据，若不存在，则确认所述对象数据为失效数据。3.根据权利要求1或2所述的存储数据处理方法，其特征在于，所述标记为根据所述对象数据的对象名经哈希运算后得到的数据标记。4.根据权利要求2所述的存储数据处理方法，其特征在于，在确认所述对象数据为垃圾数据的情况下，相应的处理方法为：将所述垃圾数据删除并发送告警信息。5.根据权利要求2所述的存储数据处理方法，其特征在于，在确认所述对象数据为失效数据的情况下...

【专利技术属性】
技术研发人员：冯晓明，陶桐桐，闫磊，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：