裁剪数据的方法技术

本发明专利技术涉及存储技术领域，公开了裁剪数据的方法

【技术实现步骤摘要】
裁剪数据的方法、装置、计算机设备及存储介质


[0001]本专利技术涉及存储
，具体涉及裁剪数据的方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]在分布式文件系统中，一般是通过多线程单元进行业务处理
。
每个线程单元上缓存有很多数据，包括多个数据的主本和副本
。
一个数据在一个线程单元上只存在副本或只存在主本
。
[0003]线程单元为了保证自身的处理数据的能力，会按指定周期确定其缓存的数据当前占用的存储空间是否超过了预设阈值
。
如果是，线程单元会按数据的冷热规则
(
数据的业务使用次数从少到多
)
，对没有在业务处理中的副本
、
没有在业务处理中且副本数量为零的主本进行扫描并裁剪，直到其缓存的数据当前占用的存储空间降低到预设阈值以下
。
这样，线程单元中副本数量不为零的主本无法被裁剪，只能等到相应副本所在的线程单元在按指定周期确定出其上缓存的数据当前占用的存储空间超过指定阈值时，才能对相应副本进行扫描和裁剪工作
。
线程单元只有在确定出主本对应的副本数量为零后，才能裁剪主本
。
[0004]这样，如果线程单元缓存的数据当前占用的存储空间长时间都没有超过预设阈值，那么其上的副本一直无法被裁剪，而该副本对应的主本也就无法被裁剪
。
进一步，导致该主本所在的线程单元无法及时释放内存，导致业务处理的效率受到影响
。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种裁剪数据的方法
、
装置
、
计算机设备及存储介质，以解决线程单元无法及时释放内存的问题
。
[0006]第一方面，本专利技术提供了一种裁剪数据的方法，所述方法应用于分布式文件系统，所述方法由第一线程单元执行，所述第一线程单元为所述分布式文件系统中的任一线程单元，所述方法包括：
[0007]当达到周期性的触发时刻时，根据所述第一线程单元自身缓存的数据当前占用的存储空间，确定裁剪规则；
[0008]每遍历到目标类型的数据时，按所述裁剪规则确定对所述目标类型的数据是否进行裁剪操作，其中，所述目标类型的数据为未在业务处理中的副本或未在业务处理中且副本数量为零的主本
。
[0009]本专利技术提供的裁剪数据的方法，具有如下优点：
[0010]第一线程单元在每个周期性的触发时刻，先确定出自身缓存的数据占用的存储空间，无论确定出的占用的存储空间是否过大，都可以确定相应的裁剪规则，以进行裁剪操作
。
缓存的数据占用的存储空间过大的线程单元可以通过裁剪数据以释放内存
。
缓存的数据大小占用的存储空间不过大的线程单元也可以进行裁剪数据
。
由于裁剪的数据中包括部分副本，因此，裁剪这些副本可以使得其他线程单元与该副本对应的主本的副本数量降为
零，使得更多的主本可以从其他类型的数据变为目标类型的数据
。
从宏观的时间尺度和空间尺度上来看，与相关技术相比，本方法使得每次遍历过程中满足条件的数据更多，可以及时释放存储空间，提高线程单元的业务处理效率
。
[0011]在一种可选的实施方式中，所述方法还包括：
[0012]每遍历到除所述目标类型之外的预设类型的数据，向所述预设类型的数据对应的副本所在的第二线程单元发送第一裁剪通知，其中，所述预设类型的数据为未在业务处理中且副本数量不为零的主本，所述第二线程单元为所述分布式存储系统中除所述第一线程单元之外的线程单元；
[0013]当接收到所述第二线程单元发送的裁剪完成通知时，对所述预设类型的数据的副本数量进行更新
。
[0014]具体的，通过裁剪通知触发第二线程单元的裁剪操作，可以使得线程单元及时进行对预设类型的数据对应的副本进行裁剪操作，使得第一线程单元的预设类型的数据的副本数量可以尽快降为零，被裁剪掉
。
这样，可以使得预设类型的数据也可以及时被裁剪，进一步，可以及时释放存储空间
。
[0015]在一种可选的实施方式中，所述根据所述第一线程单元自身缓存的数据当前占用的存储空间，确定裁剪规则，具体包括：
[0016]确定所述第一线程单元自身缓存的数据当前占用的存储空间；
[0017]当所述第一线程单元自身缓存的数据当前占用的存储空间大于或等于所述预设阈值时，获取第一裁剪规则；
[0018]或者，当所述第一线程单元自身缓存的数据当前占用的存储空间小于所述预设阈值时，获取第二裁剪规则
。
[0019]具体的，第一线程单元可以根据自身缓存的数据当前占用的存储空间与预设阈值之间关系，确定其剩余存储空间是否满足正常业务处理的需求，并获取相应的裁剪规则
。
在剩余存储空间不足的情况下，第一线程单元可以按第一裁剪规则进裁剪数据，以释放出一些存储空间
。
在剩余存储空间充足的情况下，第一线程单元可以按第二裁剪规则裁剪数据，为其他存储空间不足的线程单元提供满足裁剪条件的数据
。
这样，根据实际情况，进行相应的裁剪操作，可以使得所有的线程单元都可以保证剩余存储空间的充足，更加高效地进行业务处理
。
[0020]在一种可选的实施方式中，所述第一裁剪规则为裁剪所述目标类型的数据后所述第一线程单元自身缓存的数据占用的存储空间小于预设阈值，所述第二裁剪规则为确定所述第一线程单元遍历的数据数量等于预设数量
。
[0021]具体的，通过设置第二裁剪规则，既可以满足其他线程单元释放存储空间的需求，也可以使得第一线程单元避免遍历较多数据而浪费处理资源的问题
。
[0022]在一种可选的实施方式中，所述每遍历到目标类型的数据时，按所述裁剪规则确定对所述目标类型的数据是否进行裁剪操作，具体包括：
[0023]每遍历到所述目标类型的数据时，确定所述第一线程单元自身缓存的数据当前占用的存储空间是否小于所述预设阈值；
[0024]当所述第一线程单元自身缓存的数据当前占用的存储空间大于或等于所述预设阈值时，对所述目标类型的数据进行裁剪操作；
[0025]并在对所述目标类型的数据进行裁剪操作后，重新确定所述第一线程单元自身缓存的数据占用的存储空间；
[0026]当重新确定的所述第一线程单元自身缓存的数据占用的存储空间依然大于或者等于所述预设阈值时，继续遍历新的目标类型的数据，并对所述新的目标类型的数据进行裁剪；
[0027]直至确定所述第一线程单元自身缓存的数据占用的存储空间小于所述预设阈值时结束在当前周期内的裁剪操作
。
[0028]具体的，每遍历到一个目标类型的数据，通过确定第一线程单元自身缓存的数据当前占用的存储空间是否小于预设阈值，去判定下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种裁剪数据的方法，其特征在于，所述方法应用于分布式文件系统，所述方法由第一线程单元执行，所述第一线程单元为所述分布式文件系统中的任一线程单元，所述方法包括：当达到周期性的触发时刻时，根据所述第一线程单元自身缓存的数据当前占用的存储空间，确定裁剪规则；每遍历到目标类型的数据时，按所述裁剪规则确定对所述目标类型的数据是否进行裁剪操作，其中，所述目标类型的数据为未在业务处理中的副本或未在业务处理中且副本数量为零的主本
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：每遍历到除所述目标类型之外的预设类型的数据，向所述预设类型的数据对应的副本所在的第二线程单元发送第一裁剪通知，其中，所述预设类型的数据为未在业务处理中且副本数量不为零的主本，所述第二线程单元为所述分布式存储系统中除所述第一线程单元之外的线程单元；当接收到所述第二线程单元发送的裁剪完成通知时，对所述预设类型的数据的副本数量进行更新
。3.
根据权利要求1所述的方法，其特征在于，所述根据所述第一线程单元自身缓存的数据当前占用的存储空间，确定裁剪规则，具体包括：确定所述第一线程单元自身缓存的数据当前占用的存储空间；当所述第一线程单元自身缓存的数据当前占用的存储空间大于或等于预设阈值时，获取第一裁剪规则；或者，当所述第一线程单元自身缓存的数据当前占用的存储空间小于所述预设阈值时，获取第二裁剪规则
。4.
根据权利要求3所述的方法，其特征在于，所述第一裁剪规则为裁剪所述目标类型的数据后所述第一线程单元自身缓存的数据占用的存储空间小于预设阈值，所述第二裁剪规则为确定所述第一线程单元裁剪的目录类型的数据的数量等于预设数量
。5.
根据权利要求4所述的方法，其特征在于，所述每遍历到目标类型的数据时，按所述裁剪规则确定对所述目标类型的数据是否进行裁剪操作，具体包括：每遍历到所述目标类型的数据时，确定所述第一线程单元自身缓存的数据当前占用的存储空间是否小于所述预设阈值；当所述第一线程单元自身缓存的数据当前占用的存储空间大于或等于所述预设阈值时，对所述目标类型的数据进行裁剪操作；并在对所述目标类型的数据进行裁剪操作后，重新确定所述第一线程单元自身缓存的数据占用的存储空间；当重新确定的所述第一线程单元自身缓存的数据占用的存储空间依然大于或者...

【专利技术属性】
技术研发人员：张思亮，李鹏，刘洪栋，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：