一种分级缓存数据转移的方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种分级缓存数据转移的方法、装置、设备及可读介质，方法包括：在桶中开启分级缓存，并统计待往桶中上传对象的访问频率，并将访问频率高于频率阈值的上传对象的上传请求进行标记；响应于接收到客户端上传对象的请求，判断请求中的上传对象是否满足要求；响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记，将上传对象写入缓存池中；创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中。通过使用本发明专利技术的方案，能够提高高访问频率对象的访问效率，能够及时清理缓存池中低访问频率对象占用的空间，降低大量缓存数据转移带给前端业务的影响，极大地提高了存储系统的市场竞争力。力。力。

【技术实现步骤摘要】
一种分级缓存数据转移的方法、装置、设备及介质


[0001]本专利技术涉及计算机领域，并且更具体地涉及一种分级缓存数据转移的方法、装置、设备及可读介质。

技术介绍

[0002]当前的分布式对象存储系统中的分级缓存功能是为了提高小对象的写入速度而设计的，即当桶开启分级缓存开关后，写入此桶中的小对象都存入缓存池，缓存池是由高速存取介质构成，其写入速度远大于普通数据池。
[0003]高速存取介质价格昂贵，因此一个集群中的缓存池空间也是有限的，不可能所有的对象都往缓存池写入，因此分级缓存功能在设计时就限制，只有小于512K的小对象才能写入缓存池。即使如此，也避免不了缓存池被写满的情况，因此分级缓存功能设计有按缓存池的水位来转移数据的功能。默认缓存池水位达到30％时开始将小对象的数据部分转移到普通数据池，而且随着水位的增加，其转移速度也会加快。当缓存池水位达到70％时，数据转移的速度达到最快，此时会严重影响前端业务读写，而其他水位时的数据转移，也会不同程度的影响前端业务。
[0004]此外当前的分级缓存功能仅能粗略的按照数据大小存放，只有小于阈值的数据才能写入缓存池，而不会按照写入数据的访问频率分类，当达到水位需要转移时，也是不加区分的全部转移到普通数据池。对于访问频率高的数据一旦转移到普通数据池，则访问效率就会大大降低。

技术实现思路

[0005]有鉴于此，本专利技术实施例的目的在于提出一种分级缓存数据转移的方法、装置、设备及可读介质，通过使用本专利技术的技术方案，能够提高高访问频率对象的访问效率，能够及时清理缓存池中低访问频率对象占用的空间，降低大量缓存数据转移带给前端业务的影响，极大地提高了存储系统的市场竞争力。
[0006]基于上述目的，本专利技术的实施例的一个方面提供了一种分级缓存数据转移的方法，包括以下步骤：
[0007]在桶中开启分级缓存，并统计待往桶中上传对象的访问频率，并将访问频率高于频率阈值的上传对象的上传请求进行标记；
[0008]响应于接收到客户端上传对象的请求，判断请求中的上传对象是否满足要求；
[0009]响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记，将上传对象写入缓存池中；
[0010]创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中。
[0011]根据本专利技术的一个实施例，还包括：
[0012]实时统计缓存池中存储的对象的访问频率，并将统计的访问频率与频率阈值进行
比较；
[0013]响应于统计的访问频率低于频率阈值，将缓存池中存储的对象转移到普通数据池中。
[0014]根据本专利技术的一个实施例，还包括：
[0015]在桶中创建表示时间的文件夹，时间为对象写入缓存池后转移到普通数据池的间隔时间；
[0016]根据需求将对象存储到相应的文件夹中。
[0017]根据本专利技术的一个实施例，创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中包括：
[0018]响应于到达转移时间，唤醒转移线程，并遍历所有桶下的文件夹；
[0019]从每个文件夹名称中解析出对象需要转移到普通数据池的时间；
[0020]获取文件夹下的对象，读取对象的元数据，将对象的mtime与解析到的时间进行对比；
[0021]响应于对象已到期，将对象的数据转移到普通数据池，并将缓存池中的数据删除；
[0022]在对象的元数据中添加已转移的标记。
[0023]本专利技术的实施例的另一个方面，还提供了一种分级缓存数据转移的装置，装置包括：
[0024]统计模块，统计模块配置为在桶中开启分级缓存，并统计待往桶中上传对象的访问频率，并将访问频率高于频率阈值的上传对象的上传请求进行标记；
[0025]判断模块，判断模块配置为响应于接收到客户端上传对象的请求，判断请求中的上传对象是否满足要求；
[0026]写入模块，写入模块配置为响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记，将上传对象写入缓存池中；
[0027]转移模块，转移模块配置为创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中。
[0028]根据本专利技术的一个实施例，还包括比较模块，比较模块配置为：
[0029]实时统计缓存池中存储的对象的访问频率，并将统计的访问频率与频率阈值进行比较；
[0030]响应于统计的访问频率低于频率阈值，将缓存池中存储的对象转移到普通数据池中。
[0031]根据本专利技术的一个实施例，还包括创建模块，创建模块配置为：
[0032]在桶中创建表示时间的文件夹，时间为对象写入缓存池后转移到普通数据池的间隔时间；
[0033]根据需求将对象存储到相应的文件夹中。
[0034]根据本专利技术的一个实施例，转移模块还配置为：
[0035]响应于到达转移时间，唤醒转移线程，并遍历所有桶下的文件夹；
[0036]从每个文件夹名称中解析出对象需要转移到普通数据池的时间；
[0037]获取文件夹下的对象，读取对象的元数据，将对象的mtime与解析到的时间进行对比；
[0038]响应于对象已到期，将对象的数据转移到普通数据池，并将缓存池中的数据删除；
[0039]在对象的元数据中添加已转移的标记。
[0040]本专利技术的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
[0041]至少一个处理器；以及
[0042]存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
[0043]本专利技术的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
[0044]本专利技术具有以下有益技术效果：本专利技术实施例提供的分级缓存数据转移的方法，通过在桶中开启分级缓存，并统计待往桶中上传对象的访问频率，并将访问频率高于频率阈值的上传对象的上传请求进行标记；响应于接收到客户端上传对象的请求，判断请求中的上传对象是否满足要求；响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记，将上传对象写入缓存池中；创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中的技术方案，能够提高高访问频率对象的访问效率，能够及时清理缓存池中低访问频率对象占用的空间，降低大量缓存数据转移带给前端业务的影响，极大地提高了存储系统的市场竞争力。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0046]图1为根据本专利技术一个实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分级缓存数据转移的方法，其特征在于，包括以下步骤：在桶中开启分级缓存，并统计待往桶中上传对象的访问频率，并将访问频率高于频率阈值的上传对象的上传请求进行标记；响应于接收到客户端上传对象的请求，判断请求中的上传对象是否满足要求；响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记，将上传对象写入缓存池中；创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中。2.根据权利要求1所述的方法，其特征在于，还包括：实时统计缓存池中存储的对象的访问频率，并将统计的访问频率与频率阈值进行比较；响应于统计的访问频率低于频率阈值，将缓存池中存储的对象转移到普通数据池中。3.根据权利要求1所述的方法，其特征在于，还包括：在桶中创建表示时间的文件夹，所述时间为对象写入缓存池后转移到普通数据池的间隔时间；根据需求将对象存储到相应的文件夹中。4.根据权利要求1所述的方法，其特征在于，创建转移线程并设定转移时间，并在到达转移时间时将缓存池中的数据转移到普通数据池中包括：响应于到达转移时间，唤醒转移线程，并遍历所有桶下的文件夹；从每个文件夹名称中解析出对象需要转移到普通数据池的时间；获取文件夹下的对象，读取对象的元数据，将对象的mtime与解析到的时间进行对比；响应于对象已到期，将对象的数据转移到普通数据池，并将缓存池中的数据删除；在对象的元数据中添加已转移的标记。5.一种分级缓存数据转移的装置，其特征在于，所述装置包括：统计模块，所述统计模块配置为在桶中开启分级缓存，并统计待往桶中上传对象的访问频率，并将访问频率高于频率阈值的上传对象的上传请求进行标记；判断模块，所述判断模块配置为响应于接收到客户端上传对象的请求，判断请...

【专利技术属性】
技术研发人员：李欢欢，赵煜，何文龙，陶桐桐，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：