一种分布式存储系统的元数据读写方法和装置制造方法及图纸

本发明专利技术公开了一种分布式存储系统的元数据读写方法和装置，方法包括：响应于有元数据的写入请求，而将元数据随机写入使用持久内存作为硬件的第一存储池中直接落盘；响应于第一存储池的元数据存储量超过容量阈值，而在第一存储池中持续确定热度最小的元数据并复制到使用固态硬盘作为硬件的第二存储池中直接落盘，直到第一存储池的元数据存储量不超过容量阈值；响应于有针对处于第二存储池的元数据的读出请求，而从第二存储池读出元数据并适应性地修改其热度；响应于有处于第二存储池的元数据的热度超过热度阈值，而将热度超过热度阈值的元数据复制到第一存储池中直接落盘。本发明专利技术能够提升元数据访问的性能，进而提升分布式系统整体的性能瓶颈。统整体的性能瓶颈。统整体的性能瓶颈。

【技术实现步骤摘要】
一种分布式存储系统的元数据读写方法和装置


[0001]本专利技术涉及存储领域，更具体地，特别是指一种分布式存储系统的元数据读写方法和装置。

技术介绍

[0002]当前分布式NAS(网络附属存储)系统中，数据一般都是保存在HDD(机械硬盘)上的，元数据一般都是保存在SSD(固态硬盘)上。鉴于SSD远优于HDD的性能和元数据访问远大于数据访问的频度，这种组合方式是目前最普遍的应用方式。同时在数据写盘时使用先“写日志”再真正“写数据”，将随机写盘转化为顺序写盘，可提升数据写盘的效率，提升整体性能。更进一步的，在数据层使用SSD盘做分级，将待写入的数据先写入到SSD层，在后台迁移到HDD层，这样在写数据时的性能就会接近于直接使用SSD的性能，远好于HDD的性能了。元数据一般都很小，对于系统来说元数据的读写就是小文件读写访问，而小文件访问的性能是很差的，虽然使用SSD来存放元数据，但依然无法改变SSD成为元数据访问瓶颈的问题。
[0003]针对现有技术中元数据访问成为系统瓶颈的问题，目前尚无有效的解决方案。

技术实现思路

[0004]有鉴于此，本专利技术实施例的目的在于提出一种分布式存储系统的元数据读写方法和装置，能够提升元数据访问的性能，进而提升分布式系统整体的性能瓶颈。
[0005]基于上述目的，本专利技术实施例的第一方面提供了一种分布式存储系统的元数据读写方法，包括执行以下步骤：
[0006]响应于有元数据的写入请求，而将元数据随机写入使用持久内存作为硬件的第一存储池中直接落盘；<br/>[0007]响应于第一存储池的元数据存储量超过容量阈值，而在第一存储池中持续确定热度最小的元数据并复制到使用固态硬盘作为硬件的第二存储池中直接落盘，直到第一存储池的元数据存储量不超过容量阈值；
[0008]响应于有针对处于第二存储池的元数据的读出请求，而从第二存储池读出元数据并适应性地修改其热度；
[0009]响应于有处于第二存储池的元数据的热度超过热度阈值，而将热度超过热度阈值的元数据复制到第一存储池中直接落盘。
[0010]在一些实施方式中，将元数据随机写入第一存储池中直接落盘包括：将元数据以随机写入的方式直接落盘到第一存储池中，并且不生成记载元数据存储地址的顺序写数据。
[0011]在一些实施方式中，复制到第二存储池中直接落盘包括：将元数据以随机写入的方式直接落盘到第二存储池中，并且不生成记载元数据存储地址的顺序写数据。
[0012]在一些实施方式中，方法还包括：在复制到第二存储池中直接落盘后，还删除第一存储池冗余的元数据；在复制到第一存储池中直接落盘后，还删除第二存储池冗余的元数
据，
[0013]在一些实施方式中，确定热度最小的元数据包括：确定在一个时间周期内被访问次数最少的元数据作为热度最小的元数据。
[0014]在一些实施方式中，方法还包括：响应于在一个时间周期内同时存在多个被访问次数最少的元数据，而将其中最后一次被访问时间最早的元数据确定为热度最小的元数据。
[0015]在一些实施方式中，适应性地修改读出元数据的热度包括：在每次元数据每次被读出时将其在一个时间周期内的被访问次数加一。
[0016]本专利技术实施例的第二方面提供了一种分布式存储系统的元数据读写装置，包括：
[0017]处理器；和
[0018]存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：
[0019]响应于有元数据的写入请求，而将元数据随机写入使用持久内存作为硬件的第一存储池中直接落盘；
[0020]响应于第一存储池的元数据存储量超过容量阈值，而在第一存储池中持续确定热度最小的元数据并复制到使用固态硬盘作为硬件的第二存储池中直接落盘，直到第一存储池的元数据存储量不超过容量阈值；
[0021]响应于有处于第二存储池的元数据的读出请求，而从第二存储池读出元数据并适应性地修改其热度；
[0022]响应于有针对处于第二存储池的元数据的热度超过热度阈值，而将热度超过热度阈值的元数据复制到第一存储池中直接落盘。
[0023]在一些实施方式中，将元数据随机写入第一存储池中直接落盘包括：将元数据以随机写入的方式直接落盘到第一存储池中，并且不生成记载元数据存储地址的顺序写数据；复制到第二存储池中直接落盘包括：将元数据以随机写入的方式直接落盘到第二存储池中，并且不生成记载元数据存储地址的顺序写数据。
[0024]在一些实施方式中，确定热度最小的元数据包括：确定在一个时间周期内被访问次数最少的元数据作为热度最小的元数据；
[0025]步骤还包括：响应于在一个时间周期内同时存在多个被访问次数最少的元数据，而将其中最后一次被访问时间最早的元数据确定为热度最小的元数据。
[0026]本专利技术具有以下有益技术效果：本专利技术实施例提供的分布式存储系统的元数据读写方法和装置，通过响应于有元数据的写入请求，而将元数据随机写入使用持久内存作为硬件的第一存储池中直接落盘；响应于第一存储池的元数据存储量超过容量阈值，而在第一存储池中持续确定热度最小的元数据并复制到使用固态硬盘作为硬件的第二存储池中直接落盘，直到第一存储池的元数据存储量不超过容量阈值；响应于有针对处于第二存储池的元数据的读出请求，而从第二存储池读出元数据并适应性地修改其热度；响应于有处于第二存储池的元数据的热度超过热度阈值，而将热度超过热度阈值的元数据复制到第一存储池中直接落盘的技术方案，能够提升元数据访问的性能，进而提升分布式系统整体的性能瓶颈。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本专利技术提供的分布式存储系统的元数据读写方法的流程示意图。
具体实施方式
[0029]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0030]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0031]基于上述目的，本专利技术实施例的第一个方面，提出了一种提升分布式系统整体的性能瓶颈的元数据读写方法的一个实施例。图1示出的是本专利技术提供的分布式存储系统的元数据读写方法的流程示意图。
[0032]所述的分布式存储系统的元数据读写方法，如图1所示，包括执行以下步骤：
[0033]步骤S101，响应于有元数据的写入请求，而将元数据随机写入使用持久内存作为硬件的第一存储池中直接落盘；
[0034]步骤S103，响应于第一存储池的元数据存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统的元数据读写方法，其特征在于，包括执行以下步骤：响应于有元数据的写入请求，而将元数据随机写入使用持久内存作为硬件的第一存储池中直接落盘；响应于所述第一存储池的元数据存储量超过容量阈值，而在所述第一存储池中持续确定热度最小的元数据并复制到使用固态硬盘作为硬件的第二存储池中直接落盘，直到所述第一存储池的元数据存储量不超过所述容量阈值；响应于有针对处于所述第二存储池的元数据的读出请求，而从所述第二存储池读出元数据并适应性地修改其热度；响应于有处于所述第二存储池的元数据的热度超过热度阈值，而将热度超过热度阈值的元数据复制到所述第一存储池中直接落盘。2.根据权利要求1所述的方法，其特征在于，将元数据随机写入第一存储池中直接落盘包括：将元数据以随机写入的方式直接落盘到所述第一存储池中，并且不生成记载元数据存储地址的顺序写数据。3.根据权利要求1所述的方法，其特征在于，复制到第二存储池中直接落盘包括：将元数据以随机写入的方式直接落盘到所述第二存储池中，并且不生成记载元数据存储地址的顺序写数据。4.根据权利要求1所述的方法，其特征在于，还包括：在复制到第二存储池中直接落盘后，还删除所述第一存储池冗余的元数据；在复制到第一存储池中直接落盘后，还删除所述第二存储池冗余的元数据。5.根据权利要求1所述的方法，其特征在于，确定热度最小的元数据包括：确定在一个时间周期内被访问次数最少的元数据作为热度最小的元数据。6.根据权利要求5所述的方法，其特征在于，还包括：响应于在一个时间周期内同时存在多个被访问次数最少的元数据，而将其中最后一次被访问时间最早的元数据确定为热度最小...

【专利技术属性】
技术研发人员：李辉，甄天桥，苏楠，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：