一种元数据存储性能优化方法及存储服务器技术

本发明专利技术公开了一种元数据存储性能优化方法及存储服务器，属于分布式存储技术领域；该方法包括：在存储服务器的SSD硬盘中创建WAL分区，所述WAL分区的个数不少于数据盘的数量；指定每个数据盘中创建的OSD组件的WAL存储使用SSD硬盘中对应的一个WAL分区；数据盘接收写数据请求后，OSD组件访问SSD硬盘以将元数据对应的WAL写入对应的WAL分区中；本发明专利技术将WAL文件配置在SSD硬盘上，可以提升OSD元数据的访问速度，提升存储性能；另外，由于WAL文件占用的存储空间较小，SSD硬盘作为系统盘使用，不占用服务器的磁盘槽位，在提升存储性能的情况下，存储服务器的存储密度保持不变，且存储服务器的成本不会增加。

An optimization method of metadata storage performance and storage server

【技术实现步骤摘要】
一种元数据存储性能优化方法及存储服务器
本专利技术属于分布式存储
，更具体地，涉及一种元数据存储性能优化方法及存储服务器。
技术介绍
Ceph是一个开源的分布式存储软件，它可以将标准的服务器以及服务器本地硬盘组成统一的存储资源池，提供高可靠、高可扩展的存储系统。Ceph最基础的核心组件包括monitor和OSD，Monitor组件负责整个存储集群的管理，OSD主要负责数据的保存，同一份数据会保存多份，保证数据的可靠性。Ceph的客户端在写入数据时，会对数据按照固定大小进行分片，然后将每个分片数据发送到OSD上，OSD保存数据分为两个部分：数据和元数据，数据是指用户写入的真实数据，这部分直接保存在硬盘上；同时每个分片数据还有一份对应的元数据信息，这部分元数据保存在RocksDB里面，RocksDB的持久化存储一般也使用本地硬盘。在将元数据保存在本地硬盘的过程中，首先需要在本地硬盘中写入预写式日志(WriteAheadLog，WAL)，WAL主要用于掉电后的数据恢复；然后将元数据写入内存，再将内存中的元数据持久化存储在本地硬盘中；在整个过程中，在本地硬盘中写入WAL的速度直接影响着元数据的写入速度；一般情况下，为了提升元数据的写入速度以及ceph的性能，通常将rocksdb的元数据保存在SSD硬盘上，这样RocksDB在写WAL日志时具有较好的存储性能，但是采用SSD硬盘保存元数据存在以下问题：1.当使用SSD硬盘时，虽然能够获得比较好的存储性能，但是需要占用服务器的磁盘槽位，如果每台服务器配置1～2块SSD硬盘，必然导致了数据盘的数量减少，这样会降低服务器的存储密度；2.增加硬件成本，增加SSD硬盘必然带来的硬件成本的增加，同时每台服务器的数据盘数量减少，在同等存储容量的情况下，则需要配置更多的服务器数量，这也带来了成本的增加。
技术实现思路
针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种元数据存储性能优化方法及存储服务器，该方案能够提升ceph元数据的存储性能，同时又不会影响存储服务器的存储密度，也不会额外增加硬件成本。为实现上述目的，按照本专利技术的一个方面，提供了一种元数据存储性能优化方法，该方法包括：S1：在存储服务器的SSD硬盘中创建WAL分区，所述WAL分区的个数不少于数据盘的数量；S2：在每个数据盘中创建OSD组件时，指定所述OSD组件的WAL文件存储使用SSD硬盘中对应的一个WAL分区；S3：数据盘上的OSD组件接收写数据请求后，访问SSD硬盘以将元数据对应的WAL文件写入数据盘对应的WAL分区中。优选的，上述元数据存储性能优化方法，指定所述OSD组件的WAL文件存储使用SSD硬盘中对应的一个WAL分区具体包括：在每个WAL分区中创建逻辑分区，指定所述OSD组件的WAL文件存储使用所述WAL分区对应的逻辑分区。优选的，上述元数据存储性能优化方法，还包括以下步骤：在每个数据盘中创建OSD组件时，指定所述OSD组件的元数据存储使用数据盘中预先创建的逻辑分区；数据盘上的OSD组件接收写数据请求后，将元数据写入数据盘的所述逻辑分区中。优选的，上述元数据存储性能优化方法，将元数据写入数据盘的所述逻辑分区中具体包括：将所述元数据写入内存的数据结构表，当所述数据结构表写满之后将元数据刷新至数据盘的逻辑分区中。优选的，上述元数据存储性能优化方法还包括：先删除数据盘中的OSD，再删除SSD硬盘中所述OSD对应的WAL分区。优选的，上述元数据存储性能优化方法，将元数据刷新至对应的数据盘时还包括：对所述元数据进行去重和排序。优选的，上述元数据存储性能优化方法，所述SSD硬盘为存储服务器的系统盘。按照本专利技术的另一个方面，还提供了一种存储服务器，该存储服务器包括SSD硬盘和多个数据盘；其中，所述SSD硬盘中配置有多个WAL分区，所述WAL分区的个数不少于数据盘的数量；每个所述数据盘中创建的OSD组件的WAL文件存储使用SSD硬盘中对应的一个WAL分区；当所述数据盘接收写数据请求时，数据盘中的OSD组件访问SSD硬盘以将元数据对应的WAL文件写入数据盘对应的WAL分区中。优选的，上述存储服务器，所述SSD硬盘中的每一个WAL分区具有对应的逻辑分区，每个数据盘中OSD组件的WAL文件存储使用一个WAL分区对应的逻辑分区。优选的，上述存储服务器，每个数据盘中创建的OSD组件的元数据存储使用数据盘中预先创建的逻辑分区；当所述数据盘接收写数据请求时，数据盘中的OSD组件将元数据写入数据盘的所述逻辑分区中。优选的，上述存储服务器，所述OSD组件还用于将所述元数据写入内存的数据结构表，当所述数据结构表写满之后将元数据刷新至对应的数据盘的逻辑分区中。优选的，上述存储服务器，所述OSD组件在将元数据刷新至对应的数据盘时还对元数据进行去重和排序。优选的，上述存储服务器，所述SSD硬盘为存储服务器的系统盘。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术提供的一种元数据存储性能优化方法及存储服务器，在SSD硬盘上创建WAL分区，每个数据盘对应一个WAL分区；数据盘上的OSD组件在处理写入请求时，首先访问SSD硬盘，将WAL文件写入SSD硬盘中对应的WAL分区中；然后将元数据写入数据盘中，WAL文件存储访问SSD硬盘，元数据存储还是使用数据盘，将rocksdb的WAL文件配置在SSD硬盘上，可以提升OSD元数据的访问速度，提升存储性能；另外，由于WAL文件占用的存储空间较小，SSD硬盘作为系统盘使用，不占用服务器的磁盘槽位，在提升存储性能的情况下，存储服务器的存储密度保持不变，且存储服务器的成本不会增加。(2)本专利技术提供的一种元数据存储性能优化方法及存储服务器，存储WAL文件的SSD硬盘作为存储服务器的系统盘使用，相比单独的系统盘加上单独的SSD硬盘，当系统盘通过raid1做冗余保护，同时WAL文件也具备raid1的冗余，具有更高的可靠性。附图说明图1是本专利技术实施例提供的元数据存储性能优化方法的流程图；图2是本专利技术实施例提供的SSD硬盘的分区结构示意图；图3是本专利技术实施例提供的元数据写入过程的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。实施例一图1是本实施例提供的一种元数据存储性能优化方法的流程图，参见图1所示，该方法包括：S1：在存储服务器的SSD硬盘中预留存储空间并在所述存储空间内创建WAL分区，所述WAL分区的个数不少于数据盘的数本文档来自技高网...

【技术保护点】
1.一种元数据存储性能优化方法，其特征在于，包括：/n在存储服务器的SSD硬盘中创建WAL分区，所述WAL分区的个数不少于数据盘的数量；/n在每个数据盘中创建OSD组件时，指定所述OSD组件的WAL文件存储使用SSD硬盘中对应的一个WAL分区；/n数据盘上的OSD组件接收写数据请求后，访问SSD硬盘以将元数据对应的WAL文件写入数据盘对应的WAL分区中。/n

【技术特征摘要】
1.一种元数据存储性能优化方法，其特征在于，包括：
在存储服务器的SSD硬盘中创建WAL分区，所述WAL分区的个数不少于数据盘的数量；
在每个数据盘中创建OSD组件时，指定所述OSD组件的WAL文件存储使用SSD硬盘中对应的一个WAL分区；
数据盘上的OSD组件接收写数据请求后，访问SSD硬盘以将元数据对应的WAL文件写入数据盘对应的WAL分区中。


2.如权利要求1所述的元数据存储性能优化方法，其特征在于，指定所述OSD组件的WAL文件存储使用SSD硬盘中对应的一个WAL分区具体包括：
在每个WAL分区中创建逻辑分区，指定所述OSD组件的WAL文件存储使用所述WAL分区对应的逻辑分区。


3.如权利要求1或2所述的元数据存储性能优化方法，其特征在于，还包括以下步骤：
在每个数据盘中创建OSD组件时，指定所述OSD组件的元数据存储使用数据盘中预先创建的逻辑分区；
数据盘上的OSD组件接收写数据请求后，将元数据写入数据盘的所述逻辑分区中。


4.如权利要求3所述的元数据存储性能优化方法，其特征在于，将元数据写入数据盘的所述逻辑分区中具体包括：
将所述元数据写入内存的数据结构表，当所述数据结构表写满之后将元数据刷新至数据盘的逻辑分区中。

【专利技术属性】
技术研发人员：王振宇，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：湖北;42