一种分布式存储系统的部署方法及装置制造方法及图纸

本发明专利技术涉及一种分布式存储系统的部署方法、装置、电子设备及存储介质。该方法包括：将所述分布式存储系统的存储硬件划分为多个逻辑单元，每个所述逻辑单元的操作都是相互独立的；将每个所述逻辑单元划分成不同的命名空间，且每个所述命名空间都有唯一的识别号；为每一个所述命名空间部署数据管理进程。本发明专利技术可以显著降低不同分区间的互相影响，大幅提升系统的读写服务能力、降低读延时。

A deployment method and device of distributed storage system

【技术实现步骤摘要】
一种分布式存储系统的部署方法及装置
本专利技术涉及云计算
，尤其涉及一种分布式存储系统的部署方法及装置、电子设备及存储介质。
技术介绍
随着云计算、大数据、移动互联网的快速发展，数据量正在急速增加，存储系统面临的挑战也愈发艰巨。基于机械硬盘的传统分布式存储系统，在性能和吞吐量上已经难以满足信息存储的需求。固态硬盘(SolidStateDisk，以下简称SSD)的引入，有效缓解了这一现状。随着SSD单位存储价格的持续下降,全SSD组成的存储系统成为可能。随着SSD单盘容量在不断提升，未充分使用的闪存占比在不断扩大。为解决资源浪费的问题，现有技术中普遍采用把SSD划分为多个分区，每个分区上运行一个数据读写进程的共享SSD方法，以便提升系统整体的性能和资源利用率。该方法中每个应用的读写模型可能是不一样的，有的应用是以读为主，有的是以写为主。但是，这种简单的共享SSD，会导致多个分区间的互相干扰，造成读延时的巨幅升高。例如，当两个应用同时在使用一块SSD硬盘，其中一个应用程序在使用时不停地向SSD中写数据，这个写的过程就会对另外一个以读为主的应用造成影响，导致读延时的升高。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提出了一种分布式存储系统的部署方法及装置、电子设备及存储介质，能够解决现有技术中共享SSD操作时多个分区间相互干扰的问题。根据本专利技术的第一方面，本专利技术提供了一种分布式存储系统的部署方法，包括：将所述分布式存储系统的存储硬件划分为多个逻辑单元，每个所述逻辑单元的操作都是相互独立的；将每个所述逻辑单元划分成不同的命名空间，且每个所述命名空间都有唯一的识别号；为每一个所述命名空间部署数据管理进程。优选地，采用垂直逻辑单元方式或水平逻辑单元方式将所述分布式存储系统的存储硬件划分为多个逻辑单元。优选地，对所述命名空间执行创建、删除、列举、挂载、卸载操作。优选地，所述存储硬件是采用NVMe协议通信的固态硬盘，所述将每个所述逻辑单元划分成不同的命名空间是通过NVMe协议实现。根据本专利技术的第二方面，本专利技术提供了一种分布式存储系统的部署装置，包括：逻辑单元管理模块，用来将所述分布式存储系统的存储硬件划分为多个逻辑单元，每个所述逻辑单元的操作都是相互独立的；命名空间管理模块，用来将每个所述逻辑单元划分成不同的命名空间，每个所述命名空间都有唯一的识别号；数据管理进程部署模块，用来为每一个所述命名空间部署数据管理进程。根据本专利技术的第三方面，一种电子设备，包括处理器和存储器，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上述任一项所述的方法。根据本专利技术的第四方面，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法。综上所述，总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，该部署方法可以显著降低分布式存储系统中多个分区间的互相干扰，大幅提升系统的读写服务能力(QualityofService)、降低读延时，特别是在读压力较大或混合读写较多的应用场景下，效果更为显著。附图说明图1是本专利技术提供的一种分布式存储系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。为了解决多个应用共享分布式存储的SSD资源时的旁路干扰问题，本专利技术提出了一种分布式存储系统的部署方法，基于多命名空间技术，构建了一种分布式存储系统。通过多命名空间技术，可以在一块大容量存储硬件上划分出多个命名空间，命名空间是互相隔离的，在每一个命名空间上运行一个数据管理进程。最终由多个这样的存储硬件，加上存储管理进程，就构建出一个分布式存储系统。在读压力较大或混合读写较多的应用场景下，该存储系统可以显著降低不同分区间的互相影响，大幅提升系统的读读写服务能力、降低读延时。英语缩写及术语解释:命名空间(namespace)：是NVMe协议中一个基本的逻辑空间的概念。每个命名空间拥有自身的NAND，可以独立的进行格式化和加密等操作。NAND：是NANDFlashMemory的简称，被翻译为快闪存储器，简称闪存，是一种非易失性存储器(Non-VolatileMemory，NVM)，也就是说当电源关掉，它所存储的数据不会消失。NVMe：Non-VolatileMemoryexpress的缩写，非易失性内存主机控制器接口规范，是一个逻辑设备接口规范。分布式存储系统：将数据分散存储在网络上的多台独立设备上，一般采用标准x86服务器和网络互联，并在其上运行相关存储软件，系统对外作为一个整体提供存储服务。逻辑单元(set)：NVMeSSD中划分的逻辑单元，每个逻辑单元享有部分NAND资源。LUN：LogicalUnitNumber的缩写，指逻辑单元号。但实际中我们通常简称LUNDevice为LUN。PCIE：PeripheralComponentInterconnectExpress的缩写，是一种高速串行计算机扩展总线标准。本专利技术的一种分布式存储系统的部署方法，包括步骤：S11，将分布式存储系统的存储硬件划分为多个逻辑单元，每个逻辑单元的操作都是相互独立的。这就表示可以同时对多个逻辑单元执行读写等操作。S12，将每个逻辑单元划分成不同的命名空间，且每个所述命名空间都有唯一的识别号。每个命名空间是被相互隔离的，每个命名空间只属于一个逻辑单元。S13，为每一个命名空间部署数据管理进程。这样即使对多个逻辑单元同时执行读写操作，也不会相互间互相影响。下面以采用NVMe协议通信的固态硬盘(以下简称NVMeSSD磁盘)的分布式存储系统为例说明本专利技术的一种分布式存储系统的部署方法，包括步骤：S21，在管理节点上安装分布式存储系统的管理软件。S22，把作为存储硬件的服务器上的NVMeSSD磁盘，划分为不同的逻辑单元(Set)。每个Set可以包含1个或多个通道(Channel)和核心(Die)，不同Set之间的擦除、读写都是相互独立的。优选地，逻辑单元划分的方式可以采用垂直逻辑单元方式(VerticalSets)或水平逻辑单元方式(HorizontalSets)中的一种。以将某一个的NVMeSSD磁盘划分为两个逻辑单元set1和set2为例。采用垂直逻辑单元划分时，Set1和Set2以通道为单位，各占用一半的NAND资源；而采用水平逻辑单元划分时Set1和Set2都享有每个通道上一半的NAND资源，即4个Die。垂直和水平两种不同的资源隔离策略会达到不同的性能效果。<本文档来自技高网...

【技术保护点】
1.一种分布式存储系统的部署方法，其特征在于，包括：/n将所述分布式存储系统的存储硬件划分为多个逻辑单元，每个所述逻辑单元的操作都是相互独立的；/n将每个所述逻辑单元划分成不同的命名空间，且每个所述命名空间都有唯一的识别号；/n为每一个所述命名空间部署数据管理进程。/n

【技术特征摘要】
1.一种分布式存储系统的部署方法，其特征在于，包括：
将所述分布式存储系统的存储硬件划分为多个逻辑单元，每个所述逻辑单元的操作都是相互独立的；
将每个所述逻辑单元划分成不同的命名空间，且每个所述命名空间都有唯一的识别号；
为每一个所述命名空间部署数据管理进程。


2.如权利要求1所述的一种分布式存储系统的部署方法，其特征在于，采用垂直逻辑单元方式或水平逻辑单元方式将所述分布式存储系统的存储硬件划分为多个逻辑单元。


3.如权利要求1或2所述的一种分布式存储系统的部署方法，其特征在于，对所述命名空间执行创建、删除、列举、挂载、卸载操作。


4.如权利要求1或2所述的一种分布式存储系统的部署方法，其特征在于，
所述存储硬件是采用NVMe协议通信的固态硬盘，所述将每个所述逻辑单元划分成不同的命名空间是通过NVMe协议实现。


5.一种分布式存储系统的部署装置，其特征在于，包括：
逻辑单元管理模块，用来将所述分布式存储系统的存储硬件划分为多个逻辑单元，每个所述逻辑单元的操作都是相互独立的；
命名空间管理模块，用来将每个所述逻辑单元划分成...

【专利技术属性】
技术研发人员：李海静，李毅，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：湖北;42