分布式持久性内存存储系统的构建方法技术方案

本发明专利技术公开了一种分布式持久性内存存储系统的构建方法，该方法包括以下步骤：通过RDMA网络将配备持久性内存的存储服务器互连，并编址为全局统一的虚拟地址空间；将存储系统中各子系统的共性功能模块进行统一抽象，在全局虚拟地址空间之上构建统一的分布式持久性共享内存框架；根据分布式持久性共享内存框架提供的基本功能模块实现各存储子系统，以构建分布式持久性内存存储系统；通过集群监听管理模块实时反馈集群信息，并协助分布式持久性内存存储系统进行工作。该构建方法具有软件层次简洁、软件系统开销低、访问接口安全、性能高、易管理等特点，消除了传统系统架构复杂、功能冗余的缺陷。

Construction of Distributed Persistent Memory Storage System

【技术实现步骤摘要】
分布式持久性内存存储系统的构建方法
本专利技术涉及分布式存储系统
，特别涉及一种分布式持久性内存存储系统的构建方法。
技术介绍
远程直接内存访问(RemoteDirectMemoryAccess，RDMA)能够在双方操作系统不介入的情况下直接将数据传输到应用程序内存或从应用程序内存读取数据。基于RDMA的数据传输无需在应用程序内存和操作系统中的数据缓冲区之间拷贝数据，从而实现了零拷贝数据传输。最新的RDMA网卡已经支持100Gbps的网络传输带宽和亚微妙级的传输延迟。新型持久性内存(PersistentMemory，PM)具有以下特性：1)数据掉电不丢失；2)相比于传统DRAM(DynamicRandomAccessMemory，动态随机存取存储器)，其存储密度更大；3)在读写性能方面，比传统闪存和磁盘要高出若干数量级，读写性能接近DRAM；4)相比于闪存，其具有更高的寿命。RDMA和PM分别在网络和存储上提供了极高的性能，因此结合RDMA和PM构建高效的存储系统充满前景。然而，RDMA和PM也展现出与传统以太网和外存设备完全不同的硬件特性：RDMA可以在远端CPU不参与情况下直接访问远端内存，这与传统的基于套接字的数据收发模式完全不同，同时RDMA提供了丰富的传输原语，他们在语义、性能等方面各不相同；持久性内存则在读写延迟不对称性、一致性管理方法等方面与传统外存设备不同，持久性内存直接通过内存总线接入到CPU，因此持久性-易失性边界从传统的内外存上移到CPU缓存和主存之间，数据是否到达PM完全由硬件决定，数据持久化过程软件不可控，这为PM上的数据一致性管理带来新的挑战。目前，为充分发挥RDMA的硬件特性，降低PM数据一致性管理的开销，现有的工作针对不同的存储子系统提出了不同的方案，然而，将这些技术分别应用到分布式持久性内存存储系统的不同子系统，将导致功能冗余，架构复杂，甚至彼此冲突等情况。综上，目前还没有一种有效的途径能够将RDMA和PM有机结合，构建高性能、可靠、易管理的大型存储系统是十分必要的。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术目的在于提出一种分布式持久性内存存储系统的构建方法，该方法具有软件层次简洁、软件系统开销低、访问接口安全、性能高、易管理等特点，消除了传统系统架构复杂、功能冗余的缺陷。为达到上述目的，本专利技术面提出了分布式持久性内存存储系统的构建方法，包括以下步骤：S1：通过RDMA网络将配备持久性内存的存储服务器互连，并编址为全局统一的虚拟地址空间；S2：将存储系统中各子系统的共性功能模块进行统一抽象，在所述全局虚拟地址空间之上构建统一的分布式持久性共享内存框架；S3：根据所述分布式持久性共享内存框架提供的基本功能模块实现各存储子系统，以构建分布式持久性内存存储系统；S4：通过集群监听管理模块实时反馈集群信息，并协助所述分布式持久性内存存储系统进行工作。本专利技术实施例的分布式持久性内存存储系统的构建方法，分布式持久性内存存储系统打破了各子系统彼此独立的架构模式，将各子系统的共性功能统一集成到分布式持久性共享内存框架中，消除了传统系统架构复杂、功能冗余的缺陷。另外，根据本专利技术上述实施例的分布式持久性内存存储系统的构建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S1包括：接受客户端服务器发送的指令，使得所述客户端服务器通过所述全局虚拟地址透明地定位到目标存储服务器的持久性内存特定偏移位置，并通过所述RDMA网络直接读/写远端持久性内存。进一步地，在本专利技术的一个实施例中，所述步骤S2包括：将所述各子系统的持久性内存空间管理模块集成至所述分布式共享内存框架，构建分布式持久性内存分配器，即持久性内存堆，完成细粒度的持久性内存空间分配、释放和碎片管理功能；在所述分布式共享内存框架中，基于持久性内存和RDMA的分布式事务机制统一接管所述各子系统的并发多操作请求；在所述分布式共享内存框架中，基于所述持久性内存和RDMA的分布式复制协议统一接管所述各子系统的多副本容灾功能。进一步地，在本专利技术的一个实施例中，还包括：基于所述分布式持久性共享内存框架提供基于持久性内存的持久性对象管理模式，使得子系统将粗粒度的文件数据或数据库条目以对象格式进行存储。进一步地，在本专利技术的一个实施例中，所述持久性对象管理模块和所述持久性内存堆基于所述全局虚拟地址管理持久性内存，且二者使用的全局虚拟地址空间彼此不交叠。进一步地，在本专利技术的一个实施例中，所述分布式复制协议与所述全局虚拟地址协同工作，使得复制功能对上层应用透明。进一步地，在本专利技术的一个实施例中，所述分布式复制协议采用复制状态机对所述粗粒度的对象管理进行一致性的多副本管理，以通过维护跨节点的远端日志对所述细粒度的持久性堆实现容灾管理。可选地，在本专利技术的一个实施例中，所述分布式持久性共享内存框架包括内存式访问接口、对象式访问接口、事务式访问接口和复制式访问接口中的一项或多项。进一步地，在本专利技术的一个实施例中，所述步骤S3包括：通过分布式事务机制对子系统的元数据管理或索引结构维护。进一步地，在本专利技术的一个实施例中，所述步骤S4包括：通过所述集群监听管理模块存储集群成员列表和所述全局虚拟地址与物理地址的映射表，其中，若所述成员列表或所述映射表发生变化，通过一致性协调模块将相应修改信息通知给集群内所有节点，以实现统一的全局视图。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术一个实施例的分布式持久性内存存储系统的构建方法流程图；图2是本专利技术一个实施例的全局虚拟地址空间与物理内存之间的映射关系示意图；图3是本专利技术一个实施例的是本专利技术一个实施例的全局虚拟地址与复制系统协同示意图；图4是本专利技术一个实施例的是本专利技术一个实施例的分布式持久性共享内存框架接口依赖关系图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的分布式持久性内存存储系统的构建方法。首先，本专利技术实施例基于的分布式持久性内存存储系统向应用程序提供持久性内存堆、文件存储、键值存储和关系型数据库等多种存储服务，分布式持久性内存存储系统包括多个存储服务器和多个客户端服务器，其中，存储服务器配备持久性内存存储器件，存储服务器和客户端服务器配备RDMA网卡，并通过RDMA交换机互连。图1是本专利技术一个实施例的分布式持久性内存存储系统的构建方法流程图。如图1所示，该分布式持久性内存存储系统的构建方法包括以下步骤：在步骤S1中，通过RDMA网络将配备持久性内存的存储服务器互连，并编址为全局统一的虚拟地址空间。进一步地，在本专利技术的一个实施例中，步骤S1包括：接受客户端服务器发送的指令，使得客户端服务器通过全局虚拟地址透明地定位到目标存储服务器的持久性内存特定偏移位置，本文档来自技高网...

【技术保护点】
1.一种分布式持久性内存存储系统的构建方法，其特征在于，包括以下步骤：S1：通过RDMA网络将配备持久性内存的存储服务器互连，并编址为全局统一的虚拟地址空间；S2：将存储系统中各子系统的共性功能模块进行统一抽象，在所述全局虚拟地址空间之上构建统一的分布式持久性共享内存框架；S3：根据所述分布式持久性共享内存框架提供的基本功能模块实现各存储子系统，以构建分布式持久性内存存储系统；以及S4：通过集群监听管理模块实时反馈集群信息，并协助所述分布式持久性内存存储系统进行工作。

【技术特征摘要】
1.一种分布式持久性内存存储系统的构建方法，其特征在于，包括以下步骤：S1：通过RDMA网络将配备持久性内存的存储服务器互连，并编址为全局统一的虚拟地址空间；S2：将存储系统中各子系统的共性功能模块进行统一抽象，在所述全局虚拟地址空间之上构建统一的分布式持久性共享内存框架；S3：根据所述分布式持久性共享内存框架提供的基本功能模块实现各存储子系统，以构建分布式持久性内存存储系统；以及S4：通过集群监听管理模块实时反馈集群信息，并协助所述分布式持久性内存存储系统进行工作。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：接受客户端服务器发送的指令，使得所述客户端服务器通过所述全局虚拟地址透明地定位到目标存储服务器的持久性内存特定偏移位置，并通过所述RDMA网络直接读/写远端持久性内存。3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：将所述各子系统的持久性内存空间管理模块集成至所述分布式共享内存框架，构建分布式持久性内存分配器，即持久性内存堆，完成细粒度的持久性内存空间分配、释放和碎片管理功能；在所述分布式共享内存框架中，基于持久性内存和RDMA的分布式事务机制统一接管所述各子系统的并发多操作请求；在所述分布式共享内存框架中，基于所述持久性内存和RDMA的分布式复制协议统一接管所述各子系统的多副本容灾功能。4.根据权...

【专利技术属性】
技术研发人员：舒继武，陈游旻，李飞，陆游游，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11