一种面向NVMe SSD和RDMA的原生分布式表存储系统技术方案

本发明专利技术公开了一种面向NVMe SSD和RDMA的原生分布式表存储系统，其特点是该系统由元数据节点、数据节点和数据同步组成，所述元数据节点负责存储系统中每一个表的数据分布信息，并管理整个集群的拓扑结构，包括增加、修改、删除服务器位置和运行状态；所述数据节点采用轻量化的存储栈，并结合NVMe设备特性和多线程的并发处理机制；所述数据同步采用RDMA单边原语，实现的基于周期性按批日志拉取的数据同步。本发明专利技术与现有技术相比具有数据存取和传输的高效率，较好的解决了多层数据抽象导致的新型存储/网络设备资源利用率低的问题，积大地发挥了分布式数据库充分利用新型高速硬件性能的能力，方法简便，使用效果好，具有良好的运用前景和商业价值。

【技术实现步骤摘要】

本专利技术涉及软件开发，尤其是一种面向nvme ssd和rdma的原生分布式表存储系统。

技术介绍

1、随着硬件技术的迅猛发展，存储和网络硬件的性能得到了显著提升。相较于传统的hdd和sata ssd，这些设备受到接口限制，最大带宽不超过750mb/s，普通的nvme ssd则展现了近7gb/s的带宽和高达150万iops的卓越性能。rdma nics也取得了重大突破，实现了服务器间高达400gbps的快速数据传输。然而，这些进步将性能瓶颈转移到了软件堆栈。为了应对这一问题，学术界和工业界一直在积极研究各种系统，包括但不限于数据库、键值存储和文件系统。以数据抽象的新视角重新评估新型硬件的存储栈设计。表，作为数据处理系统中的基础结构，被广泛应用。存在两种经典的分布式表抽象模型，分别是共享存储架构和无共享架构。通常，表建立在文件抽象之上，而文件又建立在块设备之上。当前的研究主要集中于单一层面的优化，例如表抽象层（即数据库）或文件抽象层（即文件系统）。这种现象的出现主要有两个原因。首先，采用文件抽象能够屏蔽底层存储细节，简化数据库中存储引擎的设计与实现。其次，在本文档来自技高网...

【技术保护点】

1.一种面向NVMe SSD和RDMA的原生分布式表存储系统，其特征在于，该存储系统由客户端的用户态编程库与元数据节点和数据节点组成，存储系统为每一张表部署多个副本，主副本负责处理客户端的读写请求，其他副本充当冗余备份，实现原生分布式表存储，所述存储系统采用RDMA单边原语实现基于周期性日志拉取的数据同步，实现多个副本之间的数据一致；所述元数据节点负责存储系统中每一个表的数据分布信息，并管理整个集群的拓扑结构，包括增加、修改、删除服务器位置和运行状态；所述数据节点采用轻量化的存储栈和包括插入、更新、删除和查询特定的元组数据的并发处理机制。

2.根据权利要求1所述的面向NVMe...

【技术特征摘要】

1.一种面向nvme ssd和rdma的原生分布式表存储系统，其特征在于，该存储系统由客户端的用户态编程库与元数据节点和数据节点组成，存储系统为每一张表部署多个副本，主副本负责处理客户端的读写请求，其他副本充当冗余备份，实现原生分布式表存储，所述存储系统采用rdma单边原语实现基于周期性日志拉取的数据同步，实现多个副本之间的数据一致；所述元数据节点负责存储系统中每一个表的数据分布信息，并管理整个集群的拓扑结构，包括增加、修改、删除服务器位置和运行状态；所述数据节点采用轻量化的存储栈和包括插入、更新、删除和查询特定的元组数据的并发处理机制。

2.根据权利要求1所述的面向nvme ssd和rdma的原生分布式表存储系统，其特征在于，所述元数据节点采用单个服务器避免跨节点的元数据访问，使用根表为一个扁平的二维表管理普通表的元数据，所述元数据被拆分后与访问相关和内容相关的信息予以区分，将与访问有关的信息存储于元数据节点，将与内容相关的信息和相应的表数据存储于特定的数据节点。

3.根据权利要求1所述的面向nvme ssd和rdma的原生分布式表存储系统，其特征在于，所述数据节点具备轻量化的软件栈，其消除文件抽象并直接在nvme ssd设备之上构建将表结构，所述nvme ssd设备支持非易性内存主机控制接口规范，将数据服务构建在基于用户态的nvme设备驱动之上。

4.根据权利要求1所述的面向nvme ...

【专利技术属性】
技术研发人员：范晓鹏，翁楚良，阎松，黄宇辰，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：