NVMe-oF以太网SSD中的低延迟直接访问块存储制造技术

一种对通过以太网连接的至少一个NVMe‑oF SSD设备中的非易失性闪存进行低延迟直接数据访问的方法。该方法包括从主机的低延迟直接访问(LL‑DAX)块存储软件层向闪存传输远程直接存储器访问(RDMA)写请求。RDMA写请求包括数据、存储地址、数据传送操作的长度和操作码。该方法还包括在主机处接收指示数据已被保存到闪存的RDMA级确认。该方法还包括从LL‑DAX块存储软件层向闪存传输RDMA读请求，该RDMA读请求包括存储地址、数据传送的长度和操作码。该方法还包括在主机处从闪存接收对应于RDMA读请求的数据分组。

Low latency direct access block storage in NVMe-oF Ethernet SSD

A low-latency direct data access method for non-volatile flash memory in at least one NVMe_oF SSD device connected via ethernet. This method includes writing requests from the low latency direct access (LL DAX) block storage software layer of the host to the Flash Transfer Remote Direct Memory Access (RDMA). RDMA writing requests include data, storage address, length of data transfer operation and operation code. The method also includes receiving RDMA level acknowledgement at the host computer indicating that the data has been saved to the flash memory. The method also includes transmitting RDMA read request from LL DAX block storage software layer to flash memory, which includes storage address, length of data transfer and operation code. The method also includes receiving data packets corresponding to the RDMA read request from the flash memory at the host computer.

【技术实现步骤摘要】
NVMe-oF以太网SSD中的低延迟直接访问块存储相关申请的交叉引用本申请要求于2017年4月25日提交的标题为“AMethodforLowLatencyDirectAccessBlockStorageinNVMe-oFEthernetSSD”的美国临时申请第62/489,991号的优先权和权益，其全部内容以引用方式并入本文中。
本公开总体涉及用于固态驱动器的数据访问方法和系统。
技术介绍
固态驱动器(SSD)正在取代了传统的硬盘驱动器(HDD)，迅速成为现代IT基础设施的主要存储元件。SSD提供非常低的延迟、高数据读取/写入吞吐量以及可靠的用户数据存储。光纤高速非易失性存储器(NVMe-oF)是一项新兴技术，其允许数百甚至数千个高速非易失性存储器(NVMe)SSD通过以太网连接。NVMe-oF协议实现了远程直接连接存储(rDAS)实施。这允许大量的SSD连接到远程主机。NVMe-oF协议使用远程直接存储器访问(RDMA)协议来提供用于携带NVMe命令、数据和响应的可靠传输服务。互联网广域RDMA协议(iWARP)、融合以太网RDMA(RoCE)v1和RoCEv2是提供RDMA服务的一些传输协议。图1描绘了常规NVMe-oF以太网SSD存储中使用的系统架构的示例。如图1中所示，在服务器上运行的应用程序通常通过系统软件栈来访问存储。典型的存储系统软件栈包括许多层，诸如应用程序、操作系统(OS)/文件系统(FS)、NVMe-oF驱动器、块存储层(图1中未示出)以及RDMA传输层(图1中未示出)。系统软件的这些众多层可能会为应用程序的数据访问增加大量延迟。由于存储介质技术(例如，Z-NAND)和联网技术(例如，100Gbps以太网)的进步，由于介质和网络造成的延迟贡献显著下降。因此，系统软件延迟正在成为整体数据访问延迟的重要组成部分。在
技术介绍
部分中公开的上述信息被提供用于增强对本专利技术的背景的理解，并且因此它可以包含不构成现有技术的信息。
技术实现思路
本公开涉及对通过以太网连接的高速非易失性存储器(NVMe)固态驱动器(SSD)设备中的至少一个非易失性闪存进行低延迟直接数据访问的各种方法。在一个实施例中，该方法包括从主机的低延迟直接访问(LL-DAX)块存储软件层向闪存传输远程直接存储器访问(RDMA)写请求。RDMA写请求包括数据、存储地址、数据传送操作的长度和操作码。该方法还包括在主机处接收指示数据已被保存到闪存的确认。该方法还包括从LL-DAX块存储软件层向闪存传输RDMA读请求。RDMA读请求包括存储地址、数据传送的长度和操作码。该方法还包括在主机处从闪存接收对应于RDMA读请求的数据分组。RDMA首部字段中可以携带RDMA写请求和RDMA读请求的存储地址、数据传送的长度以及操作码。该方法还可以包括使用光纤高速非易失性存储器(NVMe-oF)协议将RDMA写请求和RDMA读请求从主机传输到闪存。传输RDMA写请求和传输RDMA读请求可以包括使用一系列RDMA队列对(QP)进行传输。该方法还可以包括当两个或更多个RDMAQP具有主机命令时，使用LL-DAX主机接口(HIF)逻辑执行仲裁。仲裁选择主机命令中的一个用于执行。该系列RDMAQP中的第一RDMAQP可以专用于第一命令，并且该系列RDMAQP中的第二RDMAQP可以专用于与第一命令不同的第二命令。第一命令可以是写命令，并且第二命令可以是读命令。该方法还可以包括从主机处的LL-DAX块存储软件层向闪存传输识别命令。闪存响应于识别命令，将关于闪存的信息传输到主机。该信息可能包括闪存的所支持的功能、能力和特性。识别命令可以与RDMA读请求一起传输。该方法还可以包括从主机的LL-DAX块存储软件层向闪存传输删除命令。删除命令包括块地址范围的起始块地址和结束块地址。删除命令可以与RDMA写请求一起传输。RDMA读请求和RDMA写请求可以使用诸如RoCEv1、RoCEv2或iWARP的RDMA传输协议进行传输。LL-DAX块存储软件层可以包括超时值，并且LL-DAXQP可以包括被配置成防止在传输RDMA写请求期间超时的接收缓冲区。闪存的LL-DAX存储容量可以与NVMe-oF命名空间共享。本公开还涉及用于对非易失性闪存进行低延迟直接数据访问的系统的各种实施例。在一个实施例中，该系统包括通过以太网连接的包括闪存的至少一个光纤高速非易失性存储器(NVMe-oF)固态驱动器(SSD)设备，以及包括处理器和低延迟直接访问(LL-DAX)块存储软件层的主机设备。LL-DAX块存储软件层包括存储在其中的指令，该指令在由处理器执行时使处理器向闪存传输远程直接存储器存取(RDMA)写请求，该RDMA写请求包括数据、存储地址、数据传送操作的长度和操作码，接收指示数据已被保存到闪存的确认，向闪存传输RDMA读请求，该RDMA读请求包括存储地址、数据传送的长度和操作码，以及从闪存接收对应于RDMA读请求的数据分组。主机设备可以包括指令，该指令在由处理器执行时使处理器使用光纤高速非易失性存储器(NVMe-oF)协议将RDMA写请求或RDMA读请求传输到非易失性闪存。NVMe-oF协议模式和LL-DAX模式可以排它地或同时运行。NVMeSSD设备可以包括被配置成在两个或更多个RDMA队列对(QP)中的主机命令之间进行仲裁的LL-DAX主机接口(HIF)逻辑。两个或更多RDMARDMAQP中的第一RDMAQP可以专用于第一命令，并且两个或更多RDMARDMAQP中的第二RDMAQP可以专用于与第一命令不同的第二命令。LL-DAX块存储软件层可以包括超时值，并且至少一个NVMeSSD设备可以包括被配置成防止在RDMA写请求的传输期间超时的接收缓冲区。存储在LL-DAX块存储软件层中的指令在由处理器执行时还可以使处理器向闪存传输识别命令或者向闪存传输删除命令。提供本
技术实现思路
是为了介绍将在以下具体实施方式中进一步描述的本公开的实施例的特征和概念的选择。本
技术实现思路
不旨在确定所要求保护的主题的关键或基本特征，也不旨在用于限制所要求保护的主题的范围。所描述的特征中的一个或多个可以与一个或多个其它描述的特征组合以提供可使用的设备。附图说明当结合以下附图考虑时，通过参考以下具体实施方式，本公开的实施例的这些和其它特征和优点将更加显而易见。在附图中，图中使用相同的附图标记来指代相同的特征和组件。这些图不一定按规定比例绘制。图1是描绘光纤高速非易失性存储器(NVMe-oF)以太网SSD存储中使用的常规系统架构的示意图；图2是描绘根据本公开的一个实施例的NVMe-oF以太网SSD存储中使用的系统架构的示意图；图3是描绘LL-DAX写命令的格式的图；图4是描绘LL-DAX读命令和LL-DAX识别命令的格式的图；图5是描绘LL-DAX删除命令的格式的图；以及图6是根据本公开的一个实施例的eSSD中的LL-DAX操作的流程图。具体实施方式本公开涉及在光纤高速非易失性存储器(NVMe-oF)以太网SSD存储中进行低延迟数据访问的各种系统和方法。本公开的各种系统和方法利用LL-DAX协议、启用LL-DAX的eSSD和LL-DAX块存储软件。用于低延迟访问数据存储的各种系统和方法被配置成实现高性能和具成本本文档来自技高网...

【技术保护点】
1.一种对通过以太网连接的至少一个光纤高速非易失性存储器(NVMe‑oF)固态驱动器(SSD)设备中的非易失性闪存进行低延迟直接数据访问的方法，所述方法包括：从主机的低延迟直接访问(LL‑DAX)块存储软件层向所述闪存传输远程直接存储器访问(RDMA)写请求，所述RDMA写请求包括数据、存储地址、数据传送操作的长度和操作码；在所述主机处接收指示所述数据已被保存到所述闪存的RDMA级确认；从所述LL‑DAX块存储软件层向所述闪存传输RDMA读请求，所述RDMA读请求包括存储地址、数据传送的长度和操作码；以及在所述主机处从所述闪存接收对应于所述RDMA读请求的RDMA读响应数据分组。

【技术特征摘要】
2017.04.25 US 62/489,991;2017.07.20 US 15/655,7381.一种对通过以太网连接的至少一个光纤高速非易失性存储器(NVMe-oF)固态驱动器(SSD)设备中的非易失性闪存进行低延迟直接数据访问的方法，所述方法包括：从主机的低延迟直接访问(LL-DAX)块存储软件层向所述闪存传输远程直接存储器访问(RDMA)写请求，所述RDMA写请求包括数据、存储地址、数据传送操作的长度和操作码；在所述主机处接收指示所述数据已被保存到所述闪存的RDMA级确认；从所述LL-DAX块存储软件层向所述闪存传输RDMA读请求，所述RDMA读请求包括存储地址、数据传送的长度和操作码；以及在所述主机处从所述闪存接收对应于所述RDMA读请求的RDMA读响应数据分组。2.根据权利要求1所述的方法，其中在RDMA首部字段中携带所述RDMA写请求和所述RDMA读请求的所述存储地址、所述数据传送的长度以及所述操作码。3.根据权利要求1所述的方法，还包括使用光纤高速非易失性存储器(NVMe-oF)协议将RDMA写请求和RDMA读请求从所述主机传输到所述闪存。4.根据权利要求1所述的方法，其中传输所述RDMA写请求和传输所述RDMA读请求包括使用多个RDMA队列对(QP)进行传输。5.根据权利要求4所述的方法，还包括当两个或更多个RDMAQP具有主机命令时，使用LL-DAX主机接口(HIF)逻辑执行仲裁，所述仲裁选择所述主机命令中的一个用于执行。6.根据权利要求4所述的方法，其中所述多个RDMAQP中的第一RDMAQP专用于第一命令，并且所述多个RDMAQP中的第二RDMAQP专用于与所述第一命令不同的第二命令。7.根据权利要求6所述的方法，其中所述第一命令是写命令，并且所述第二命令是读命令。8.根据权利要求1所述的方法，还包括从所述主机处的所述LL-DAX块存储软件层向所述闪存传输识别命令，并且其中所述闪存响应于所述识别命令而将关于所述闪存的信息传输到所述主机。9.根据权利要求8所述的方法，其中所述信息包括所述闪存的所支持的特征、能力和特性。10.根据权利要求8所述的方法，其中所述识别命令与所述RDMA读请求一起传输。11.根据权利要求1所述的方法，还包括从所述主机处的所述LL-DAX块存储软件层向所述闪存传输删除命令，所述删除命令包括块地址范围的起始块地址和结束块地址。12.根据权利要求1...

【专利技术属性】
技术研发人员：拉姆达斯·P·卡沙尔，李东起，阿贾伊·桑达尔拉杰，弗雷德·沃里，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR