桥接装置及提供接近存储计算的方法制造方法及图纸

本发明专利技术提供一种桥接装置及提供接近存储计算的方法。所述桥接装置包括：第一接口，被配置成从在主机计算机上运行的应用接收第一组命令；一个或多个命令处理器，所述一个或多个命令处理器中的每一者被配置成对所述第一组命令进行转换并基于所述第一组命令产生第二组命令；第二接口，被配置成将所述第二组命令提供到数据存储装置；以及计算处理器，被配置成在运行所述应用的同时发出内部命令来以对于所述主机计算机而言不可知的方式在后台模式中从所述数据存储装置提取数据以及向所述数据存储装置写入数据。本发明专利技术的接近存储计算及存储器内加速使得能够以高效方式在后台对大量数据进行处理。

Bridging Device and Method of Providing Approximate Storage Computing

The invention provides a bridge device and a method for providing close storage calculation. The bridge device includes: a first interface configured to receive a first set of commands from an application running on a host computer; one or more command processors, each of which is configured to convert the first set of commands and generate a second set of commands based on the first set of commands; and a second interface configured to generate the second set of commands. Commands are provided to the data storage device; and computing processors are configured to issue internal commands while running the application to extract data from the data storage device in background mode and write data to the data storage device in a manner unknown to the host computer. The proximity of the present invention to storage calculation and acceleration in memory enable a large amount of data to be processed in the background in an efficient manner.

【技术实现步骤摘要】
桥接装置及提供接近存储计算的方法[相关申请的交叉参考]本申请主张在2017年10月11日提出申请的序列号为第62/571,064号及第62/571,061号的美国临时专利申请的权利及优先权，所述美国临时专利申请的公开内容全文并入本申请供参考。
本公开大体来说涉及数据存储系统，且更具体来说，涉及一种使用桥接装置提供接近存储计算的系统及方法。
技术介绍
固态驱动器(solid-statedrive，SSD)正快速地取代传统的存储装置(例如，硬盘驱动器(harddiskdrive，HDD)迅速变成现代数据中心基础设施的主要存储元件。SSD提供低延迟、高数据读取/写入吞吐量及对用户数据的可靠的持久存储。基于网络结构的非易失性存储快速(non-volatilememoryexpress，NVMe)(NVMeoverfabric，NVMe-oF)是新兴的技术，其使得成百上千的SSD能够通过网络结构网络(fabricnetwork)(例如，以太网、光纤信道及无限宽频(Infiniband))进行连接。NVMe-oF协议能够实现远程直接附接存储(remotedirect-attachedstorage，rDAS)，所述远程直接附接存储使得大量的NVMeSSD能够通过所建立的网络结构网络连接到远程主机。NVMe-oF协议还支持远程直接存储器存取(remotedirectmemoryaccess，RDMA)以提供可靠的传送服务来通过网络载送NVMe命令、数据及响应。iWARP、RoCEv1及RoCEv2是提供RDMA服务的传送协议的一些实例。使用分解数据存储装置(disaggregateddatastoragedevice)(例如，NVMe-oF-可兼容SSD，在本文中也称为NVMe-oFSSD或缩写为eSSD)的数据存储系统可为在主机计算机上运行的应用提供大的存储容量。所述应用可从分解数据存储装置收集大量数据(大数据)并对它们进行分析。由于大数据处理的规模非常大，因此用于执行有意义的大数据挖掘的基础设施可能成本过高，需要大量计算资源、大的系统存储器、高带宽网络以及用于存储所述大数据的大的及高性能的数据存储装置。期望将一些数据处理挖掘任务从主机计算机卸载到数据存储装置并使从数据存储装置到主机计算机的数据移动最小化。
技术实现思路
根据一个实施例，一种桥接装置包括：第一接口，被配置成从在主机计算机上运行的应用接收第一组命令；一个或多个命令处理器，所述一个或多个命令处理器中的每一者被配置成对所述第一组命令进行转换并基于所述第一组命令产生第二组命令；第二接口，被配置成将所述第二组命令提供到数据存储装置；以及计算处理器，被配置成在运行所述应用的同时发出内部命令来以对于所述主机计算机而言不可知的方式在后台模式中从所述数据存储装置提取数据以及向所述数据存储装置写入数据。根据另一个实施例，一种提供接近存储计算的方法包括：通过第一接口从在主机计算机上运行的应用接收第一组命令；对所述第一组命令进行转换并基于所述第一组命令产生第二组命令；通过第二接口将所述第二组命令提供到数据存储装置；以及在运行所述应用的同时，发出内部命令来以对于所述主机计算机而言不可知的方式在后台模式中从所述数据存储装置提取数据及向所述数据存储装置写入数据。现将参照附图更具体地阐述包括实施方式的新颖细节及事件组合在内的以上及其他优选特征，且以上及其他优选特征在权利要求书中指出。应理解，本文所述具体系统及方法仅作为例示示出且不作为限制。如所属领域中的技术人员应理解，本文所述原理及特征可用于各种各样的实施例中，而此并不背离本公开的范围。附图说明作为本说明书的一部分而包括在内的各个附图示出当前优选的实施例，且与以上所给出的大体说明及以下所给出的对优选实施例的详细说明一起用于解释及教示本文所述原理。图1示出根据一个实施例的示例性数据存储系统的方块图。图2示出根据一个实施例的示例性NVMe-oF桥接装置的方块图。图3示出根据一个实施例的示例性专用命令单元(specialcommandunit，SCU)模块的方块图。图4示出根据一个实施例的转换命令识别符的示例性过程。图5是示出根据一个实施例的对管理提交队列及管理完成队列的共享的方块图。图6示出根据一个实施例的远程主机与接近存储计算(nearstoragecompute，NSC)处理器之间对输入/输出提交队列(input/outputsubmissionqueue，I/OSQ)的共享。图7是示出根据一个实施例的桥接装置内的本地数据移动的图。各个图未必是按比例绘制的，且出于说明目的，在所有图中具有相似结构或功能的元件一般是由相同的参考编号表示的。各个图仅旨在方便说明本文所述各种实施例。各个图并不阐述本文所公开教示内容的每一方面且并不限制权利要求书的范围。具体实施方式本文所公开的特征及教示内容中的每一者可单独使用或结合其他特征及教示内容来使用以提供用于提供接近存储计算的桥接装置。参照附图更详细地阐述代表性实例，这些代表性实例单独地使用及组合地使用这些附加特征及教示内容中的许多特征及教示内容。此详细说明仅旨在向所属领域中的技术人员教示用于实践本教示内容的各个方面的进一步细节，而并非旨在限制权利要求书的范围。因此，在本详细说明中以上所公开特征的组合可能未必是在最广泛意义上实践本教示内容所必需的，而是相反，仅是为了具体阐述本教示内容的代表性的实例而教示。在以下说明中，仅出于解释目的来阐述特定术语以提供对本公开的透彻理解。然而，对于所属领域中的技术人员而言将显而易见，这些特定细节并非是实践本公开的教示内容所必需的。本文的详细说明的一些部分是以算法及对计算机存储器内的数据位进行的操作的符号表示法来呈现。这些算法描述及表示法被数据处理领域中的技术人员用于向所属领域中的其他技术人员有效地传达其工作的实质。算法在此处且一般而言均被视为能得到所期望结果的步骤的自洽序列(self-consistentsequence)。所述步骤需要对物理量进行实体操纵。通常(尽管未必一定如此)，这些量会呈能够被存储、传输、组合、比较及以其他方式被操纵的电信号或磁信号的形式。已证明，主要出于通用的原因，将这些信号称为位、值、元件、符号、字符、项、数字等有时是便利的。然而，应记住，这些用语中的所有用语及所有相似用语均与适宜的物理量相关联且仅作为应用于这些量的便利标记。除非通过阅读以下论述显而易见地另有具体说明，否则应理解，在本说明通篇中，使用例如“处理(processing)”、“计算(computing)”、“运算(calculating)”、“判断(determining)”、“显示(displaying)”等用语进行的论述是指计算机系统或相似电子计算装置的动作及进程，所述计算机系统或相似电子计算装置操纵在计算机系统的寄存器及存储器内被表示为物理(电子)量的数据并将所述数据转换成在计算机系统存储器或寄存器或者其他这种信息存储装置、信息传输装置或信息显示装置内被相似地表示为物理量的其他数据。另外，代表性实例及附属权利要求的各个特征可以并未具体地及明确地枚举的方式加以组合以提供本教示内容的附加的有用实施例。还应明确注意，出于原始公开内容的目的以及出于限制所主张主题的目本文档来自技高网...

【技术保护点】
1.一种桥接装置，其特征在于，包括：第一接口，被配置成从在主机计算机上运行的应用接收第一组命令；一个或多个命令处理器，所述一个或多个命令处理器中的每一者被配置成对所述第一组命令进行转换并基于所述第一组命令产生第二组命令；第二接口，被配置成将所述第二组命令提供到数据存储装置；以及计算处理器，被配置成在运行所述应用的同时发出内部命令来以对于所述主机计算机而言不可知的方式在后台模式中从所述数据存储装置提取数据以及向所述数据存储装置写入数据。

【技术特征摘要】
2017.10.11 US 62/571,061;2017.10.11 US 62/571,064;1.一种桥接装置，其特征在于，包括：第一接口，被配置成从在主机计算机上运行的应用接收第一组命令；一个或多个命令处理器，所述一个或多个命令处理器中的每一者被配置成对所述第一组命令进行转换并基于所述第一组命令产生第二组命令；第二接口，被配置成将所述第二组命令提供到数据存储装置；以及计算处理器，被配置成在运行所述应用的同时发出内部命令来以对于所述主机计算机而言不可知的方式在后台模式中从所述数据存储装置提取数据以及向所述数据存储装置写入数据。2.根据权利要求1所述的桥接装置，其特征在于，所述数据存储装置是与非易失性存储快速标准兼容的固态驱动器。3.根据权利要求1所述的桥接装置，其特征在于，所述数据存储装置是与基于网络结构的非易失性存储快速标准兼容的固态驱动器。4.根据权利要求3所述的桥接装置，其特征在于，所述第一接口是位于网络结构网络上的基于网络结构的非易失性存储快速接口，且至所述数据存储装置的所述第二接口是外围组件互连快速接口，且其中所述第一组命令包括基于网络结构的非易失性存储快速命令，且所述第二组命令包括非易失性存储快速命令。5.根据权利要求4所述的桥接装置，其特征在于，所述网络结构网络选自以太网、光纤信道及无限宽频。6.根据权利要求1所述的桥接装置，其特征在于，还包括命令剖析器及命令分类器，其中所述命令剖析器被配置成剖析所述第一组命令并产生经剖析命令，且所述命令分类器被配置成对所述经剖析命令进行分类并将经分类命令提供到所述一个或多个命令处理器。7.根据权利要求1所述的桥接装置，其特征在于，所述一个或多个命令处理器包括专用命令单元，所述专用命令单元被配置成处理由所述计算处理器发出的所述第二组命令的命令子集。8.根据权利要求1所述的桥接装置，其特征在于，所述应用是机器学习应用。9.根据权利要求1所述的桥接装置，其特征在于，所述第二组命令中的每一者包括命令识别符，所述命令识别符包括命令处理单元识别符及本地标签，所述命令处理单元识别符与所述一个或多个命令处理器对应，所述本地标签通过查找表被映射到所述第一组命令。10.根据权利要求1所述的桥接装置，其特征在于，还包括用于对去往所述数据存储装...

【专利技术属性】
技术研发人员：佛瑞德·沃里，瑞姆达斯·卡佳瑞，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR