一种共享存储系统技术方案

本发明专利技术提供了一种共享存储系统，包括通过网络为主机提供数据存储和访问操作的多个存储节点，其中，所述每个存储节点包括：网络接口，用于将存储节点接入网络；缓存模块，用于缓存主机针对所述存储节点写入或读取的数据；存储模块，用于存储数据；控制模块，与所述网络接口、缓存模块和存储模块连接，用于接收、缓存并解析来自主机的数据访问命令，以及根据访问命令类型对存储模块进行读写访问并将访问的结果返回给相应的主机。通过本发明专利技术，实现了网络和存储融合共享，每个存储节点的高速网络接口可以并发的为客户端主机提供数据存储和访问操作。网络和存储装置的数据交互通过专用的控制模块实现，从而更好地降低数据在传输路径上的延迟。

A shared storage system

【技术实现步骤摘要】
一种共享存储系统
本专利技术涉及网络和存储
，具体来说，涉及一种共享存储系统,将网络和存储融合构成资源池,以有效降低客户端主机的数据访问延迟和提高资源池存储带宽及容量。
技术介绍
随着互联网技术的快速发展，数据中心对存储系统的容量、延迟和带宽要求越来越高，尤其是最近几年兴起的大数据、机器学习、图计算等应用，这些应用都需要大量的数据支撑来进行相关算法模型的训练，进而才可将算法调到最优，而这些数据大多都需要通过高速网络从远程存储系统的数据中心获取。因而，网络传输的带宽以及远程存储系统的存储容量和读写性能(带宽和延迟)成为提升整体应用性能的瓶颈。传统的数据中心大多将磁盘以磁盘阵列的方式部署到服务器中构成存储服务器，存储服务器之间通过网络互联，进而实现数据的存储和共享。由于存储服务器体积的限制，这种存储方式在容量上不易扩展；另外，数据的访问需要经过处理器的参与，降低存储带宽的同时增加了访问延迟。对于大数据量和高速实时处理的新型应用，这种存储方式已逐渐满足不了客户端对存储容量、时延及带宽的应用需求。在存储中，随着半导体技术的不断创新，新型存储介质的大容量、低延迟和高带宽给数据存储系统带来了许多新的机遇。在过去的几年里，闪存作为新型存储的代表性技术取得了快速发展。随着闪存价格的降低，以闪存为存储介质的存储设备正被逐渐部署到数据中心。针对这种非易失性存储器(NVM)的优越性能出现了相应的高带宽低延迟标准协议，如NVMe协议。目前，该协议主要借助PCIe总线实现与本地主机的互联，因而，基于NVMe协议的存储设备在容量和带宽扩展上有限。在网络中，传统的TCP/IP协议无法满足数据中心对高带宽低延迟的需求，而新型协议RDMA(远程直接数据存储)是一种直接进行远程内存存取的技术，通过减少中央处理器对数据传输过程的参与实现数据传输的高带宽和低延迟，因而，正被部署到数据中心的网络架构中。由于RDMA协议和存储设备都各司其职，存储服务器的参与并不能最大化的利用网络和新型存储介质带来的高带宽和低延迟性能。相反，这种方式将会增加网络到存储设备的访问延迟并降低带宽的利用率。传统的网络存储设备中，网络和存储是分开的，二者的数据交互通过CPU来完成。网络通过专用的支持标准协议的网卡实现，如以太网卡。存储则采用标准物理形态的介质实现，如磁盘或者固态硬盘。在网络存储设备中，CPU除了要管理网卡到存储介质的数据交互，还需要对数据进行备份以及存储维护管理等，因而，需要占用较多的资源。此外，CPU串行的控制方式进一步加大了客户端对数据的访问延迟，同时，也降低了网络带宽的利用率。
技术实现思路
为了解决上述缺点，本专利技术提供一种将网络和存储设备融合构成的共享存储系统。本专利技术提供一种共享存储系统，包括通过网络为主机提供数据存储和访问操作的多个存储节点，其中，所述每个存储节点包括：网络接口，用于将存储节点接入网络；缓存模块，用于缓存主机针对所述存储节点写入或读取的数据；存储模块，用于存储数据；控制模块，与所述网络接口、缓存模块和存储模块连接，用于接收、缓存并解析来自主机的数据访问命令，以及根据访问命令类型对存储模块进行读写访问并将访问的结果返回给相应的主机。其中，在本专利技术的一些实施例中，所述多个存储节点或者所述多个存储节点的一部分通过网络组成远端存储共享资源池为一个或多个主机提供数据存储和访问操作。所述多个存储节点中的部分存储节点设置于主机内部，所述设置于主机内部的存储节点组成近端存储共享资源池为一个或多个主机提供数据存储和访问操作。优选的，所述高速网络接口配置为耦合光纤或电缆；所述缓存模块配置为双倍速率缓存或高带宽存储器；所述存储模块配置为非易失性存储介质；所述控制模块配置为FPGA或ASIC。所述控制模块包括：网络协议模块，用于初始化网络协议；命令及数据缓存模块，用于缓存接收到的来自于主机的数据访问命令以及将通过存储控制器从存储模块读取的数据传输给缓存模块或将要写入存储模块的写数据包传输给存储控制器；命令解析模块，用于对主机的数据访问命令进行解析；存储控制器，用于根据命令解析模块解析读操作的地址从存储模块中读取相应的访问数据或根据命令解析模块解析的写操作的地址将写数据包存入存储模块中的对应地址，并回传数据写入状态信息；装置控制器，用于对网络协议模块、命令及数据缓存模块、命令解析模块、数据通路、存储控制器进行初始化配置。优选的，所述命令及数据缓存模块包括队列存储空间，所示命令及数据缓存模块将接收到的来自于主机的多个数据访问命令缓存到队列存储空间以形成访问队列。所述命令解析模块被配置为按照访问队列的读或写操作顺序依次进行命令解析。优选的，所述共享存储系统通过支持远程直接数据存取协议的网络，为多个主机并行的提供数据访问通路。与现有技术相比，本专利技术的优点在于：本专利技术充分释放网络和存储设备的并行化、增强存储设备容量的扩展性以及降低存储设备的应用部署难度；本专利技术具有高扩展性，通过多个存储节点实现容量的扩展和带宽的提升，通过将网络和存储融合到一起，进而可以更好的为客户端提供一种共享的网络存储资源池，使所有的存储节点并发的为主机提供数据存储和访问操作。附图说明以下参照附图对本专利技术实施例作进一步说明，其中：图1为根据本专利技术实施例的基于远端存储节点的共享存储系统的架构示意图；图2为根据本专利技术实施例的基于近端存储节点的共享存储系统的架构示意图；图3为根据本专利技术实施例的存储节点组成结构示意图；图4为根据本专利技术实施例的存储节点的控制模块组成结构示意图；图5为根据本专利技术实施例的一种基于FPGA或ASIC的远端存储节点的共享存储系统示意图；图6为根据本专利技术实施例的一种共享存储系统中存储节点的初始化和数据访问操作的流程示意图。具体实施方式为了使本专利技术的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。根据本专利技术的一个实施例，如图1所示，提供一种共享存储系统，其包括网络、主机以及多个独立于主机的远端存储节点；通过高带宽低延迟网络将所有独立于客户端主机的远端共存储节点进行连接，这些独立的存储节点和网络构成一个共享的存储资源池，可并发的为多个主机提供数据存储和访问操作。其中，网络连接客户端主机和共享存储系统，接收来自客户端主机的数据访问指令，根据指令的地址路由到相应的共享存储装置，以及将存储装置中读出的数据及数据写入状态通过网络转发到相应的客户端主机。根据本专利技术的一个实施例，该网络可以是Ethernet和Infiniband，也可以是其他通信网络；每一个客户端主机只需要连接网络就可以对整个存储资源池进行数据访问。远端存储节点的节点数量不做限定，可以根据应用需求来定。当存储节点数目较多时，本专利技术提供的共享存储系统可以包含多个相关网络协议的交换机，通过交换机实现多个存储节点互联。根据本专利技术的一个实施例，如图2所示提供一种共享存储本文档来自技高网...

【技术保护点】
1.一种共享存储系统，其特征在于，包括通过网络为主机提供数据存储和访问操作的多个存储节点，其中，所述每个存储节点包括：/n网络接口，用于将存储节点接入网络；/n缓存模块，用于缓存主机针对所述存储节点写入或读取的数据；/n存储模块，用于存储数据；/n控制模块，与所述网络接口、缓存模块和存储模块连接，用于接收、缓存并解析来自主机的数据访问命令，以及根据访问命令类型对存储模块进行读写访问并将访问的结果返回给相应的主机。/n

【技术特征摘要】
1.一种共享存储系统，其特征在于，包括通过网络为主机提供数据存储和访问操作的多个存储节点，其中，所述每个存储节点包括：
网络接口，用于将存储节点接入网络；
缓存模块，用于缓存主机针对所述存储节点写入或读取的数据；
存储模块，用于存储数据；
控制模块，与所述网络接口、缓存模块和存储模块连接，用于接收、缓存并解析来自主机的数据访问命令，以及根据访问命令类型对存储模块进行读写访问并将访问的结果返回给相应的主机。


2.根据权利要求1所述的一种共享存储系统，其特征在于，所述多个存储节点或者所述多个存储节点的一部分通过网络组成远端存储共享资源池为一个或多个主机提供数据存储和访问操作。


3.根据权利要求2所述的一种共享存储系统，其特征在于，所述多个存储节点中的部分存储节点设置于主机内部，所述设置于主机内部的存储节点组成近端存储共享资源池为一个或多个主机提供数据存储和访问操作。


4.根据权利要求1至3任一所述的一种共享存储系统，其特征在于，
所述高速网络接口配置为耦合光纤或电缆；
所述缓存模块配置为双倍速率缓存或高带宽存储器；
所述存储模块配置为非易失性存储介质
所述控制模块配置为FPGA或ASIC。


5.根据权利要求1至3任一所述的一种共享存储系统，其特征在于，所述控制模块包括：
网络协议模块，用于初始...

【专利技术属性】
技术研发人员：李泽君，许晶，杨帆，王展，元国军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11