网络存储方法、存储系统、数据处理单元及计算机系统技术方案

本申请公开了一种网络存储方法、存储系统、数据处理单元及计算机系统。该网络存储方法用于存储系统，存储系统包括主机、数据处理单元和存储设备，数据处理单元通过PCIe接口连接到主机，存储设备包括多个控制器和多个逻辑单元；该方法包括：主机将输入/输出请求发送给数据处理单元，该输入/输出请求用于访问多个逻辑单元中的其中一个逻辑单元；数据处理单元从多个控制器中确定用于处理该输入/输出请求的控制器，以实现多个控制器之间的负载均衡，向确定的控制器发送该输入/输出请求。主机无需安装多路径软件，由数据处理单元负责将主机下发的I/O请求均衡分发到不同控制器，能够减轻主机中CPU的压力。轻主机中CPU的压力。轻主机中CPU的压力。

【技术实现步骤摘要】
网络存储方法、存储系统、数据处理单元及计算机系统


[0001]本申请涉及存储
，尤其涉及一种网络存储方法、存储系统、数据处理单元及计算机系统。

技术介绍

[0002]如图1所示，在传统的网络存储方案中，需要在主机中安装多路径软件，主机通过多路径软件和主机总线适配器(host bus adapter，HBA)卡，将输入/输出(input/output，I/O)请求分发给存储阵列中的不同控制器。
[0003]如果主机采用开源的多路径软件或者第三方的多路径软件，这些多路径软件与存储阵列中的控制器的配合效果往往不够好，可能会导致控制器间的负载不均衡或者控制器间的大量I/O转发。如果让主机采用存储阵列提供商所定制的多路径软件，由定制多路径软件与存储阵列中的控制器进行配合以均衡分发，就需要为不同的主机操作系统开发相应的定制多路径软件，然而，目前操作系统的类型以及版本众多，会带来软件开发上的巨大困难。

技术实现思路

[0004]为了解决主机依赖多路径软件实现I/O分发所存在的上述问题，本申请实施例提供一种网络存储方法、存储系统、数据处理单元及计算机系统，主机无需安装多路径软件，能够实现I/O请求在控制器间的均衡分发，避免I/O请求在控制器间的大量转发。
[0005]第一方面，本申请提供了一种网络存储方法，用于存储系统，存储系统包括主机、数据处理单元和存储设备，数据处理单元通过PCIe接口连接到主机，存储设备包括多个控制器和多个逻辑单元；该网络存储方法包括：主机将输入/输出请求发送给数据处理单元，该输入/输出请求用于访问多个逻辑单元中的其中一个逻辑单元；数据处理单元从多个控制器中确定用于处理输入/输出请求的控制器，以实现多个控制器之间的负载均衡，向确定的这个控制器发送该输入/输出请求。
[0006]可以看出，数据处理单元在这里可以作为主机的外部设备(PCIe设备)，通过主机上的PCIe接口连接到主机上。于是，主机可以直接把I/O请求发送给数据处理单元，完全不需要关注I/O请求在存储设备中的多个控制器之间的分发(分配及发送)工作，减轻了主机中的处理器(比如中央处理器(central processing unit，CPU))的负担，节省了CPU资源。数据处理单元收到主机发送的I/O请求后，从多个控制器中确定一个用于处理该I/O请求的控制器，以使得多个控制器之间能够负载均衡，可以尽量避免I/O请求在控制器间的转发，然后数据处理单元把该I/O请求发送给确定的这个控制器。
[0007]基于第一方面，在可能的实施例中，数据处理单元与主机之间通过NVMe协议进行通信，数据处理单元与存储设备中的控制器之间通过NVMe
‑
oF协议进行通信。
[0008]可以看出，数据处理单元与主机、存储设备(中的控制器)之间，分别采用的是不同的通信协议，所以，数据处理单元在主机和存储设备之间还要负责完成协议转换的工作。主
机无需关注和存储设备之间的交互，原本由主机中的处理器来完成的网络协议处理、I/O分发等任务，现在都卸载到了数据处理单元来执行，能够减轻主机中处理器的压力。
[0009]由于主机与数据处理单元之间采用NVMe协议进行通信，所以主机可以把数据处理单元当成本地的NVMe存储设备，与真正的存储设备的交互工作全都由数据处理单元来负责。数据处理单元通过NVMe
‑
oF这样的高性能存储协议与(远端或者云上)的存储设备进行通信，有助于提升主机的网络存储效率，不会对主机操作系统的性能造成影响，还便于拓展主机的外部存储容量。
[0010]基于第一方面，在可能的实施例中，数据处理单元从多个控制器中确定用于处理输入/输出请求的控制器，包括：数据处理单元根据哈希算法，从多个控制器中确定用于该处理输入/输出请求的控制器，以实现多个控制器之间的负载均衡。
[0011]也就是说，数据处理单元可以使用哈希算法做控制器间的负载均衡。比如，可以采用一致性哈希算法与控制器进行配合，以逻辑单元中划分的分片作为负载均衡的粒度，根据I/O请求所要访问的分片，将主机下发的每个I/O请求分发给存储设备中的各个控制器，避免I/O请求在控制器间的I/O转发。
[0012]基于第一方面，在可能的实施例中，所述方法还包括：数据处理单元向存储设备发送上报命令，上报命令指示存储设备将主机对应的逻辑单元的信息发送给数据处理单元；数据处理单元接收存储设备中的控制器发送的主机对应的逻辑单元的信息，根据主机对应的逻辑单元的信息，为主机对应的逻辑单元生成对应的设备，将生成的设备的信息发送给主机。
[0013]需要说明的是，主机对应的逻辑单元，指的是存储设备为主机分配的那部分逻辑单元。比如，存储设备可以根据主机的存储资源需求量或者其他因素，将存储设备中的一个或者多个逻辑单元分配给主机。
[0014]可以看出，数据处理单元可以为主机执行扫描逻辑单元的操作，以便发现存储设备为该主机分配的逻辑单元，然后上报给主机。由于存储设备中的控制器与逻辑单元之间没有归属关系，所以存储设备可以分别通过各个控制器，将主机对应的逻辑单元的信息发送给数据处理单元。数据处理单元接收到每个控制器所发送的信息后，需要进行聚合，然后为主机对应的每个逻辑单元分别生成一个对应的设备，最后将生成的设备的信息通过NVMe协议发送给主机。
[0015]基于第一方面，在可能的实施例中，所述方法还包括：主机根据数据处理单元发送的设备的信息，生成该设备对应的虚拟存储设备，虚拟存储设备用于提供给主机中的应用进行访问。
[0016]应理解，主机收到数据单元发送的设备的信息后，可以把该设备抽象为对应的虚拟存储设备，不会直接把该设备暴露给主机中的应用。
[0017]第二方面，本申请提供了一种存储系统，该存储系统包括主机、数据处理单元和存储设备，数据处理单元通过PCIe接口连接到主机，存储设备包括多个控制器和多个逻辑单元；主机用于，将输入/输出请求发送给数据处理单元，该输入/输出请求用于访问多个逻辑单元中的一个逻辑单元；数据处理单元用于，从多个控制器中确定用于处理该输入/输出请求的控制器，以实现多个控制器之间的负载均衡，向确定的该控制器发送该输入/输出请求。
[0018]基于第二方面，在可能的实施例中，数据处理单元还用于：通过NVMe协议与主机进行通信；通过NVMe
‑
oF协议与存储设备中的控制器进行通信。
[0019]基于第二方面，在可能的实施例中，从多个控制器中确定用于处理输入/输出请求的控制器，包括：根据哈希算法，从多个控制器中确定用于处理输入/输出请求的控制器，以实现多个控制器之间的负载均衡。
[0020]基于第二方面，在可能的实施例中，数据处理单元还用于：向存储设备发送上报命令，上报命令指示存储设备将主机对应的逻辑单元的信息发送给数据处理单元；接收存储设备中的控制器发送的主机对应的逻辑单元的信息；根据主机对应的逻辑单元的信息，为主机对应的逻辑单元生成对应的设备，将生成的设备的信息发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络存储方法，其特征在于，用于存储系统，所述存储系统包括主机、数据处理单元和存储设备，所述数据处理单元通过快捷外围部件互连标准PCIe接口连接到所述主机，所述存储设备包括多个控制器和多个逻辑单元；所述方法包括：所述主机将输入/输出请求发送给所述数据处理单元，所述输入/输出请求用于访问所述多个逻辑单元中的一个逻辑单元；所述数据处理单元从所述多个控制器中确定用于处理所述输入/输出请求的控制器，以实现所述多个控制器之间的负载均衡，向确定的所述控制器发送所述输入/输出请求。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述数据处理单元与所述主机之间通过NVMe协议进行通信，所述数据处理单元与所述存储设备中的控制器之间通过NVMe
‑
oF协议进行通信。3.根据权利要求1或2所述的方法，其特征在于，所述数据处理单元从所述多个控制器中确定用于处理所述输入/输出请求的控制器，包括：所述数据处理单元根据哈希算法，从所述多个控制器中确定用于处理所述输入/输出请求的控制器，以实现所述多个控制器之间的负载均衡。4.一种存储系统，其特征在于，所述存储系统包括主机、数据处理单元和存储设备，所述数据处理单元通过PCIe接口连接到所述主机，所述存储设备包括多个控制器和多个逻辑单元；所述主机用于，将输入/输出请求发送给所述数据处理单元，所述输入/输出请求用于访问所述多个逻辑单元中的一个逻辑单元；所述数据处理单元用于，从所述多个控制器中确定用于处理所述输入/输出请求的控制器，以实现所述多个控制器之间的负载均衡，向确定的所述控制器发送所述输入/输出请求。5.根据权利要求4所述的系统，其特征在于，所述数据处理单元还用于：通过NVMe协议与所述主机进行通信；通过NVMe
‑
oF协议与所述存储设备中的控制器进行通信。6.根据权利要求4或5所述的系统，其特征在于，所述从所述多个控制器中确定用于处理所述输入/输出请求的控制器，包括：根据哈希算法，从所述多个控制器中确定用于处理所述输入/输出请求的控制器，以实现所述多个控制器之间的负载均衡。7.根据权利要求...

【专利技术属性】
技术研发人员：覃国，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：