基于DPU的分布式存储系统、控制方法、装置及设备制造方法及图纸

本申请提供一种基于DPU的分布式存储系统、控制方法、装置及设备，该系统包括：多个设备节点，所述设备节点包括若干个磁盘设备及DPU；针对任一所述设备节点，该设备节点基于所述DPU，将除该设备节点以外的所有设备节点的磁盘设备映射至该设备节点本地。上述方案提供的系统，通过使用DPU完成远端磁盘的本地映射，使分布式存储系统的应用不再受限于网络资源，从而保证了分布式存储系统的性能和稳定性。从而保证了分布式存储系统的性能和稳定性。从而保证了分布式存储系统的性能和稳定性。

【技术实现步骤摘要】
基于DPU的分布式存储系统、控制方法、装置及设备


[0001]本申请涉及存储
，尤其涉及一种基于DPU的分布式存储系统、控制方法、装置及设备。

技术介绍

[0002]分布式存储系统是将数据分散存储在多台独立的设备上，利用这多台独立的设备分担存储负荷，这样不仅能够提高存储系统的容量，还易于系统扩展。
[0003]在现有技术中，分布式存储系统对应的多台独立的设备一般依赖设备自带的网卡实现互联，而网卡的网络资源有限，导致分布式存储系统的应用受限于网络资源，从而无法保证分布式存储系统的性能和稳定性。

技术实现思路

[0004]本申请提供一种基于DPU的分布式存储系统、控制方法、装置及设备，以解决现有技术无法保证分布式存储系统的性能和稳定性等缺陷。
[0005]本申请第一个方面提供一种基于DPU的分布式存储系统，包括：多个设备节点，所述设备节点包括若干个磁盘设备及DPU；针对任一所述设备节点，该设备节点基于所述DPU，将除该设备节点以外的所有设备节点的磁盘设备映射至该设备节点本地。
[0006]可选的，所述DPU，具体用于：将所述设备节点的本地磁盘设备配置为目标端；其中，所述DPU自身配置为发起端，所述目标端与发起端之间设有通信连接。
[0007]可选的，所述DPU，具体用于：根据所述本地磁盘设备的设备类型，确定目标配置策略；按照所述目标配置策略，将所述本地磁盘设备配置为目标端。
[0008]可选的，所述本地磁盘设备的设备类型至少分为非NVMe设备及NVMe设备。<br/>[0009]可选的，所述DPU，具体用于：当所述本地磁盘设备的设备类型为非NVMe设备时，将采用SPDK iSCSI target技术作为目标配置策略。
[0010]可选的，所述DPU，具体用于：当所述本地磁盘设备的设备类型为NVMe设备时，将采用NVMe
‑
oF协议作为目标配置策略。
[0011]可选的，所述DPU，具体用于：采用NVMe
‑
oF协议，将所述本地磁盘设备配置为块设备；其中，所述目标端包括所述块设备。
[0012]可选的，所述系统还包括分布式数据库，所述设备节点还包括：管理设备；所述管理设备用于获取本地磁盘设备的属性信息；将所述本地磁盘设备的属性信
息，记录至所述分布式数据库。
[0013]可选的，所述本地磁盘设备的属性信息至少包括设备类型，所述管理设备，用于：根据所述本地磁盘设备的设备类型，对本地磁盘设备进行分组，得到对应的磁盘设备分组信息；将所述磁盘设备分组信息，记录至所述分布式数据库。
[0014]可选的，所述管理设备，还用于：获取所属设备节点的磁盘分配元数据信息及资源元数据信息；将所述磁盘分配元数据信息及资源元数据信息，记录至所述分布式数据库。
[0015]可选的，所述设备节点分为主设备节点和备设备节点。
[0016]可选的，所述主设备节点包括主管理设备，所述主管理设备，用于：获取所述主设备节点的磁盘设备映射信息；根据所述磁盘设备映射信息，将本地磁盘设备和映射磁盘设备划分为若干个副本组；其中，所述副本组至少包括两个磁盘设备，副本组内的磁盘设备属于不同的两个故障域。
[0017]可选的，所述主管理设备，还用于：在向任一所述副本组写入数据时，基于RAID1技术，将数据写入该副本组内的两个磁盘设备。
[0018]可选的，所述主管理设备，还用于：在向多个所述副本组写入数据时，基于RAIDO技术，将数据分段并行写入多个所述副本组的各磁盘设备。
[0019]可选的，所述主设备节点包括主管理设备，所述主管理设备，用于：获取所述主设备节点的磁盘设备映射信息；根据所述磁盘设备映射信息，将本地磁盘设备和映射磁盘设备划分为若干个纠删组；其中，所述纠删组至少包括三个磁盘设备，所述纠删组内的磁盘设备分为数据位磁盘设备和校验位磁盘设备，所述纠删组内的磁盘设备属于不同的三个故障域。
[0020]可选的，所述主管理设备，还用于：在向任一所述纠删组写入数据时，基于RAID5技术，将数据分段写入该纠删组的各个数据位磁盘设备，将分段数据对应的校验码写入校验位磁盘设备。
[0021]可选的，所述主管理设备，还用于：当该纠删组内任一数据位磁盘设备发生破损时，基于所述纠删组中正常的数据位磁盘设备当前存储的分段数据及校验位磁盘设备当前存储的校验码，恢复破损的数据位磁盘设备中的分段数据。
[0022]可选的，所述备设备节点包括：预留热备盘，所述主管理设备，还用于：当所述主设备节点中任一磁盘设备发生故障时，将发生故障的磁盘设备替换为所述预留热备盘。
[0023]可选的，所述系统还包括分布式数据库，所述主管理设备，还用于：将所述主设备节点的磁盘设备组合策略，记录至所述分布式数据库。
[0024]本申请第二个方面提供一种基于DPU的分布式存储系统控制方法，应用于如上第一个方面以及第一个方面各种可能的设计所述的基于DPU的分布式存储系统，所述方法包括：针对任一所述设备节点，控制该设备节点基于所述DPU，将除该设备节点以外的所有设备节点的磁盘设备映射至该设备节点本地。
[0025]可选的，所述基于DPU的分布式存储系统包括分布式数据库，所述分布式数据库记录有各所述设备节点的磁盘设备分组信息、磁盘分配元数据信息、资源元数据信息以及主设备节点的磁盘设备组合策略，所述方法还包括：当所述基于DPU的分布式存储系统发生重启时，所述分布式数据库记录的各所述设备节点的磁盘设备分组信息、磁盘分配元数据信息、资源元数据信息以及主设备节点的磁盘设备组合策略，复原所述基于DPU的分布式存储系统。
[0026]可选的，所述控制该设备节点基于所述DPU，将除该设备节点以外的所有设备节点的磁盘设备映射至该设备节点本地，包括：控制所述DPU，将所述设备节点的本地磁盘设备配置为目标端；其中，所述DPU自身配置为发起端，所述目标端与发起端之间设有通信连接。
[0027]可选的，所述控制所述DPU，将所述设备节点的本地磁盘设备配置为目标端，包括：控制所述DPU根据所述本地磁盘设备的设备类型，确定目标配置策略；按照所述目标配置策略，将所述本地磁盘设备配置为目标端。
[0028]可选的，所述本地磁盘设备的设备类型至少分为非NVMe设备及NVMe设备。
[0029]可选的，所述控制所述DPU根据所述本地磁盘设备的设备类型，确定目标配置策略，包括：当所述本地磁盘设备的设备类型为非NVMe设备时，控制所述DPU将采用SPDK iSCSI target技术作为目标配置策略。
[0030]可选的，所述控制所述DPU根据所述本地磁盘设备的设备类型，确定目标配置策略，包括：当所述本地磁盘设备的设备类型为NVMe设备时，控制所述DPU将采用NVMe
‑
oF协议作为目标配置策略。
[0031]可选的，所述当所述本地磁盘设备的设备类型为NVMe设备时，控制所述DPU将采用NVMe
...

【技术保护点】

【技术特征摘要】
1.一种基于DPU的分布式存储系统，其特征在于，包括：多个设备节点，所述设备节点包括若干个磁盘设备及DPU；针对任一所述设备节点，该设备节点基于所述DPU，将除该设备节点以外的所有设备节点的磁盘设备映射至该设备节点本地。2.根据权利要求1所述的系统，其特征在于，所述DPU，具体用于：将所述设备节点的本地磁盘设备配置为目标端；其中，所述DPU自身配置为发起端，所述目标端与发起端之间设有通信连接。3.根据权利要求2所述的系统，其特征在于，所述DPU，具体用于：根据所述本地磁盘设备的设备类型，确定目标配置策略；按照所述目标配置策略，将所述本地磁盘设备配置为目标端。4.根据权利要求3所述的系统，其特征在于，所述本地磁盘设备的设备类型至少分为非NVMe设备及NVMe设备。5.根据权利要求4所述的系统，其特征在于，所述DPU，具体用于：当所述本地磁盘设备的设备类型为非NVMe设备时，将采用SPDK iSCSI target技术作为目标配置策略。6.根据权利要求4所述的系统，其特征在于，所述DPU，具体用于：当所述本地磁盘设备的设备类型为NVMe设备时，将采用NVMe
‑
oF协议作为目标配置策略。7.根据权利要求6所述的系统，其特征在于，所述DPU，具体用于：采用NVMe
‑
oF协议，将所述本地磁盘设备配置为块设备；其中，所述目标端包括所述块设备。8.根据权利要求1所述的系统，其特征在于，所述系统还包括分布式数据库，所述设备节点还包括：管理设备；所述管理设备用于获取本地磁盘设备的属性信息；将所述本地磁盘设备的属性信息，记录至所述分布式数据库。9.根据权利要求8所述的系统，其特征在于，所述本地磁盘设备的属性信息至少包括设备类型，所述管理设备，用于：根据所述本地磁盘设备的设备类型，对本地磁盘设备进行分组，得到对应的磁盘设备分组信息；将所述磁盘设备分组信息，记录至所述分布式数据库。10.根据权利要求8所述的系统，其特征在于，所述管理设备，还用于：获取所属设备节点的磁盘分配元数据信息及资源元数据信息；将所述磁盘分配元数据信息及资源元数据信息，记录至所述分布式数据库。11.根据权利要求1所述的系统，其特征在于，所述设备节点分为主设备节点和备设备节点。12.根据权利要求11所述的系统，其特征在于，所述主设备节点包括主管理设备，所述主管理设备，用于：获取所述主设备节点的磁盘设备映射信息；根据所述磁盘设备映射信息，将本地磁盘设备和映射磁盘设备划分为若干个副本组；
其中，所述副本组至少包括两个磁盘设备，副本组内的磁盘设备属于不同的两个故障域。13.根据权利要求12所述的系统，其特征在于，所述主管理设备，还用于：在向任一所述副本组写入数据时，基于RAID1技术，将数据写入该副本组内的两个磁盘设备。14.根据权利要求13所述的系统，其特征在于，所述主管理设备，还用于：在向多个所述副本组写入数据时，基于RAIDO技术，将数据分段并行写入多个...

【专利技术属性】
技术研发人员：樊云龙，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：