一种最优化恢复速率的副本分配策略系统及方法技术方案

本发明专利技术公开了一种最优化恢复速率的副本分配策略系统及方法，根据每个服务器节点的最大恢复速率、各个服务器节点之间的最大网络互连带宽、所有放置数据块副本的服务器节点上的物理硬盘数量、每块物理硬盘的读写速度确定虚拟硬盘中的数据块的数据块副本数量，从而使服务器节点的恢复速率最大，进而使超融合分布式存储系统的恢复速率最大；并对数据块副本的分配进行设置，提高恢复速率，保障故障面降低，进而降低严重故障发生的概率。而降低严重故障发生的概率。而降低严重故障发生的概率。

【技术实现步骤摘要】
一种最优化恢复速率的副本分配策略系统及方法


[0001]本专利技术涉及超融合存储数据处理领域，尤其涉及一种最优化恢复速率的副本分配策略系统及方法。

技术介绍

[0002]在超融合分布式存储系统中，由于每个服务器插入的硬盘数量，使用的硬盘容量均可有所差异(异构)，因此通常的做法是，将一个虚拟硬盘中的所有数据，分散成若干固定大小的数据块。一个虚拟硬盘由若干数据块组成，每个服务器会存储若干数据块，这些数据块共同组成了一个虚拟硬盘。并且考虑到虚拟硬盘本身的高可用性，即某些服务器节点失效时，虚拟硬盘仍然应正常提供服务。因此，数据块本身会通过数据块副本技术进行冗余，以提高虚拟硬盘的可用性，降低故障带来的影响。考虑到普通的x86
‑
64服务器客观上存在损坏的可能(包括但不限于供电故障，网络断开和物理硬盘损坏等)，每一台服务器并不能一直7
×
24小时稳定运行。因此，超融合存储系统会设计一些容错方法，如采用数据块副本技术，纠删码(Erasure Coding)等方式，对数据块本身进行冗余存储以提高存储服务的可靠性。
[0003]但是，如图1或图2所示，在传统的分布式存储系统中，当某个服务器节点出现故障时，根据该服务器上存储的数据块，所有相关的虚拟硬盘都会受到影响。预期的故障面应只影响一部分计算负载，但由于所有计算负载持有的数据被均匀分配到所有节点，此时所有的计算负载的数据均受到影响，导致故障面被非预期地扩大。超融合存储软件只负责数据块的存储，使用虚拟硬盘构建的上层文件系统(Ext4或NTFS等)可能受到该数据块无法恢复的影响，导致其余数据块虽然存在，但数据无法从文件系统读取的情况。
[0004]并且，超融合数据中心中的每个服务器都位于同个子网，服务器和服务器之间都可以通过一个扁平的网络结构相互连接。但实际上，由于物理设备和实际拓扑的限制，服务器节点之间的访问是略有区别的，其中部分服务器之间的延迟可能降低，而其他服务器可能受到物理连线距离的影像，交换机堆叠导致的延迟提高，抑或是不同机架之间的机架交换机的连通性不足，服务器之间的延迟可能较高。由于每个虚拟硬盘的数据，被均匀分散到每个服务器节点中。因此当计算负载(计算负载主要包括运行程序以及IO请求等)需要访问虚拟硬盘的某些数据时，就有可能需要跨越一些延迟较高的节点，导致数据访问的效率降低或是延迟高到一定程度，触发了文件系统的超时机制，以及操作系统块层的错误处理机制，导致数据不能访问。
[0005]通常超融合分布式存储集群使用数据块副本技术进行数据的冗余以实现高可用的效果。当某个服务器节点故障时，某些数据块可能出现数据块副本降级。此时需要进行恢复，使得数据块副本数量恢复到原有的数量，保证数据安全。如果数据块在数据中心中均匀分布，每个虚拟硬盘的数据均有部分存在于各台服务器。进行恢复时，需要从剩余的所有服务器中进行读取以恢复数据。由于网络互连带宽的限制，即便是剩余的所有服务器可以提供高于网络速率的恢复IO读取速度，也无法充分利用所有的服务器进行快速恢复。其他服
务器上运行的计算负载均受到了此处恢复造成的影响，造成了系统性能的下降和服务质量的降低，但恢复速度却受限于网络互连带宽无法提高。

技术实现思路

[0006]本专利技术的目的在于提供一种最优化恢复速率的副本分配策略系统及方法，解决了现有技术中指出的上述技术问题。
[0007]本专利技术提供了一种最优化恢复速率的副本分配策略系统，包括超融合分布式存储系统、多个服务器节点；
[0008]其中，所述超融合分布式存储系统与所述服务器节点实现连接；
[0009]其中，所述超融合分布式存储系统包括虚拟硬盘、指标检测模块、中央处理器；
[0010]所述服务器节点包括多个物理硬盘；
[0011]所述物理硬盘包括多个数据块；
[0012]所述虚拟硬盘包括多个服务器节点中多个物理硬盘中的多个数据块；
[0013]其中，所述指标检测模块，用于收集超融合分布式存储系统的各项运行参数和运行指标；
[0014]所述服务器节点，用于运行计算负载，并通过所述物理硬盘存储数据块副本；
[0015]所述虚拟硬盘，用于收集所述分布式存储系统中的所有服务器节点中的所有物理硬盘中的所有数据块；
[0016]所述中央处理器，用于获取指标检测模块收集的超融合分布式存储系统的各项运行参数和运行指标，确定当前超融合分布式存储系统的负载状态，并在超融合分布式存储系统低负载状态时，基于服务器节点的最大恢复速率，计算虚拟硬盘中的数据块的最大数据块副本数量，将虚拟硬盘中的数据块的数据块副本均匀分布在多个服务器节点上；根据所述数据块最大数据块副本数量计算数据块副本分配位置。
[0017]相应地，本专利技术还提出了一种最优化恢复速率的副本分配策略方法，包括如下操作步骤：
[0018]识别超融合分布式存储系统中的每个服务器节点的最大IO速率；
[0019]确定当前超融合分布式存储系统的负载状态，若当前超融合分布式存储系统处于低负载状态，则通过每个存储节点的网口协商带宽识别各个服务器节点之间的网络互连带宽；
[0020]基于服务器节点的最大恢复速率，计算虚拟硬盘中的数据块的最大数据块副本数量，将虚拟硬盘中的数据块的数据块副本均匀分布在多个服务器节点上；
[0021]根据所述数据块最大数据块副本数量计算数据块副本分配位置。
[0022]与现有技术相比，本专利技术实施例至少存在如下方面的技术优势：
[0023]分析本专利技术提供的上述一种最优化恢复速率的副本分配策略系统及方法可知，在具体应用时，中央处理器首先通过指标检测模块识别超融合分布式存储系统中每个服务器节点的最大IO速率、当前总IO带宽、最大IO带宽、各个服务器节点之间的网络互连带宽，确定当前超融合分布式存储系统处在低负载状态；
[0024]根据每个服务器节点的最大恢复速率、各个服务器节点之间的最大网络互连带宽、所有放置数据块副本的服务器节点上的物理硬盘数量、每块物理硬盘的读写速度确定
虚拟硬盘中的数据块的数据块副本数量，从而使服务器节点的恢复速率最大，进而使超融合分布式存储系统的恢复速率最大；
[0025]并且，在数据块副本的放置时，根据数据块副本的数量，首先考虑将数据块副本放置在当前计算负载运行所在的服务器节点，此时计算负载一定可以在其运行对应的服务器节点上访问到数据，并不需要经过网络堆栈，因此系统的总性能会有所提高；再考虑将数据块副本放置在当前计算负载运行所在的服务器节点拓扑距离最近的服务器节点；再考虑将数据块副本放置在当前计算负载运行所在的服务器节点拓扑距离最远的服务器节点；在考虑将数据块副本放置在当前计算负载运行所在的服务器节点拓扑距离次近的服务器节点；再考虑将数据块副本放置在当前计算负载运行所在的服务器节点拓扑距离次远的服务器节点；从而提高系统的整体性能，降低了严重故障发生的概率；
[0026]并且，将数据块副本放置在部分服务器节点，在故障发生时，另本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种最优化恢复速率的副本分配策略系统，其特征在于，包括超融合分布式存储系统、多个服务器节点；其中，所述超融合分布式存储系统与所述服务器节点实现连接；其中，所述超融合分布式存储系统包括虚拟硬盘、指标检测模块、中央处理器；所述服务器节点包括多个物理硬盘；所述物理硬盘包括多个数据块；所述虚拟硬盘包括多个服务器节点中多个物理硬盘中的多个数据块；其中，所述指标检测模块，用于收集超融合分布式存储系统的各项运行参数和运行指标；所述服务器节点，用于运行计算负载，并通过所述物理硬盘存储数据块副本；所述虚拟硬盘，用于收集所述分布式存储系统中的所有服务器节点中的所有物理硬盘中的所有数据块；所述中央处理器，用于获取指标检测模块收集的超融合分布式存储系统的各项运行参数和运行指标，确定当前超融合分布式存储系统的负载状态，并在超融合分布式存储系统低负载状态时，基于服务器节点的最大恢复速率，计算虚拟硬盘中的数据块的最大数据块副本数量，将虚拟硬盘中的数据块的数据块副本均匀分布在多个服务器节点上；根据所述数据块最大数据块副本数量计算数据块副本分配位置。2.根据权利要求1所述的一种最优化恢复速率的副本分配策略系统，其特征在于，所述运行参数为当前超融合分布式存储系统的IO速率、各个服务器节点之间的网络互连带宽；所述运行指标包括当前超融合分布式存储系统的的最大IO速率、各个服务器节点之间的最大网络互连带宽。3.一种最优化恢复速率的副本分配策略方法，利用上述权利要求1
‑
2任一项所述的一种最优化恢复速率的副本分配策略系统进行处理，其特征在于，包括如下操作步骤：识别超融合分布式存储系统中的每个服务器节点的最大IO速率；确定当前超融合分布式存储系统的负载状态，若当前超融合分布式存储系统处于低负载状态，则通过每个存储节点的网口协商带宽识别各个服务器节点之间的网络互连带宽；基于服务器节点的最大恢复速率，计算虚拟硬盘中的数据块的最大数据块副本数量，将虚拟硬盘中的数据块的数据块副本均匀分布在多个服务器节点上；根据所述数据块最大数据块副本数量计算数据...

【专利技术属性】
技术研发人员：范扬，徐文豪，张凯，王弘毅，
申请(专利权)人：北京志凌海纳科技有限公司，
类型：发明
国别省市：