分布式存储系统及其管理方法、装置制造方法及图纸

本公开涉及一种分布式存储系统及其管理方法、装置，所述方法应用于客户端，所述方法包括：获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；将获取的各数据节点的延迟参数发送至主节点，以使所述主节点根据所述延迟参数，确定所述各数据节点被分配给客户端进行访问的概率。通过由数据节点的延迟程度确定数据节点被分配给客户端进行访问的概率，根据本公开实施例的分布式存储系统及其管理方法、装置能够在分布式存储系统的存储容量不变的情况下，提升客户端访问数据节点的速度。

【技术实现步骤摘要】
分布式存储系统及其管理方法、装置
本公开涉及计算机
，尤其涉及一种分布式存储系统及其管理方法、装置。
技术介绍
分布式存储系统是一种在大量服务器和网络之上搭建的一个大规模的数据存储系统，能够有效防止因单磁盘故障、单击故障、小范围网络故障引起的数据丢失或者服务不可用问题。分布式存储系统中可能会出现慢速节点，即性能显著差于分布式存储系统中其他数据节点的数据节点。相关技术中，在主节点发现慢速节点之后可以将慢速节点从副本节点列表中删除。这样，会导致分布式存储系统中副本数不足，从而引起整个系统发起副本补齐的数据复制工作，数据复制工作的读写压力会影响正常用户的读写请求。
技术实现思路
有鉴于此，本公开提出了一种分布式存储系统及其管理方法、装置，在分布式存储系统的存储容量不变的情况下，提升客户端访问数据节点的速度。根据本公开的第一方面，提供了一种分布式存储系统管理方法，所述方法应用于客户端，所述方法包括：获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；将获取的各数据节点的延迟参数发送至主节点，以使所述主节点根据所述延迟参数，确定所述各数据节点被分配给客户端进行访问的概率。根据本公开的第二方面，提供了一种分布式存储系统管理方法，所述方法应用于主节点，所述方法包括：从客户端获取延迟参数，其中，从客户端获取的延迟参数包括该客户端在第一时间段内访问的各数据节点的延迟参数，数据节点的延迟参数用于表示客户端访问数据节点的延迟程度；根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率。根据本公开的第三方面，提供一种分布式存储系统管理方法，所述方法包括：客户端获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；客户端将获取的各数据节点的延迟参数发送至主节点；主节点从客户端获取延迟参数；主节点根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率。根据本公开的第四方面，提供了一种分布式存储系统管理装置，所述装置包括：获取模块，用于获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；发送模块，用于将获取的各数据节点的延迟参数发送至主节点，以使所述主节点根据所述延迟参数，确定所述各数据节点被分配给客户端进行访问的概率。根据本公开的第五方面，提供了一种分布式存储系统管理装置，所述装置包括：获取模块，用于从客户端获取延迟参数，其中，从客户端获取的延迟参数包括该客户端在第一时间段内访问的各数据节点的延迟参数，数据节点的延迟参数用于表示客户端访问数据节点的延迟程度；确定模块，用于根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率。根据本公开的第六方面，提供了一种分布式存储系统，所述系统包括客户端、数据节点和主节点；其中，客户端用于获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度，并将获取的各数据节点的延迟参数发送至主节点；主节点用于从客户端获取延迟参数，并根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率。根据本公开的第七方面，提供一种分布式存储系统，所述系统包括存储器，用于存储程序；处理器，耦合于所述存储器，用于运行所述程序，以执行如上述第一方面的方法，或执行如上述第二方面的方法。在本公开实施例中，由数据节点的延迟程度确定数据节点被分配给客户端进行访问的概率，通过在数据节点成为慢速节点时，调整数据节点被客户端访问的概率，而不是删除该数据节点，既保证了分布式存储系统的存储容量不变，又提升了客户端访问数据节点的速度。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本公开一实施例的分布式存储系统管理方法的流程图。图2示出根据本公开一实施例的分布式存储系统的架构示意图。图3示出根据本公开一实施例的分布式存储系统管理方法的流程图。图4示出根据本公开一实施例的分布式存储系统管理方法的流程图。图5示出根据本公开一实施例的分布式存储系统管理装置的框图。图6示出根据本公开一实施例的分布式存储系统管理装置的框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。图1示出根据本公开一实施例的分布式存储系统管理方法的流程图。该方法可以应用于客户端。如图1所示，该方法可以包括：步骤S11，获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度。步骤S12，将获取的各数据节点的延迟参数发送至主节点，以使所述主节点根据所述延迟参数，确定所述各数据节点被分配给客户端进行访问的概率。在本公开实施例中，由数据节点的延迟程度确定数据节点被分配给客户端进行访问的概率，通过在数据节点成为慢速节点时，调整数据节点被客户端访问的概率，而不是删除该数据节点，既保证了分布式存储系统的存储容量不变，又提升了客户端访问数据节点的速度。图2示出根据本公开一实施例的分布式存储系统的架构示意图。其中，客户端1和客户端2可以表示不同的客户端；数据节点1、数据节点2、数据节点3和数据节点4可以表示不同的数据节点。如图2所示，分布式存储系统可以包括主节点、数据节点和客户端。其中，主节点是分布式存储系统中的控制节点，主要负责数据节点的分配、系统数据的采集和节点健康状态监控等工作。数据节点是分布式存储系统中负责数据存储的节点，可以是一个物理服务器，数据节点上面可以运行接收数据访问请求的进程。客户端是分布式存储系统上提供给上层用户的模块，客户端可以通过将向数据节点发送访问请求来访问数据节点。数据节点可以响应于客户端发送的读写请求实现数据的存取。图1所示的分布式存储系统管理方法可以应用于图2所示的客户端，例如客户端1或者客户端2等。在步骤S11中，第一时间段可以表示任意一个时间段，第一时间段可以根据需要进行设置，例如，第一时间段可以为一个小时、一天或者一个星期等，对此本公开不做限制。客户端在第一时间段内可能访问本文档来自技高网...

【技术保护点】
1.一种分布式存储系统管理方法，其特征在于，所述方法应用于客户端，所述方法包括：/n获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；/n将获取的各数据节点的延迟参数发送至主节点，以使所述主节点根据所述延迟参数，确定所述各数据节点被分配给客户端进行访问的概率。/n

【技术特征摘要】
1.一种分布式存储系统管理方法，其特征在于，所述方法应用于客户端，所述方法包括：
获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；
将获取的各数据节点的延迟参数发送至主节点，以使所述主节点根据所述延迟参数，确定所述各数据节点被分配给客户端进行访问的概率。


2.根据权利要求1所述的方法，其特征在于，获取第一时间段内访问的各数据节点的延迟参数，包括：
获取所述第一时间段内访问的各数据节点的延迟时间；
从获取的各延迟时间中选取参考值；
将所述第一时间段内访问的各数据节点的延迟时间与所述参考值的比值，确定为所述第一时间段内访问的各数据节点的延迟参数。


3.根据权利要求2所述的方法，其特征在于，获取所述第一时间段内访问的各数据节点的延迟时间，包括：
针对所述第一时间段内访问的各数据节点：
获取所述第一时间段内每次访问该数据节点时，访问的数据量和延迟时间；
根据每次访问的数据量和延迟时间，确定每次访问该数据节点中指定数据量的数据对应的单位延迟时间；
将所述第一时间段内各次访问该数据节点的单位延迟时间的均值，确定为该数据节点的延迟时间。


4.一种分布式存储系统管理方法，其特征在于，所述方法应用于主节点，所述方法包括：
从客户端获取延迟参数，其中，从客户端获取的延迟参数包括该客户端在第一时间段内访问的各数据节点的延迟参数，数据节点的延迟参数用于表示客户端访问数据节点的延迟程度；
根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率。


5.根据权利要求4所述的方法，其特征在于，根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率，包括：
获取当前时刻之前确定的数据节点集群中各数据节点被分配给客户端进行访问的概率；
根据获取的延迟参数，对获取的概率进行调整。


6.根据权利要求5所述的方法，其特征在于，根据获取的延迟参数，对获取的概率进行调整，包括：
针对所述数据节点集群中的任意一个数据节点，当获取的该数据节点的延迟参数增大时，调低所获取的该数据节点的概率，当获取的待数据节点的延迟参数减小时，调高所获取的该数据节点的概率。


7.一种分布式存储系统管理方法，其特征在于，所述方法包括：
客户端获取第一时间段内访问的各数据节点的延迟参数，所述延迟参数用于表示客户端访问数据节点的延迟程度；
客户端将获取的各数据节点的延迟参数发送至主节点；
主节点从客户端获取延迟参数；
主节点根据获取的延迟参数，确定数据节点集群中各数据节点被分配给客户端进行访问的概率。


8.根据权利要求7所述的方法，其特征在于，客户端获取第一时间段内访问的各数据节点的延迟参数，包括：
客户端获取所述第一时间段内访问的各数据节点的延迟时间；
客户端从获取的各延迟时间中选取参考值；
客户端将所述第一时间段内访问的各数据节点的延迟时间与所述参考值的比值，确定为所述第一时间段内访问的各数据节点的延迟参数。


9.根据权利要求7所述的方法，其特征在于，客户端获取所述第一时间段内访问的各数据节点的延迟时间，包括：
客户端针对所述第一时间段内访问的各数据节点：
客户端获取所述第一时间段内每次访问该数据节点时，访问的数据量和延迟时间；
客户端根据每次访问的数据量和延迟时间，确定每次访问该数据节点中指定数据量的数据对应的单位延迟时间；
客户端将所述第一时间段内各次访问该数据节点的单位延迟时间的均值，确定为该数据节...

【专利技术属性】
技术研发人员：刘金鑫，董乘宇，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY