用于分解的分布式存储系统中的数据复制的设备和方法技术方案

本公开的实施例公开了用于在分解的分布式存储系统中动态复制数据的设备和方法。该方法包括由处理器从控制器接收用于复制数据的请求。基于与多个存储节点中的每个存储节点相关联的一个或多个复制参数，在多个存储节点当中动态地确定用于复制数据的存储节点。一个或多个复制参数包括存储节点的闪存因素以及控制器和存储节点之间的延迟中的至少一个。向控制器提供所确定的存储节点的信息用于复制数据。据。据。

【技术实现步骤摘要】
用于分解的分布式存储系统中的数据复制的设备和方法


[0001]本公开总体上涉及分布式存储系统，并且更具体地，涉及用于分解的(disaggregated)分布式存储系统中的数据复制的设备和方法。

技术介绍

[0002]数据复制是在任何分布式存储系统中使用的、以免受存储节点故障时的数据损失的关键冗余技术。分解的分布式存储系统通过启用可扩展性和灵活性来启用计算资源的有效使用。在分解的分布式存储系统中，数据复制用于确保存储节点故障时的数据可用性。复制的数据需要被有效地放置在存储节点中，以便有效地利用集群资源，并且在存储复制的数据的存储节点故障时恢复复制的数据。
[0003]尽管分解的分布式存储系统启用对计算资源的有效使用以复制数据，但是存储节点的异构性质典型地不被利用于数据复制。在示例中，当与另一个存储节点“B”相比时，存储节点“A”的存储空间和磨损水平可能是更好的，但是存储节点“A”的计算能力明显小于存储节点“B”的计算能力。因此，在识别用于数据复制的最优存储节点中，不将存储节点的这种异构性质作为因素纳入考虑。此外，分解的分布式存储系统中存储节点的动态性质也影响存储节点的耐久性。在示例中，特定存储节点可能频繁地用于数据复制，因此，该存储节点经历高负载和高延迟，因为该存储节点必须服务于大量客户端。因此，复制的数据的放置和复制的数据的恢复过程缺乏闪存感知(flash awareness)。因此，缺乏闪存感知可能导致存储节点中使用的NAND设备的降级。类似地，在一些分解的分布式存储系统中，服务于读取请求的控制器既不有效地利用存储节点的异构性质，也不有效地利用存储节点的动态性质来为客户端服务读取请求。在示例中，已经经历了重负载(例如，为10个客户端服务读取请求)的存储节点被选择来为新客户端服务复制的数据，这添加了需要被服务的未决读取请求。
[0004]鉴于以上情况，需要考虑所有上述挑战的动态运行时间方法。此外，采用提高读取性能的读取机制将是有利的。
[0005]在公开部分的该
技术介绍
中公开的信息仅用于增强对本专利技术的一般
技术介绍
的理解，并且不应该被视为是对该信息形成本领域技术人员已知的现有技术的承认或任何形式的建议。

技术实现思路

[0006]在实施例中，公开了用于在分解的分布式存储系统中动态复制数据的方法。该方法包括由处理器从控制器接收用于复制数据的请求。该方法包括由处理器基于与多个存储节点中的每个存储节点相关联的一个或多个复制参数，在多个存储节点当中动态地确定用于复制数据的存储节点。一个或多个复制参数包括存储节点的闪存因素和控制器与存储节点之间的延迟中的至少一个。该方法还包括由处理器向控制器提供所确定的存储节点的信息用于复制数据。
[0007]在另一个实施例中，公开了用于从分解的分布式存储系统中读取数据的方法。该方法包括由处理器从至少一个客户端设备接收用于读取数据的读取请求。数据被存储在数据复制(replica)群组中。该方法包括由处理器基于一个或多个读取参数从数据复制群组中确定用于服务读取请求的存储节点。一个或多个读取参数是实时确定的。与数据复制群组中的每个存储节点相关的一个或多个读取参数包括：控制器和每个存储节点之间的延迟、每个存储节点的闪存因素和每个存储节点上的负载。
[0008]在又一个实施例中，公开了用于在分解的分布式存储系统中动态复制数据的设备。该设备包括存储器和处理器。存储器被配置为存储指令，并且处理器被配置为执行存储在存储器中的指令，从而使设备从控制器接收用于复制数据的请求。使该设备基于与多个存储节点中的每个存储节点相关联的一个或多个复制参数，在多个存储节点当中动态地确定存储节点。一个或多个复制参数包括存储节点的闪存因素和控制器与存储节点之间的延迟中的至少一个。使该设备向控制器提供所确定的存储节点的信息用于复制数据。
[0009]在再一个实施例中，公开了用于从分解的分布式存储系统中读取数据的设备。该设备包括存储器和处理器。存储器被配置为存储指令，并且处理器被配置为执行存储在存储器中的指令，从而使设备从至少一个客户端设备接收用于读取数据的读取请求。数据被存储在数据复制群组中。使设备基于一个或多个读取参数从数据复制群组中确定用于服务读取请求的存储节点。一个或多个读取参数是实时确定的。与数据复制群组中的每个存储节点相关的一个或多个读取参数包括：控制器和每个存储节点之间的延迟、每个存储节点的闪存因素和每个存储节点上的负载。
[0010]前面的概述仅仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性的方面、实施例和特征之外，通过参考附图和以下详细描述，进一步的方面、实施例和特征将变得清晰。
附图说明
[0011]并入本公开并构成本公开一部分的附图示出了示例性实施例，并与描述一起用于解释公开的原理。贯穿附图所使用的相同的附图标记指代相似的特征和组件。现在仅作为示例并参考附图来描述根据本主题的实施例的设备和/或方法的一些实施例，其中：
[0012]图1示出了根据本公开的实施例的分解的分布式存储系统的架构；
[0013]图2示出了根据本公开的实施例的用于在分解的分布式存储系统中动态复制数据的设备；
[0014]图3示出了根据本公开的实施例的描绘存储池中的存储节点的拓扑的故障域树；
[0015]图4是示出根据本公开的实施例的用于在分解的分布式存储系统中动态复制数据的方法的流程图；
[0016]图5是示出了根据本公开的实施例的用于从分解的分布式存储系统中动态读取数据的方法的流程图；和
[0017]图6示出了根据本公开的实施例的用于在分解的分布式存储系统中动态复制数据和读取数据的通用计算机的框图。
[0018]本领域技术人员应该理解，本文任何框图都表示实施本主题的原理的说明性系统的概念图。类似地，将理解，任何流程图表、流程图、状态转换图、伪代码等表示可以基本上
在计算机可读介质中表示并由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否被显式地示出。
具体实施方式
[0019]在本文件中，词语“示例性”在本文中用于意味着“用作示例、实例或说明”。本文描述为“示例性”的本主题的任何实施例或实施方式不一定被解释为比其他实施例更优选或更有利。
[0020]虽然本公开容易受到各种修改和可替代形式的影响，但是已经通过附图中的示例示出了其具体实施例，并且将在下面进行详细描述。然而，应该理解的是，这并不旨在将本公开限制于所公开的特定形式，相反，本公开将覆盖落入本公开的精神和范围内的所有修改、等同物和替代物。
[0021]术语“包括”、“包括
……
的”或其任何其他变体旨在覆盖非排他性的包含，使得包括一系列组件或步骤的设置、设备或方法不仅包括那些组件或步骤，还可以包括未显式地列出的或这样的设置、设备或方法固有的其他组件或步骤。换句话说，在没有更多限制的情况下，以“包括
……
一”进行的设备或系统或装置中的一个或多个元素不排除该设备或系统或装置中存在其他元素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在分解的分布式存储系统中动态复制数据的方法，所述方法包括：由处理器从控制器接收用于复制数据的请求；以及由处理器基于与多个存储节点中的每个存储节点相关联的一个或多个复制参数，在多个存储节点当中动态地确定用于复制数据的存储节点，其中，所述一个或多个复制参数包括存储节点的闪存因素以及控制器和存储节点之间的延迟中的至少一个；并且由处理器向控制器提供所确定的存储节点的信息用于复制数据。2.如权利要求1所述的方法，其中，所述多个存储节点属于来自多个故障域中的一个故障域。3.如权利要求1所述的方法，其中，确定所述存储节点包括：由处理器基于一个或多个复制参数计算多个存储节点中的每个存储节点的第一权重值；以及由处理器识别多个存储节点当中具有最高第一权重值的存储节点。4.如权利要求1所述的方法，还包括：由处理器基于故障域树和复制规则从分解的分布式存储系统中的多个故障域中识别一组故障域，其中，所述故障域树包括分解的分布式存储系统的拓扑和每个故障域的第二权重值，并且其中，所述拓扑包括多个节点，并且其中，所述复制规则至少包括复制因素和复制水平；以及由处理器通过从该组故障域中的每个故障域中识别一个存储节点来创建数据复制群组DRG。5.如权利要求4所述的方法，其中，所述多个节点中的每个节点包括至少一个存储节点。6.根据权利要求4所述的方法，其中，每个故障域的第二权重值基于与对应的故障域中的多个存储节点中的每个存储节点相关联的第一权重值。7.如权利要求4所述的方法，还包括：在创建DRG之后，由处理器更新与DRG中的每个存储节点相关联的一个或多个复制参数；以及由处理器基于一个或多个更新的复制参数重新计算DRG中每个存储节点的第一权重值。8.如权利要求1所述的方法，其中，所述存储节点的闪存因素是基于以下各项中的一项或多项来确定的：存储节点的磨损水平和存储节点的类型。9.一种用于从分解的分布式存储系统读取数据的方法，所述方法包括：由处理器从至少一个客户端设备接收用于读取数据的读取请求，其中，所述数据存储在数据复制群组DRG中；以及由处理器基于一个或多个读取参数从DRG中确定用于服务所述读取请求的存储节点，其中，所述一个或多个读取参数是实时确定的，并且其中，与数据复制群组中的每个存储节点相关的一个或多个读取参数包括：控制器和每个存储节点之间的延迟、每个存储节点的闪...

【专利技术属性】
技术研发人员：RR奈尔，A乔治，D拉特拉，P雅因，PP雅因，RK夏尔马，希瓦姆，V古德科帕，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：