本文描述的实施方式提供了一种存储管理系统。在工作期间，系统从分布式存储系统的一个或更多个存储节点接收指示多个存储装置的未决负载集的信息。各个的未决负载集包括该存储装置上的来自主机操作的负载集和来自后台操作的负载集。系统可以从分布式存储系统的客户端节点接收对与盘操作相关联的目标资源的请求。系统然后基于未决负载集从多个存储装置中选择具有最小未决负载集的存储装置作为目标资源，并向客户端节点发送该目标资源。并向客户端节点发送该目标资源。并向客户端节点发送该目标资源。
【技术实现步骤摘要】
【国外来华专利技术】分布式存储系统中基于全面I/O监测的资源分配
[0001]相关申请的引用
[0002]本公开要求于2019年4月16日提交的名称为“Resource Allocation Based On Comprehensive I/O Monitoring In a Distributed Storage System”的申请号为16385955的美国申请的优先权，其全部内容通过引用结合到本文。
技术介绍
[0003]本公开总体上涉及存储管理领域。更具体地，本公开涉及用于在分布式存储系统中基于全面输入/输出(I/O)监测来分配资源的系统和方法。
[0004]相关技术
[0005]在物理和虚拟装置上运行的各种应用带来了其对计算资源的需求增加。结果，设备厂商竞争以构建具有通用能力的更大和更快的计算设备(例如，处理器、存储器、存储装置等)。然而，一个计算设备的能力不能无限地增长。其受到物理空间、功耗和设计复杂性的限制(仅举几个因素)。此外，具有较高容量的计算设备通常更复杂和昂贵。更重要的是，因为过大且复杂的系统通常不能提供规模经济性，所以简单地增加计算设备的大小和能力以适应较高的计算需求在经济上是不合适的。
[0006]随着对计算的需求的增加，对高容量存储装置的需求也在增加。这种存储装置通常需要能够提供大存储容量以及高效存储/取得数据的存储技术。一种这样的存储技术可以是固态驱动器(SSD)，其通常是与非(NAND)闪存存储器装置(或闪存装置)。SSD可以以低成本提供高容量存储。因此，SSD已经成为作为持久存储解决方案的传统硬盘驱动器(HDD)的主要竞争者。
[0007]因此，由于SSD的增强性能，SSD广泛用于分布式存储系统，例如数据中心。然而，SSD可能面临不稳定的性能并且可能招致长的尾延迟。特别地，如果SSD的后台I/O操作(例如垃圾收集操作)与主机装置的I/O操作竞争，则SSD的性能会受到损害。此外，SSD的后台I/O操作可能不能由主机装置访问。结果，主机装置可能不能确定SSD的整体I/O操作。
[0008]即使SSD给分布式存储系统带来了许多期望的特性，但在分布式存储系统中的有效资源分配上仍有许多问题未解决。
技术实现思路
[0009]本文描述的实施方式提供了一种存储管理系统。在工作期间，所述系统监测分布式存储系统中的计算设备的存储装置。所述系统可以基于所述监测确定所述存储装置上的未决负载集。所述未决负载集可以包括所述存储装置上的来自主机操作的负载集和来自后台操作的负载集。所述系统然后发送指示未决负载集的信息以在分布式存储系统中分配所到来的请求。
[0010]在该实施方式的变型中，所述存储装置包括经由内部通道彼此联接的多个存储晶片。所述系统确定所述多个存储晶片中的各个存储晶片上的来自主机操作和后台操作的负载集。
[0011]在该实施方式的变型中，所述未决负载集指示所述存储装置上的未决读和写操作的输入/输出(I/O)字节。
[0012]在该实施方式的变型中，所述后台操作包括所述分布式存储系统中的垃圾收集操作、数据同步和数据健康检查中的一项或更多项。
[0013]在该实施方式的变型中，所述系统确定所述计算设备的第二存储装置上的第二未决负载集；以及发送指示第二未决负载集的信息以在分布式存储系统中分配所到来的请求。
[0014]在该实施方式的变型中，所述存储装置是开放通道固态驱动器(SSD)。监测所述存储装置可以包括监测由所述存储装置的装置驱动器管理的主机操作和后台操作。
[0015]本文描述的实施方式提供了一种存储管理系统。在工作期间，所述系统从分布式存储系统的一个或更多个存储节点接收指示多个存储装置的未决负载集的信息。各个的未决负载集包括所述存储装置上的来自主机操作的负载集和后台操作的负载集。所述系统可以从所述分布式存储系统的客户端节点接收对与盘操作相关联的目标资源的请求。所述系统然后从所述多个存储装置中选择具有所述未决负载集中的最小未决负载集的存储装置作为所述目标资源；并且向所述客户端节点发送所述目标资源。
[0016]在该实施方式的变型中，所述系统通过以下处理选择所述存储装置：确定所述存储装置和第二存储装置具有最小未决负载集；比较所述存储装置和所述第二存储装置的存储晶片的未决负载集；以及响应于在所述比较中检测到平局，随机选择存储装置作为所述目标资源。
[0017]在该实施方式的变型中，所述后台操作包括所述分布式存储系统中的垃圾收集操作、数据同步和数据健康检查中的一项或更多项。
[0018]在该实施方式的变型中，所述盘操作是对数据段的读操作。所述目标资源可以则指示所述数据段的至少一个副本在所述分布式存储系统中的源位置。
[0019]在该实施方式的变型中，所述盘操作是对数据段的写操作。所述目标资源可以则指示所述数据段的至少一个副本在所述分布式存储系统中的目的地位置。
[0020]在该实施方式的变型中，所述系统根据所述多个存储装置的未决负载集层级地确定所述分布式存储系统的实体上的未决负载集。
[0021]在该实施方式的变型中，所述多个存储装置中的各个包括经由内部通道彼此联接的多个存储晶片。所述多个存储装置的所述未决负载集可以则包括所述多个存储晶片中的各个存储晶片上的来自主机操作和后台操作的负载集。
附图说明
[0022]图1A例示根据本申请的实施方式的促进分布式存储系统中的基于全面I/O监测的有效资源分配的示例基础设施。
[0023]图1B例示根据本申请的实施方式的支持全面I/O监测的示例存储装置。
[0024]图2A例示根据本申请的实施方式的促进在分布式存储系统中的基于全面I/O监测的有效资源分配的示例元件。
[0025]图2B例示根据本申请的实施方式的在分布式存储系统中的基于全面I/O监测的资源分配的示例通信。
[0026]图3例示根据本申请的实施方式的存储分布式存储系统中的全面资源统计的示例资源映射表。
[0027]图4例示根据本申请的实施方式的在分布式存储系统中的全面资源统计的示例层级分配。
[0028]图5A呈现了例示根据本申请的实施方式的客户端节点在分布式存储系统中进行写操作的方法的流程图。
[0029]图5B呈现了例示根据本申请的实施方式的一个或更多个控制器节点在分布式存储系统中基于全面I/O监测来为写操作分配资源的方法的流程图。
[0030]图6A呈现了例示根据本申请的实施方式的客户端节点在分布式存储系统中进行读操作的方法的流程图。
[0031]图6B呈现了例示根据本申请的实施方式的一个或更多个控制器节点在分布式存储系统中基于全面I/O监测来为读操作分配资源的方法的流程图。
[0032]图7例示根据本申请的实施方式的促进分布式存储系统中基于全面I/O监测的高效资源分配的示例计算机系统。
[0033]图8例示根据本申请的实施方式的促进分布式存储系统中基于全面I/O监测的高效资源分配的示例设备。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括以下步骤：监测分布式存储系统中的计算设备的存储装置；基于所述监测确定所述存储装置上的未决负载集，其中，所述未决负载集包括所述存储装置上的来自主机操作的负载集和来自后台操作的负载集；并且发送指示未决负载集的信息以在所述分布式存储系统中分配到来的请求。2.根据权利要求1所述的方法，其中，所述存储装置包括经由内部通道彼此联接的多个存储晶片，并且其中，所述方法还包括确定所述多个存储晶片中的各个存储晶片上的来自主机操作和后台操作的负载集。3.根据权利要求1所述的方法，其中，所述未决负载集指示所述存储装置上的未决读和写操作的输入/输出I/O字节。4.根据权利要求1所述的方法，其中，所述后台操作包括所述分布式存储系统中的垃圾收集操作、数据同步和数据健康检查中的一项或更多项。5.根据权利要求1所述的方法，其中，所述方法还包括：确定所述计算设备的第二存储装置上的第二未决负载集；以及发送指示所述第二未决负载集的信息以在所述分布式存储系统中分配到来的请求。6.根据权利要求1所述的方法，其中，所述存储装置是开放通道固态驱动器SSD，并且其中，监测所述存储装置的步骤包括监测由所述存储装置的装置驱动器管理的主机操作和后台操作。7.一种方法，所述方法包括以下步骤：从分布式存储系统的一个或更多个存储节点接收指示多个存储装置的未决负载集的信息，其中，各个存储装置的未决负载集包括该存储装置上的来自主机操作的负载集和来自后台操作的负载集；从所述分布式存储系统的客户端节点接收对与盘操作相关联的目标资源的请求；从所述多个存储装置中选择具有所述未决负载集中的最小未决负载集的存储装置作为所述目标资源；以及向所述客户端节点发送所述目标资源。8.根据权利要求7所述的方法，其中，选择所述存储装置的步骤还包括：确定所述存储装置和第二存储装置具有最小未决负载集；比较所述存储装置和所述第二存储装置的存储晶片的未决负载集；以及响应于在所述比较中检测到平局，随机选择存储装置作为所述目标资源。9.根据权利要求7所述的方法，其中，所述后台操作包括所述分布式存储系统中的垃圾收集操作、数据同步和数据健康检查中的一项或更多项。10.根据权利要求7所述的方法，其中，所述盘操作是对数据段的读操作，并且其中，所述目标资源指示所述数据段的至少一个副本在所述分布式存储系统中的源位置。11.根据权利要求7所述的方法，其中，所述盘操作是对数据段的写操作，并且其中，所述目标资源指示所述数据段的至...
【专利技术属性】
技术研发人员：邱胜，刘飞，李舒，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。