大型存储控制器群中可伸缩的基于性能的卷分配制造技术

技术编号:4579550 阅读:205 留言:0更新日期:2012-04-11 18:40
一种可伸缩的基于性能的卷分配技术,它可以应用在所公开的大型存储控制器群中。对表示存储系统互连组件的多个节点的全局资源树进行了分析(比如自下而上的估计)。每个节点的差距值是能够分配在该节点的子树中而不超过该子树中任何节点的性能和空间限度的以GB计量的新工作负载量估计。全局资源树的差距值被进一步分析,以便产生所述存储系统的卷的排序分配列表(比如自上而下的选择)。若干卷可以以所述分配列表的顺序应用于存储工作负载并且将所述差距值和列表进行更新。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及大型计算机存储控制器群。确切地说,本专利技术涉及存 储控制器群中基于性能的巻分配。
技术介绍
基于性能的巻分配是在存储控制器的不同组件上根据工作负载 在空间和性能需求方面的概况以及当前的性能数字,为工作负载确定 向何处分配巻的任务。随着每台控制器的磁盘数目增加和控制器数目 增加,存储规模持续扩大,这项任务变得更具有挑战性。当前的单控 制器算法与规模扩大不成比例,因此不适于大型动态存储控制情形。 不仅如此,常规的控制器算法也在系统組件之间引入了大差异。当前的存储控制器是尖端设备,它们可以被建成组件的层次结构 的模型,每个组件都有其性能约束。通过将存储控制器建成组件的层 次结构的模型,即资源图模型,可以捕获存储控制器中硬件组件之间 的依赖性。为了确保该层次结构中的组件都不过载,获得了每个组件的当前空间和性能数字;该层次结构中单一組件的过载就可能破坏对 与该组件相关联的存储池分配的工作负载。新工作负载的工作负载概 况可以用于预测新工作负载的空间和性能需求。其他因素比如最小和 最大许可或要求的逻辑巻尺寸也可能影响工作负载分配决策过程。在 为分配新工作负载创建巻而确定适当的存储控制器组件时,可以考虑 现有的性能数字连同上述工作负载概况和其他因素。存储巻分配的常规算法太慢,而且与存储系统规模扩大不成比 例,这使它们不适于许多大型动态存储的情形。不仅如此,它们在系 统组件之间引入的差异可能很大,导致存储控制器资源层次中某些组 件负载很重。其他贪心的或随机的分配算法导致不良分配,使系统不平衡,因为它们未能对资源图层次结构中更高的节点考虑负载平衡。 因为与该层次结构中更低的节点相比,资源图层次结构中更高的节点 负责它们下面更多的工作负载,所以这些节点的任何过栽都可能很快 导致整体系统的不良性能。在存储控制和资源分配领域中已经研发了 某些系统和方法。2006年9月7日公开的Hunter等人的美国专利申请公开号 2006/0200400公开了改进的资源分配系统,包括可靠性决策引擎,它 根据需求为所期望的可靠性公文夹分配该公文夹的资产。可靠性决策 引擎包括两种可靠性决策引擎,基本的可靠性决策引擎和稳健的可靠 性决策引擎。使用稳健的优化有可能判断出该优化公文夹的灵敏度。 若干情形能够由用户直接指定或者由系统响应用户的选择而自动地生 成。若干输入适用于基本的可靠性决策引擎,若干输入适用于稳健的 可靠性决策引擎。2006年6月22日公开的Le等人的美国专利申请公开号 2006/0136684公开了准备在数据存储系统中访问的数据单元的方法。 该数据存储系统包括具有数据单元的多台存储设备。并不是对该数据 存储系统的所有存储设备同时加电。该方法包括准备和存储辅助数据。 辅助数据是为数据单元的访问请求期间将被断电的存储设备上的数据 单元准备的。辅助数据存储在若干存储设备上所以在该数据单元是访 问请求的主体时该辅助数据很可能在加电的存储设备上得到。2001年6月12日公开的Muller等人的美国专利号6, 247, 077 公开了高度可伸缩的并行处理计算机系统架构。并行处理系统包括执 行若干应用程序的多个计算机节点、每个都可通信地连接到多个存储 资源的多个I/O节点,以及提供任一计算机节点与任一 I/O节点之间 通信的互连光纤。互连光纤包括连接计算节点和1/0节点的网络,该 网络包括安排在多于g (logbN)个切换节点级中的多个切换节点,其 中b是切换节点输入/输出端口的总数,g(x)表明了提供不小于参数 x的最小整数的高限函数,因此切换节点级提供了任何网络输入端口 与网络输出端口之间的多条通道。考虑到上述情况,业内需要性能改进的程序、方法和系统,在分 布式系统中分配存储巻。另外,也需要这些程序、方法和系统在存储 控制器群中采用可伸缩的和基于性能的分配巻的算法。后文详细介绍的本专利技术满足了这些和其他需求。
技术实现思路
本专利技术的若干实施例来源于可伸缩的基于性能的巻分配技术,它 可以应用在大型存储控制器群中。本专利技术的若干实施例可以基于自下 而上的估计过程与自上而下的选择过程的结合,同时保持巻分配期间 在系统全部组件上(在不同的层次级别)产生平衡负载的正确性。因 此,所述算法确保系统组件都不过载,不超过其性能限制。对表示存 储系统互连组件的多个节点的全局资源树进行了分析,以便产生每个节点的差距值(gap value)(这个步骤以自下而上的方式进行)。每 个节点的所述差距值对应于非叶节点的吞吐量限度或叶节点的容量限 度。每个节点的所述差距值可以包括对在该节点的子树中能够分配而 不超过该子树中任何节点的性能和空间限度的以GB计量的新工作负 载量估计。所述全局资源树的所述差距值被进一步分析,以便产生所 述存储系统的巻的排序分配列表(这个步骤以自上而下的方式进行)。 可以以所述分配列表的顺序向所述巻分配存储工作负载;将所述差距 值和列表进行更新。本专利技术的典型实施例包括在计算机可读介质上记录的计算机程 序,包括用于对存储系统全局资源树的每个节点确定差距值的程序指 令,以及基于按每个叶节点的所述差距值对所述叶节点进行的排序, 在所述存储系统的所述全局资源树的多个叶节点上产生巻的排序分配 列表的程序指令。每个节点的差距值对应于能够在所述节点的一个或 多个子树节点中被分配而不超过所述节点的任何所述子树节点的性能 和空间限度的新工作负载量的估计。通过跨越所述全局资源树的自下 而上的估计过程可以确定每个节点的所述差距值,而从自上而下的选 择过程可以产生所述多个叶节点的所述巻的排序分配列表。所包括的7程序指令也可以用于在向所述全局资源树的巻的至少一部分排序分配列表分配了工作负载后,更新所述差距值以及对所述顺序的分配列表 进行重排序。在进一 步的实施例中,确定每个节点的所述差距值可以包括计算 节点专用的性能限度估计。每个节点的所述节点专用的性能限度估计 可以包括计算每个节点的剩余性能容量。在这种情况下,根据剩余利 用值除以每个节点的名义成本而确定所述剩余性能容量,其中所述名 义成本包括在每个节点的任一相关联的派生巻中所用的每空间的性能 利用率。在本专利技术的某些实施例中,每个节点的所述差距值可以确定为父 节点的所述节点专用的性能限度估计与所述父节点的所有子节点的所 述节点专用的性能限度估计之和二者中的较小者。另外,在本专利技术的 某些实施例中,每个节点的任一非叶子节点都能够以所述非叶子节点 的差距值下降的排序次序处理。作为替代,每个节点的任何非叶子节 点都能够以用户定义的成本函数的排序次序处理。同样,本专利技术的典型方法实施例包括以下步骤对存储系统全局 资源树的每个节点确定差距值,以及基于按每个叶节点的所述差距值 对所述叶节点进行的排序,在所述存储系统的所述全局资源树的多个 叶节点上产生巻的排序分配列表。每个节点的差距值对应于能够在所 述节点的一个或多个子树节点中被分配而不超过所述节点的任何所述 子树节点的性能和空间限度的新工作负载量的估计。本专利技术的若干方 法实施例可以进一 步地〗奮改为与本文介绍的程序和系统一致。同样,本专利技术的典型存储系统实施例包括互连存储组件的层次结 构,表示为包括对应于所述存储系统的不同互连存储组件的多个节点 的全局资源树,以及处理器,用本文档来自技高网
...

【技术保护点】
一种方法,包括以下步骤: 对存储系统全局资源树的每个节点确定差距值;以及 基于按每个叶节点的所述差距值对所述叶节点进行的排序,在所述存储系统的所述全局资源树的多个叶节点上产生卷的排序分配列表; 其中,每个节点的差距值对应于 能够在所述节点的一个或多个子树节点中被分配而不超过所述节点的任何所述子树节点的性能和空间限度的新工作负载量的估计。

【技术特征摘要】
【国外来华专利技术】US 2007-5-17 11/750,0761.一种方法,包括以下步骤对存储系统全局资源树的每个节点确定差距值;以及基于按每个叶节点的所述差距值对所述叶节点进行的排序,在所述存储系统的所述全局资源树的多个叶节点上产生卷的排序分配列表;其中,每个节点的差距值对应于能够在所述节点的一个或多个子树节点中被分配而不超过所述节点的任何所述子树节点的性能和空间限度的新工作负载量的估计。2. 根据权利要求1的方法,其中,通过跨越所述全局资源树的 自下而上的估计过程来确定每个节点的所述差距值,而从自上而下的 选择过程产生所述多个叶节点的所述巻的排序分配列表。3. 根据权利要求1或2的方法,进一步包括以下步骤在向所 述全局资源树的巻的至少一部分排序分配列表分配了工作负栽后,更 新所述差距值并且对所述顺序的分配列表进行重排序。4. 根据权利要求l、 2或3的方法,其中,确定所述每个节点的 差距值包括计算节点专用的性能限度估计。5. 根据权利要求4的方法,其中,每个节点的所述节点专用的 性能限度估计包括计算每个节点的剩余性能容量;其中,根据剩余利用值除以每个节点的名义成本而确定所述剩余 性能容量,所述名义成本包括在每个节点的任一相关联的派生巻中所 用的每空间的性能利用率。6. 根据权利要求1至5中任何一项的方法,其中,每个节点的 所述差距值被确定为父节点的节点专用的性能限度估计与所述父节点的所有子节点的节点专用的性能限度估计之和二者中的较小者。7. 根据权利要求1至6中任何一项的方法,其中,每个节点的 任一非叶子节点都以所述非叶子节点的差距值下降或以用户定义的成 本函数的排序次序处理。8. —种存储系统,包括互连存储组件的层次结构,表示为包括对应于所述存储系统的不 同互连存储组件的多个节点的全局资源树;处理器,用于确定所述全局资源树的每个节点的差距值,以及基 于按每个叶节点的所述差距值对所...

【专利技术属性】
技术研发人员:B巴姆巴M科鲁波鲁
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:US[美国]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1