用于管理存储设备上的空间分配的系统和方法技术方案

技术编号:2882834 阅读:141 留言:0更新日期:2012-04-11 18:40
在存储设备上正比于与该存储设备相关联的权值分配空间。由多个文件系统分配该空间。具体地,可以由一个或多个文件系统在任何一个设备上分配空间。可以在任何时候动态地调整权值以便适应系统中的变化和更好地利用各存储设备。然而,由于多个文件系统可以在一个或多个存储设备上分配空间,因此将权值的变化发送至可能利用该信息的各个文件系统。(*该技术在2021年保护过期,可自由使用*)

【技术实现步骤摘要】

本专利技术一般涉及在存储设备上分配空间的操作,具体地涉及允许多个文件系统使用加权分配来在一个或多个存储设备上分配空间。
技术介绍
许多计算环境包括允许其他应用程序在存储设备上存储数据和自其中检索数据的文件系统。具体地,文件系统允许应用程序建立文件并且为它们命名(一个文件是一个具有任意大小的命名的数据对象),将数据存入(或写入)文件,自文件中读取数据,删除文件和在文件上完成其他操作。文件结构是存储设备上的数据组织。除文件数据本身之外,文件结构包含元数据(meta data),后者包括例如以下内容一个用于将文件名称映射至相应文件的目录;包含关于该文件的信息的文件元数据,包括存储设备上文件数据的位置(即哪些设备块保存这些文件数据);一个用于记录哪些设备块当前正在用于存储元数据和文件数据的分配映象;以及一个包括关于该文件结构的总体信息(例如目录位置、分配映象和其他元数据结构)的超级块(superblock)。为将一个文件的连续数据块储存于单独的设备上,例如盘片或其他存储设备上,使用一种已知的称为划分带区(stripe)的技术。划分带区也可用于储存文件系统的元数据。划分带区的优点包括高性能和负载均衡。在划分带区操作中,文件系统按照规定的顺序将文件的连续块或文件的元数据写入单独设备中。例如,文件系统可能使用循环分配法,其中根据设备的循环排列来放置连续块。此排列称为带序。带序确定在文件系统中对每个设备分配(也即写入)的顺序和频度。例如,一个具有4个盘片的使用简单循环分配方案的系统按照连续顺序在每个盘上分配空间,即1,2,3,4,1,2,3,4,..。此简单循环分配法由大多数划分带区的文件系统用于分配空间。虽然在某些情况下循环分配法对于包括同构设备的系统已经够用,但已证明它不适用于具有异构设备的系统,它也不适用于使用同构设备的不同环境。作为例子,循环分配法不适用于具有不同存储容量或吞吐量的各设备。在循环分配法中,所有设备都均等地进行分配。因此,随后对数据的访问通常也是均等地分布在各设备之间。对于包括具有不同存储容量设备的系统而言,小设备在较大设备之前先写满,从而必须自带序中排除,因而降低了以后所有写操作的并行程度和性能。此外,跨越减少的一组设备划分带区的数据对于所有随后的访问具有较差性能。类似地,对于包括具有不同吞吐量的设备的系统而言,循环分配法无法使分配和随后所有对数据的访问的吞吐量达到最大。另外,循环分配法没有能力使处于不平衡状态中的系统重新平衡。可以有种种原因产生不平衡状态,例如包括当设备在多个文件或多个操作系统之间被分区时;当空设备附加于现有文件系统上时;或当分配策略改变时。为使这一系统重新平衡,需要用户采取额外措施,例如将文件系统中所有数据都重新划分带区。可以由单个文件系统完成划分带区操作,也可由一个共享设备文件环境(例如并行环境)的多个文件系统完成。在一个共享设备文件环境中,在多个计算节点上运行的多个文件系统访问驻留在一个或多个存储设备上的文件结构。共享设备文件环境允许将使用文件结构的应用程序(或作业)划分为许多可以在多个节点上并行运行的块。这使得这些多个节点的处理能力得以提高以便满足应用程序的需要。以上所述与划分带区相关联的问题在并行环境中将会加剧。因此需要一种并行分配技术,它足够一般化以便用于范围广泛的多种环境中。此外,需要一种能力来允许将分配操作重新平衡以便更好地满足系统和/或设备的当前条件和需求。
技术实现思路
可以克服现有技术的缺点并且通过提供一种对计算环境的存储设备空间分配进行管理的方法而提供附加优点。该方法包括例如为计算环境的一个或多个存储设备获取一个或多个权值;以及在一个或多个存储设备中的至少一个存储设备上分配正比于为至少一个存储设备获取的至少一个权值的空间,其中由计算环境的多个文件系统完成分配操作。在另一个实施例中,提供一种对计算环境的存储设备上的空间分配进行管理的方法。该方法包括例如为计算环境的多个存储设备的至少一个存储设备子集中的每个存储设备获取一个权值;以及在至少一个存储设备子集中的每个存储设备上分配正比于赋予该存储设备的权值的空间,其中由多个文件系统完成分配操作以使多个文件系统中的每个文件系统在至少一个存储设备子集中的一个或多个存储设备上分配空间。此处也描述对应于以上所述方法的系统和计算机程序产品并且为它们提出权利要求。本专利技术的一个或多个方面的能力有利地提供由多个文件系统跨越一个或多个存储设备进行的空间分配操作,以使每个设备上的空间得到分配同时所占用空间正比于赋予该设备的某个权值。赋予各设备的权值能够动态地变化,因此本专利技术的一个方面允许跟踪这些变化并且将这些信息送至其他需要或希望得到此信息的文件系统。此外,在一个或多个出现文件系统故障的节点中提供权值的恢复操作。通过本专利技术的技术实现附加特征和优点。此处详细地描述本专利技术的其他实施例和各方面,这些被认为是提出权利要求的本专利技术的一部分。附图说明在本说明书结尾处的权利要求书中具体地指出被认为是本专利技术的主题事物并且明确地提出对它们的权利要求。结合附图的以下详细描述将使本专利技术的上述和其他目的、特征和优点更为明显,附图中图1阐述包含并使用本专利技术的一个或多个方面的计算环境的例子;图2阐述根据本专利技术的一个方面的图1的节点的更多细节;图3a阐述根据本专利技术的一个方面的划分为多个分区的存储设备的例子,其中每个分区由零个或更多个节点所拥有;图3b阐述根据本专利技术的一个方面的与每个存储设备相关联的不同统计数据的例子;图4阐述根据本专利技术的一个方面的与并行加权分配技术相关联的逻辑的实施例;图5阐述根据本专利技术的一个方面的与图4的初始化操作相关联的逻辑的实施例;图6阐述根据本专利技术的一个方面的与图4的跟踪和分配操作相关联的逻辑的实施例;图7阐述根据本专利技术的一个方面的与图4的节点故障和恢复操作相关联的逻辑的实施例;图8阐述根据本专利技术的一个方面的与静态权值的恢复相关联的逻辑的实施例;图9阐述根据本专利技术的一个方面的与动态权值的无状态(no-state)恢复相关联的逻辑的实施例;及图10阐述根据本专利技术的一个方面的与动态权值的全状态(full-state)恢复相关联的逻辑的实施例;具体实施方式根据本专利技术的一个方面,多个文件系统在一个或多个存储设备上使用与这些设备相关联的权值分配空间。具体地,与存储设备相关联的权值被用于生成带序,并且每个带序向各自的文件系统提供在各个存储设备上分配空间的顺序以及在这些设备上分配空间的频度。与每个设备相关联的权值被分配至准备在该设备上分配空间的文件系统,以使组合的分配量仍然正比于权值。由于权值可以动态地调整,各个文件系统一直保持权值调整的最新信息。参照图1描述一个包括和/或使用本专利技术的各个方面的计算环境的实施例。计算环境100包括一个或多个节点102(例如节点1、..、节点n),它们共享对一个或多个存储设备104(例如盘1、。。、盘m,或其他非易失性存储器)的访问。各节点通过一个互连106彼此相连并且连接至存储设备。在一个例子中,该互连包括一个无线连接、一条总线、一个令牌环或一个网络连接,这些只是几个例子而已。一个或多个这类连接所使用的一种通信协议是TCP/IP。在一个例子中假设各节点没有共享的存储器。作为例子,节点102包括一个操作系统2本文档来自技高网
...

【技术保护点】
一种用于管理在一个计算环境的存储设备上的空间分配的方法,所述方法包括以下步骤: 为所述计算环境的一个或多个存储设备获取一个或多个权值;及 在所述一个或多个存储设备中的至少一个存储设备上分配正比于为至少一个存储设备获取的至少一个权值的空间,其中所述分配操作由所述计算环境的多个文件系统完成。

【技术特征摘要】
...

【专利技术属性】
技术研发人员:韦恩A肖顿罗杰哈斯金弗兰克B施玛克詹姆斯C威利
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:US[美国]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1