使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统技术方案

本发明专利技术涉及使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统。本发明专利技术的各实施例涉及使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统。示例性实施例包括为群集中的每一个节点预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的连续的数据块集合；使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为所述群集中的计算操作而存储在文件系统中的数据；以及使用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为群集中的数据访问操作而存储在文件系统中的数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的各实施例涉及数据存储的领域，具体而言，涉及使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统。
技术介绍
文件系统是用于存储和组织文件和数据的方法。文件系统使用存储子系统以维持文件和数据。文件系统是对存储子系统施加逻辑结构以使客户端计算机创建、存储和访问存储子系统上的数据的文件的管理结构。分布式文件系统是通过网络支持文件以及多个客户端的存储器资源的共享的文件系统。群集文件系统是ー种使群集中的多个计算节点同时 访问存储在共享存储子系统上的相同数据的分布式文件系统。计算群集是带有多个节点的系统，所述多个节点彼此进行交互，以给客户端系统作为单个实体提供数据、应用、及其他系统资源。计算群集通过允许节点和共享存储器被添加到群集中来提供可缩放性和可靠性。文件系统被用来管理数据在计算群集内的存储。通过将存储器的特定区域指定到要被存储的数据，存储器被计算群集中的文件系统分配。群集中的计算节点将文件系统视为带有对群集文件系统的共享存储子系统的直接访问的本地资源。云计算是给客户端提供远程虚拟化计算资源作为服务的计算模型。云计算通过托管和通过网络远程并按需作为服务来提供资源，向客户端提供软件和硬件资源。从而，最終用户被允许按需利用计算资源，无需对基础结构和管理的投资。云计算的基础体系结构通常包括协カ工作的服务器的大的分布式群集。
技术实现思路
相应地，在第一方面，本专利技术提供了使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的方法为群集中的每ー个节点预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的一组连续的数据块；使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为所述群集中的计算操作而存储在文件系统中的数据；以及，使用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为群集中的数据访问操作而存储在文件系统中的数据。该方法还可以进ー步包括将用于计算操作的数据分配到预留的存储分配区域中的至少ー个。该方法还可以进ー步包括，当所述群集中的节点的所述预留的存储分配区域的总数小于所述预定数量时，预留至少ー个另外的存储分配区域，直到所述节点的预留的存储分配区域的总数等于所述预定数量。该方法还可以进ー步包括将计算操作发送到所述计算群集中的节点，所述计算操作的数据被分配给所述节点的本地附接的存储器。该方法还可以进ー步包括将分配给节点的本地附接的存储器的每个连续的数据块集合复制到所述群集中的第二节点的本地附接的存储器。该方法还可以进ー步包括将用于数据访问操作的数据分配到共享存储子系统。该方法还可以进ー步包括跟踪分配给所述共享存储子系统以及所述文件系统中的本地附接的存储器的每个数据块的位置。优选地，所述数据访问操作是从包括下列各项的组中选择的簿记操作、数据传输操作、缓存管理操作、以及预先获取操作。该方法还可以进ー步包括，如果节点的计算操作有故障，则在与所述计算操作相关联的数据被复制到其中的第二节点上重新启动所述计算操作。优选地，群集为远程客户端托管计算服务。在第二方面，提供了使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的系统，包括计算群集，所述计算群集包括多个节点，其中，所述多个节点中的每ー个都包括本地附接的存储器，耦合到所述多个节点中的每ー个的共享存储子系统，以及耦合到所述共享存储子系统以及所述多个节点中的每ー个的文件系统管理器，其中，所述文件系统管理器为所述计算群集中的所述多个节点中的每ー个预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的一组连续的数据块，使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为所述计算群集中的计算操作而存储在文件系统中的数据，以及使 用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为所述计算群集中的数据访问操作而存储在文件系统中的数据。优选地，文件系统管理器将计算操作发送到所述计算群集中的节点，所述计算操作的数据被分配给所述节点的本地附接的存储器。优选地，当所述节点的所述预留的存储分配区域的总数小于所述预定数量时，所述文件系统管理器预留至少ー个另外的存储分配区域，直到所述节点的所述预留的存储分配区域的总数等于所述预定数量。优选地，文件系统管理器将分配给节点的本地附接的存储器的每个连续的数据块集合复制到所述计算群集中的第二节点的本地附接的存储器，以及如果所述节点的计算操作有故障，则在与所述计算操作相关联的数据被复制到其中的第ニ节点上重新启动所述计算操作。在第三方面，提供了包括存储在计算机可读介质上的计算机程序代码的计算机程序，当被加载到计算机系统中并在其上执行吋，导致所述计算机系统执行根据第一方面所述的方法的所有步骤。该计算机程序可以呈现用于使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的计算机程序产品的形式，包括其中具有计算机可读的程序代码的计算机可读存储介质，所述计算机可读的程序代码包括计算机可读存储介质包括被配置成为群集中的每ー个节点预留预定数量的存储分配区域的计算机可读的程序代码，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的一组连续的数据块，计算机可读存储介质还包括计算机可读的程序代码，这些程序代码被配置成使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为群集中的计算操作而存储在文件系统中的数据，以及被配置成使用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为群集中的数据访问操作而存储在文件系统中的数据的计算机可读的程序代码。优选地，计算机可读的程序代码还包括被配置成将计算操作发送到所述计算群集中的节点，所述计算操作的数据被分配给所述节点的本地附接的存储器的计算机可读的程序代码。优选地，计算机可读的程序代码还包括计算机可读的程序代码，所述计算机可读的程序代码被配置成，当所述节点的所述预留的存储分配区域的总数小于所述预定数量时，所述文件系统管理器预留至少ー个另外的存储分配区域，直到所述节点的所述预留的存储分配区域的总数等于所述预定数量。优选地，计算机可读的程序代码还包括计算机可读的程序代码，所述计算机可读的程序代码被配置成跟踪分配给所述共享存储子系统以及所述文件系统中的本地附接的存储器每个数据块的位置。优选地，计算机可读的程序代码还包括计算机可读的程序代码，所述计算机可读的程序代码被配置成将分配给节点的本地附接的存储器的每个连续的数据块集合复制到所述群集中的第二节点的本地附接的存储器。优选地，计算机可读的程序代码还包括计算机可读的程序代码，所述计算机可读的程序代码被配置成，如果所述节点的计算操作有故障，则在与所述计算操作相关联的数据被复制到其中的第二节点上重新启动所述计算操作。本专利技术的各实施例涉及使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统。本专利技术的一方面包括用于使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的方法。该方法可包括，为群集中的每ー个节点预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.04.14 US 12/760,4761.一种用于使用动态块大小粒度来为计算群集中的不同类型的应用优化文件系统的方法，包括 为群集中的每ー个节点预留预定数量的存储分配区域，其中，每个存储分配区域都包括本地附接的存储器的单个存储盘上的连续的数据块集合； 使用本地附接的存储器的单个存储盘上的连续的数据块集合，作为文件系统的块分配粒度，以便条带化要为所述群集中的计算操作而存储在文件系统中的数据；以及 使用共享存储子系统的单个数据块，作为文件系统的块分配粒度，以便条带化要为群集中的数据访问操作而存储在文件系统中的数据。2.如权利要求I所述的方法，进ー步包括 将用于计算操作的数据分配到所述预留的存储分配区域中的至少ー个。3.如权利要求I或2所述的方法，进ー步包括 当所述群集中的节点的预留的存储分配区域的总数小于所述预定数量时，预留至少ー个另外的存储分配区域，直到所述节点的预留的存储分配区域的总数等于所述预定数量。4.根据前述任何一个权利要求所述的方法，进ー步包括 将计算操作发送到所述群集中的节点，所述计算操作的数据被分配给所述节点的本地附接的存储器。5.根据前述任何一个权利要求所述的方法，进ー步包括 将分配给节点的本地附接的存储器的每个连续的数据块集合复制到所述群集中的第ニ节点的本地附接的存储器。6.根据前述任何一个权利要求所述的方法，进ー步包括 将用于数据访问操作的数据分配到所述共享存储子系统。7.根据前述任何一个权利要求所述的方法，进ー步包括 跟踪分配给所述共享存储子系统以及所述文件系统中的本地附接的存储器的每个数据块的位置。8.根据前述任何一个权利要求所述的方法，其中，所述数据访问操作是从包括下列各项的组中选择的簿记操作、数据传输操作、缓存管理操作、以及预先获取操作。9.如权利要求6所述的方法，进ー步包括 如果节点的计算操作有故障，则在与所述计算操作相关联的数据被复制到其中的第二节点上重新启动所...

【专利技术属性】
技术研发人员：P·萨卡尔，P·邦德伊，H·普查，M·A·沙赫，R·特瓦利，K·古普塔，R·阿南塔纳拉亚南，
申请(专利权)人：国际商业机器公司，
类型：
国别省市：